tweyhr3156 Also darf google die ja gar nicht crawlen. Woher wollen die denn wissen, dass da gefährliche Inhalte drauf sind?
Nun, die robots.txt sagt den Crawlern lediglich: „Bitte nicht crawlen” oder genauer gesagt: „Bitte nicht indexieren”. Sie bietet jedoch keinen technischen Schutz davor. Viele tun es ja dann auch trotzdem, beispielsweise die ganzen Bots der KI-Firmen. Die Crawler der Google-Suche und die von anderen seriösen Suchmaschinen halten sich jedoch erfahrungsgemäss daran und indexieren die Seite dann nicht.
SafeSearch ist hingegen ein separates Filtersystem von Google und diese Checks kannst du, soweit ich weiss, nicht verhindern. Die machen das einfach.
Was genau alles überprüft wird und was am Ende zu einer “Sperrung” führt, weiss wahrscheinlich nur Google – wenn überhaupt, denn ich würde wetten, dass da mittlerweile auch sehr viel KI im Spiel ist.