robots.txt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website. Sie sagt Suchmaschinen und anderen automatischen Besuchern, welche Bereiche sie abrufen dürfen und welche nicht.
Warum das zählt
Mit ihr hältst du Programme von Bereichen fern, die niemandem nützen, etwa endlosen Filterlisten. Ein falscher Eintrag kann umgekehrt die ganze Website für Google sperren.
So sieht es in der Praxis aus
Die Datei enthält Regeln je Abrufprogramm und meist den Hinweis auf die Sitemap. Sie verhindert das Abrufen, nicht das Anzeigen: Eine gesperrte Adresse kann trotzdem in der Suche auftauchen, wenn andere darauf verlinken. Auch die Abrufprogramme der KI-Anbieter lassen sich hier einzeln zulassen oder aussperren.
Was das für deinen Betrieb heisst
Öffne deinedomain.ch/robots.txt. Steht dort «Disallow: /» ohne weitere Einschränkung, ist die ganze Website gesperrt. Das passiert nach einem Relaunch häufiger, als man denkt.