robots.txt

Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website. Sie sagt Suchmaschinen und anderen automatischen Besuchern, welche Bereiche sie abrufen dürfen und welche nicht.

Warum das zählt

Mit ihr hältst du Programme von Bereichen fern, die niemandem nützen, etwa endlosen Filterlisten. Ein falscher Eintrag kann umgekehrt die ganze Website für Google sperren.

So sieht es in der Praxis aus

Die Datei enthält Regeln je Abrufprogramm und meist den Hinweis auf die Sitemap. Sie verhindert das Abrufen, nicht das Anzeigen: Eine gesperrte Adresse kann trotzdem in der Suche auftauchen, wenn andere darauf verlinken. Auch die Abrufprogramme der KI-Anbieter lassen sich hier einzeln zulassen oder aussperren.

Was das für deinen Betrieb heisst

Öffne deinedomain.ch/robots.txt. Steht dort «Disallow: /» ohne weitere Einschränkung, ist die ganze Website gesperrt. Das passiert nach einem Relaunch häufiger, als man denkt.

Häufige Fragen

Schützt die robots.txt vertrauliche Seiten?

Nein. Sie ist eine Bitte, kein Schloss, und für jeden lesbar. Vertrauliches gehört hinter ein Login.

Soll ich KI-Abrufprogramme aussperren?

Das ist eine Abwägung. Wer sie aussperrt, wird in KI-Antworten seltener genannt. Für die meisten Betriebe ist Sichtbarkeit wichtiger.