Muenswebit Kompendium Robots.txt

Was ist eine Robots.txt?

Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Seiten oder Dateien der Crawler von Ihrer Website anfordern kann oder nicht. Dies wird hauptsächlich verwendet, um eine Überlastung Ihrer Website mit Anfragen zu vermeiden.

Für Webseiten (HTML, PDF oder andere Nicht-Medienformate, die Google lesen kann) kann robots.txt verwendet werden, um den Crawling-Verkehr zu verwalten, wenn Sie der Meinung sind, dass Ihr Server von Anforderungen des Crawlers von Google überfordert wird, oder um das Crawlen von unwichtigen oder zu vermeiden ähnliche Seiten auf Ihrer Website.

Muenswebit Kompendium Robots.txt
Menü