Robots.txt

Robots.txt – ist eine Textdatei, die im Rahmen der Suchmaschinenoptimierung (SEO) verwendet wird und Webcrawlern Hinweise zu bestimmten Dateien gibt und angibt, wie viele Seiten indiziert werden sollten und welche nicht. Sie ist Teil des Robots-Exclusion-Protocol-Standards.

Wozu dient die robots.txt-Datei?

Die robots.txt-Datei wird auf dem Server einer Website abgelegt und ist öffentlich unter www.domena.pl/robots.txt verfügbar. Suchmaschinen-Crawler sehen sich die robots.txt-Datei an, bevor sie mit der Indexierung einer bestimmten Website beginnen. Diese Datei hat mehrere Verwendungszwecke, wie z. B.:

Zugriffskontrolle: Die Datei „robots.txt“ ermöglicht es Website-Administratoren, den Zugriff auf bestimmte Anmeldeseiten für Suchmaschinen-Robots zu blockieren. Dies kann nützlich sein, wenn bestimmte Abschnitte der gesamten Website sensible Daten enthalten.

Vermeidung von Duplicate Content: Wenn eine Website verschiedene Varianten von URLs hat, die zu demselben Inhalt führen, ermöglicht die Datei „robots.txt“ es Administratoren, unerwünschte Varianten von der Indexierung auszuschließen, um Probleme mit Duplicate Content zu vermeiden.

Verwaltung der Indexierungshäufigkeit: Mit der Datei „robots.txt“ können Sie die Häufigkeit steuern, mit der Suchmaschinen-Roboter Ihre Website besuchen sollten.

Es ist zu beachten, dass die Datei „robots.txt“ nur eine Empfehlung für Suchmaschinen-Roboter ist und keine Durchsetzungskraft hat. Einige Web-Roboter ignorieren möglicherweise die Regeln in der Datei, weshalb es auch zusätzliche Methoden gibt, um die Zugänglichkeit von Inhalten auf Webseiten zu steuern, wie z. B. HTTP-Header oder noindex-Metatags.

Wie sollte die robots.txt-Datei aussehen?

Eine robots.txt-Datei ist eine Textdatei, die im Stammverzeichnis Ihrer Website auf Ihrem Server abgelegt werden sollte. Hier ist ein Beispiel für eine einfache robots.txt-Datei:

User-agent: *

Disallow: /private/

Disallow: /temp/

Disallow: /cgi-bin/

Im obigen Beispiel:

User agents: * bedeutet, dass diese Anweisungen für alle Suchmaschinen-Robots gelten.

Disallow: /private/ bedeutet, dass das Verzeichnis „private“ blockiert werden sollte und Suchmaschinen-Bots keine Seiten indexieren sollten.

Disallow: /temp/ bedeutet, dass das Verzeichnis „temp“ ebenfalls blockiert werden sollte.

Disallow: /cgi-bin/ bedeutet, dass das Verzeichnis „cgi-bin“ ebenfalls blockiert werden sollte.

Beim Erstellen einer robots.txt-Datei ist es wichtig, sorgfältig vorzugehen und Vorsicht walten zu lassen, um nicht versehentlich den Zugriff auf wichtige Teile Ihrer Website zu blockieren. Nachfolgend finden Sie einige Tipps zum Erstellen einer robots.txt-Datei:

Achten Sie darauf, dass die robots.txt-Datei genau so benannt ist, wie sie sein sollte: „robots.txt“.

Es wird empfohlen, dass die Datei unter https://www.nazwadomeny.com/robots.txt verfügbar ist.

Sie können einige Zeilen mit Disallow-Anweisungen hinzufügen, um bestimmte Verzeichnisse oder Dateien zu blockieren.

Sie können Kommentare, die mit dem Symbol # beginnen, verwenden, um der Datei Erklärungen hinzuzufügen.

Wie wird die Datei „robots.txt“ bearbeitet?

Führen Sie die folgenden Schritte aus, um Ihre „robots.txt“-Datei zu bearbeiten:

Melden Sie sich beim Server an: Wenn Sie der Eigentümer oder Administrator der Website sind, müssen Sie die Anmeldeseite aufrufen, auf der sich die Datei „robots.txt“ befindet. Dazu müssen Sie möglicherweise auf das Hosting-Steuerungsfeld zugreifen oder über das File Transfer Protocol (FTP) auf den Server zugreifen.

Suchen Sie die Datei „robots.txt“: Navigieren Sie zu dem Verzeichnis, in dem sich die Datei „robots.txt“ auf dem Server befindet. Dies ist in der Regel das Stammverzeichnis der Website, sie kann aber auch in einem Unterverzeichnis gespeichert sein.

Bearbeiten Sie die Datei „robots.txt“: Öffnen Sie die Datei „robots.txt“ mit einem Texteditor. Sie können einen beliebigen Texteditor verwenden, z. B. Notepad (für Windows) oder TextEdit (für Mac).

Nehmen Sie die Änderungen vor: Die Datei „robots.txt“ kann verschiedene Anweisungen enthalten, z. B. „User-agent“, „Disallow“, „Allow“ usw. Um Änderungen vorzunehmen, fügen Sie die entsprechenden Zeilen in der Datei hinzu oder entfernen Sie sie, je nach gewünschtem Ergebnis.

Speichern Sie die Datei: Nachdem Sie Änderungen an der Datei „robots.txt“ vorgenommen haben, speichern Sie sie unter Beibehaltung des ursprünglichen Namens.

Datei auf den Server hochladen: Wenn Sie FTP verwenden, laden Sie die aktualisierte robots.txt-Datei mithilfe eines FTP-Clients wieder auf den Server hoch. Achten Sie darauf, die vorherige Datei zu überschreiben und die Datei im richtigen Verzeichnis zu speichern.

Syntax überprüfen: Sobald sich die robots.txt-Datei auf dem Server befindet, überprüfen Sie ihre Syntax, um sicherzustellen, dass keine Fehler vorliegen. Dies kann mithilfe von Online-Tools oder den Tools erfolgen, die in den Webmaster-Tools der Suchmaschinen zur Verfügung stehen.

Beim Bearbeiten der Datei „robots.txt“ ist Vorsicht geboten, da falsche Änderungen die Art und Weise beeinflussen können, wie Suchmaschinen-Roboter die Website indizieren.