Robots Txt Generator (von Ann Smarty) ist ein einfach zu bedienendes Tool zum Erstellen von Robots-Direktiven. txt passend für Ihre Website: Kopieren und bearbeiten Sie einfach Robots.txt-Dateien von anderen Websites oder erstellen Sie Ihre eigenen Robots.txt-Dateien.
Wenn Suchmaschinen-Spider eine Website durchsuchen, beginnen sie normalerweise damit, eine Robots-Datei zu identifizieren. txt auf der Root-Domain-Ebene. Während der Identifizierung liest der Crawler die Dateianweisungen, um Verzeichnisse und Dateien zu identifizieren, die blockiert werden können. Blockierte Dateien können mit dem Robotergenerator erstellt werden. txt; diese Dateien sind in gewisser Weise das Gegenteil von denen einer Website-Sitemap, die normalerweise Seiten enthält, die beim Scannen einer Website durch eine Suchmaschine eingebunden werden.
Unser Roboter-Generator. txt
Das Erstellen einer bearbeiteten/neuen robots.txt-Datei für eine Website ist einfach, wenn Sie einen robots.txt-Generator verwenden.
Um eine vorhandene Datei herunterzuladen und das Generator-Tool vorzufüllen, geben Sie die Root-Domain-URL in das dafür vorgesehene Textfeld ein oder kopieren Sie sie und wählen Sie Download.
Um die generierte robots.txt-Datei anzupassen, verwenden Sie die Funktionen'Zulassen' und'Verweigern'. Bitte beachten Sie, dass die Standardeinstellung Zulassen ist.
Um eine neue Direktive auf Ihre Liste anzuwenden, klicken Sie auf'Direktive hinzufügen'. Um eine bestehende Richtlinie zu löschen oder zu ändern, wählen Sie Richtlinie löschen und erstellen dann eine neue mit der Funktion Richtlinie hinzufügen.
User-Agent-Direktiven anpassen
Unser Roboter-Generator. txt erlaubt die Spezifikation verschiedener Suchmaschinen, einschließlich Google.
Um eine generische Ablehnungsanweisung so zu überarbeiten, dass sie eine Berechtigungsanweisung für einen benutzerdefinierten Benutzeragenten widerspiegelt, erstellen Sie eine neue Berechtigungsanweisung, um den spezifischen Benutzeragenten für den Inhalt anzupassen. Die entsprechende Ablehnungsanweisung wird dann für den Custom User Agent gelöscht.
Um einen Link zu einer XML-basierten Sitemap-Datei hinzuzufügen, kopieren/einfügen oder geben Sie die vollständige URL der Sitemap-Datei in das angegebene Textfeld ein und wählen Sie dann'Aktualisieren', um diesen Befehl zur Liste der Roboterdateien hinzuzufügen. txt.
Wenn Sie fertig sind, wählen Sie Exportieren, um die neue Datei robots.txt zu speichern, und laden Sie die Datei robots.txt per FTP in die Root-Domain der Website hoch. Nach dem Herunterladen teilt die Datei robtos.txt Google und anderen Suchmaschinen mit, welche Seiten, Verzeichnisse und Verzeichnisse oder die Website angezeigt werden sollen und nicht, wenn ein Suchmaschinenbenutzer eine Abfrage eingibt. Der Ultimate Guide to Blocking Your Content in Search ist eine ausgezeichnete Ressource für diejenigen, die mehr über txt-Dateien und Richtlinien erfahren möchten.