Robots Txt Generator (v. Ann Smarty) is een eenvoudig te gebruiken tool om Robots richtlijnen te maken. txt is geschikt voor uw site: Kopieer en bewerk Robots.txt-bestanden eenvoudig vanaf andere sites of maak uw eigen Robots.txt-bestanden.
Wanneer spinnen van zoekmachines op een website surfen, beginnen ze meestal met het identificeren van een robotbestand. txt op het root-domeinniveau. Tijdens de identificatie leest de crawler de bestandsrichtlijnen om aan te geven welke mappen en bestanden geblokkeerd kunnen worden. Geblokkeerde bestanden kunnen worden gemaakt met de robots generator. txt, deze bestanden zijn in zekere zin het tegenovergestelde van die van een website sitemap, die meestal pagina's op te nemen wanneer een zoekmachine scant een website.
Onze Robots Generator. txt
Een gewijzigd/nieuw robots.txt-bestand maken voor een website is eenvoudig wanneer u een robots.txt-generator gebruikt.Als u een bestaand bestand wilt downloaden en de generator wilt voorvullen, typt of kopieert u de hoofddomein-URL in het daarvoor bestemde tekstvak en selecteert u Download.Om het gegenereerde bestand robots.txt aan te passen, gebruikt u de functies 'Toestaan' en 'Deny'. Houd er rekening mee dat de standaardinstelling Toestaan is. Om een nieuwe richtlijn toe te passen op uw lijst, klikt u op 'Richtlijn toevoegen'. Om een bestaande richtlijn te verwijderen of te wijzigen, selecteert u Richtlijn verwijderen en maakt u een nieuwe richtlijn aan met de functie Richtlijn toevoegen.
Richtlijnen voor gebruikersagenten aanpassen
Onze robots generator. txt maakt het mogelijk de specificatie van verschillende zoekmachines, waaronder Google.Als u alternatieve richtlijnen wilt specificeren voor een of meer specifieke zoekmachinekruipers, schakelt u het selectievakje User Agent in en geeft u standaard aan (*) om de bot te specificeren. Selecteer'Add Directive' (Richtlijn toevoegen) om de aangepaste sectie toe te voegen aan de lijst met de generieke richtlijn als onderdeel van de nieuwe aangepaste richtlijn.
Om een algemene afwijzingsrichtlijn te herzien om deze aan te passen aan een autorisatierichtlijn voor een agent van een aangepaste gebruiker, moet een nieuwe autorisatierichtlijn worden opgesteld om de specifieke gebruikersagent voor de inhoud tegemoet te komen. De corresponderende afkeurrichtlijn wordt dan verwijderd voor de custom user agent.Om een link toe te voegen aan een XML-gebaseerd sitemapbestand, kopieert/plak of typ de volledige URL van het sitemapbestand in het opgegeven tekstvak en selecteer vervolgens 'Update' om deze opdracht toe te voegen aan de lijst met robotbestanden. txt.
Als u klaar bent, selecteert u Exporteren om het nieuwe bestand robots.txt op te slaan en gebruikt u FTP om het bestand robots.txt naar het hoofddomein van de website te uploaden. Eenmaal gedownload, zal het bestand robtos.txt Google en andere zoekmachines vertellen welke pagina's, mappen en mappen of de website moeten worden weergegeven en niet weergegeven wanneer een zoekmachine-gebruiker een zoekopdracht invoert. De Ultieme Gids om uw inhoud te blokkeren bij het zoeken is een uitstekende bron voor degenen die meer willen weten over txt-bestanden en richtlijnen.