Generator tekstów robotów (Ann Smarty) to latwe w uzyciu narzedzie do tworzenia dyrektyw robotów. txt odpowiednie dla Twojej witryny: ?atwe kopiowanie i edytowanie plików Robots.txt z innych witryn lub tworzenie wlasnych plików Robots.txt.
Kiedy pajaki wyszukiwarki przegladaja strone internetowa, zwykle zaczynaja od identyfikacji pliku robota. txt na poziomie domeny glównej. Podczas identyfikacji, gasienica odczytuje dyrektywy plików w celu identyfikacji katalogów i plików, które moga byc zablokowane. Zablokowane pliki moga byc tworzone za pomoca generatora robotów. txt; pliki te sa w pewnym sensie przeciwienstwem tych z mapy strony internetowej, która zwykle zawiera strony do uwzglednienia podczas skanowania strony przez wyszukiwarke.
Nasz generator robotów. txt
Tworzenie edytowanego/nowego pliku robots.txt dla strony internetowej jest latwe, gdy korzystasz z generatora robots.txt. Aby pobrac istniejacy plik i wstepnie wypelnic narzedzie generatora, wpisz lub skopiuj/wklej adres URL domeny glównej w odpowiednie pole tekstowe i wybierz opcje Download (Pobierz). Aby dostosowac wygenerowany plik robots.txt, uzyj funkcji Pozwól i Odmó w. Nalezy pamietac, ze domyslnym ustawieniem jest Allow (Zezwalaj).Aby zastosowac nowa dyrektywe do swojej listy, kliknij przycisk Add Directive (Dodaj dyrektywe).
Aby usunac lub zmodyfikowac istniejaca dyrektywe, wybierz Usun dyrektywe, a nastepnie utwórz nowa za pomoca funkcji Dodaj dyrektywe.
Dostosuj dyrektywy dotyczace agentów uzytkowników
Nasz generator robotów. txt umozliwia specyfikacje kilku róznych wyszukiwarek, w tym Google. Aby okreslic alternatywne dyrektywy dla jednej lub wiecej wyszukiwarek, zaznacz pole wyboru Agent uzytkownika, zaznaczajac domyslnie (*), aby okreslic bot. Wybierz opcje Dodaj dyrektywe, aby dodac sekcje zwyczajowa do listy z dyrektywa ogólna jako czesc nowej dyrektywy zwyczajowej. Aby zrewidowac ogólna dyrektywe o odrzuceniach w celu odzwierciedlenia dyrektywy o zezwoleniach dla agenta uzytkownika niestandardowego, nalezy stworzyc nowa dyrektywe o zezwoleniach w celu uwzglednienia specyficznego agenta uzytkownika w tresci. Odpowiednia dyrektywa dotyczaca odrzucania jest nastepnie usuwana dla niestandardowego agenta uzytkownika.
Aby dodac link do pliku mapy strony opartego na XML, skopiuj/wklej lub wpisz pelny adres URL pliku mapy strony w okreslone pole tekstowe, a nastepnie wybierz opcje Aktualizuj, aby dodac to polecenie do listy plików robotów. txt. Po zakonczeniu, wybierz Eksportuj, aby zapisac nowy plik robots.txt, a nastepnie uzyj FTP, aby przeslac plik robots.txt do domeny glównej strony. Po pobraniu plik robtos.txt powie Google i innym wyszukiwarkom, które strony, katalogi i katalogi lub witryne internetowa maja byc wyswietlane, a nie wyswietlane, gdy uzytkownik wyszukiwarki wejdzie do zapytania. Ultimate Guide to Blocking Your Content in Search jest doskonalym zródlem informacji dla tych, którzy chca dowiedziec sie wiecej o plikach tekstowych i wskazówkach.