Generatore Robots.txt


Predefinito - Tutti i robot sono:  
    
Ritardo del crawl-delay:
    
Mappa del sito: (Lascia in bianco se non ce l'hai) 
     
Robot di ricerca: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Elenchi ristretti: Il percorso è relativo alla radice e deve contenere una barra trailing slash "/"
 
 
 
 
 
 
   



Ora create il file 'robots.txt' nella vostra directory principale. Copiare il testo di cui sopra e incollare nel file di testo.


A proposito di Generatore Robots.txt

Robots Txt Generator (di Ann Smarty) è uno strumento facile da usare per creare direttive Robots. txt appropriato per il vostro sito: Facilmente copiare e modificare i file Robots.txt da altri siti o creare i propri file Robots.txt.


Quando i ragni dei motori di ricerca navigare in un sito web, di solito iniziano identificando un file robot. txt a livello di dominio principale. Durante l'identificazione, il cingolo legge le direttive dei file per identificare le directory e i file che possono essere bloccati. I file bloccati possono essere creati con il generatore di robot. txt; questi file sono, in un certo senso, l'opposto di quelli di una mappa del sito web, che di solito include pagine da includere quando un motore di ricerca esegue la scansione di un sito web.

Il nostro generatore di robot. txt
Creare un file robots.txt modificato/nuovo per un sito web è facile quando si usa un generatore robots.txt. Per scaricare un file esistente e pre-compilare lo strumento generatore, digitare o copiare/incollare l'URL del dominio principale nella casella di testo fornita e selezionare Download. Per personalizzare il file robots.txt generato, usare le funzioni Consenti e Rifiuta. Si prega di notare che l'impostazione predefinita è Consenti.Per applicare una nuova direttiva al tuo elenco, clicca su Aggiungi direttiva. Per eliminare o modificare una direttiva esistente, selezionare Elimina direttiva, quindi crearne una nuova utilizzando la funzione Aggiungi direttiva.

Personalizzare le direttive dell'interprete
Il nostro generatore di robot. txt permette la specificazione di diversi motori di ricerca, tra cui Google.

Per specificare direttive alternative per uno o più specifici motori di ricerca cingolati, selezionare la casella di controllo Agente utente, indicando (*) per impostazione predefinita, per specificare il bot. Selezionare Aggiungi direttiva per aggiungere la sezione personalizzata all'elenco con la direttiva generica come parte della nuova direttiva personalizzata.

Per modificare una direttiva di rifiuto generica in modo da riflettere una direttiva di autorizzazione per un agente utente personalizzato, creare una nuova direttiva di autorizzazione per adattare l'agente utente specifico per il contenuto. La corrispondente direttiva di rifiuto viene quindi eliminata per l'interprete personalizzato.

Per aggiungere un collegamento a un file mappa del sito basato su XML, copiare/incollare o digitare l'URL completo del file mappa del sito nella casella di testo specificata, quindi selezionare'Aggiorna' per aggiungere questo comando all'elenco dei file del robot. txt.Al termine, selezionare Esporta per salvare il nuovo file robots.txt, quindi utilizzare FTP per caricare il file robots.txt nel dominio principale del sito Web. Una volta scaricato, il file robtos.txt comunicherà a Google e ad altri motori di ricerca quali pagine, directory e directory o il sito web devono essere visualizzati e non quando un utente di un motore di ricerca effettua una query.La Guida finale per bloccare il contenuto nella ricerca è una risorsa eccellente per coloro che vogliono saperne di più su file txt e linee guida.