机器人.txt生成器


默认情况下,所有机器人都是 :  
    
爬行延时 :
    
网站地图 : (如果没有,请留空)  
     
搜索机器人 : Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
受限制的目录 : 路径是相对于根目录的,并且必须包含一个斜线 "/"
 
 
 
 
 
 
   



现在,在你的根目录下创建 "robots.txt "文件。复制上面的文字并粘贴到文本文件中。


关于我们 机器人.txt生成器

Robots.txt生成器(由Ann Smarty设计)是一个简单易用的工具,可以创建适合你的网站的Robots.txt指令。当搜索引擎蜘蛛浏览一个网站时,他们通常会先在根域级别识别Robots.txt文件。在识别过程中,爬虫会读取文件指令来识别可以被阻止的目录和文件。被阻止的文件可以通过robots generator.txt来创建;这些文件在某种程度上来说,与网站的网站地图相反,当搜索引擎扫描一个网站时,通常会包含一些页面。 要下载一个现有的文件并预装生成器,请在提供的文本框中输入或复制/粘贴根域名URL,然后选择下载。请注意,默认设置为 "允许"。要在你的列表中应用一个新的指令,请点击 "添加指令"。要指定一个或多个特定的搜索引擎爬虫的替代指令,选择 "用户代理 "复选框,默认情况下显示(*),以指定机器人。