在線robots.txt文件生成专业程式

 這款在線robots.txt生成器提供多種常見的設置選項供站長選擇使用,可根據具體需要生成符合robots協議的robots文件,是一款非常實用的SEO专业程式


默認 - 所有机器人是:  
檢索間隔:
Sitemap: (留空爲無)
   
普通搜索機器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索機器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目錄: 路徑是相對的,但每個路徑之前都要包含:"/"
 
 
 
 
 
   
   

現在,你創建一個空白的文本文件,命名爲:“robots.txt”,然後把上面的內容,複制並粘貼到“robots.txt”中去。把“robots.txt”放在你網站的根目錄,並確保他能讓訪問者(如搜索引擎)訪問到。


xxfseo.com