首页 发现 帮助
登录
Shellmiao
/
WeiBoCrawlerFrontEnd
1
0
派生 0
文件 工单管理 0 合并请求 0 Wiki
分支: master
分支列表 标签列表
WeiBoCrawler...
/
public
/
robots.txt

robots.txt 67 B
永久链接 文件历史 原始文件

123 
  1. # https://www.robotstxt.org/robotstxt.html
    2. 

  2. User-agent: *
    3. 

  3. Disallow:
    4.