Inicio Explorar Ayuda
Iniciar sesión
Shellmiao
/
WeiBoCrawlerFrontEnd
1
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Árbol: 4e447a3864
Ramas Etiquetas
WeiBoCrawler...
/
public
/
robots.txt

robots.txt 67 B
Histórico Raw

123 
  1. # https://www.robotstxt.org/robotstxt.html
    2. 

  2. User-agent: *
    3. 

  3. Disallow:
    4.