Robots是机器人协议（Robots.txt）
机器人协议(Robots.txt)是一个TXT文本文件，存在于你域名根目录之下
搜搜引擎在访问你的网站是最先会访问robots文件，作用是将网站的目录结构信息告诉爬虫和蜘蛛，并限制其对特定文件夹和内容的访问，或者是完全将它们关在门外，即告诉搜索引擎蜘蛛什么是可以访问抓取的、什么是不允许访问抓取的
但是，要注意的是：搜索引擎蜘蛛不一定完全听从这个文件的规定。
Robots是什么
声明：原创文章请勿转载，如需转载请注明出处！
当前位置：
