Google收录robots.txt，是不是很有意思啊.
大家都知道robots.txt是控制搜索引擎收录蜘蛛爬行网站权限的东东，一般搜索引擎都是用它来判断哪些目录该爬行，哪些该禁止.
可是，你听说过Google将robots.txt文件收录的新闻吗？
给大家先亮上一张图.
笑过之后，你知道这是为什么吗？
其实很简单，robots.txt是个txt文件，txt也是Google收录的一种类型。上面图片中的网站主人将他网站的robots.txt文件一不小心做了个诱饵链接，导致Google就这样收录了.
robots.txt是控制搜索引擎收录权限的大门，没想到自己也被收录了.
解决方案就是在自己的身体里面再加上一条Disallow: /robots.txt的Code.