robots.txt怎么设置不暴露敏感文件路径

2017-04-18 1 编辑：来源：

robots是网站跟爬虫间的协议文件，robots.txt可以用来告诉对应的爬虫被允许的权限，是搜索引擎中访问网站的时候第一个要查看的文件。robots.txt文件也可以用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写：

1 2	`User-agent: *` `Disallow: /admin/`

但是这样我们很容易发现了一个问题，如果有人要破解攻击的话，很容易就知道了后台，一下子就清楚了网站的结构。

我们并不想这样！

有没有办法让robots.txt既能限制搜索引擎，又不泄露后台地址和隐私目录呢？有！

一、使用通配符（*）：

1 2	`User-agent: ` `Disallow: /a/`

这样的写法，禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话，还有谁会看到呢？

二、只写目录前几个字母，不写全：

1 2	`User-agent: *` `Disallow: /ad`

这种的写法，是禁止所有的搜索引擎抓取根目录下ad开头的目录。

最后说明一下，以上这两种方法，需要网站目录没有相同字母开头的，例如ad目录，如果有两个一样的，那需在robots.txt文件里再加上一个字母区别开来。

本站文章均为乐得网站建设摘自权威资料，书籍，或网络原创文章，如有版权纠纷或者违规问题，请即刻联系我们删除，我们欢迎您分享，引用和转载，但谢绝直接搬砖和抄袭！感谢...

联络方式

厦门市 · 工业集中区建材园85栋211号(i乐德工作室)

电话：131-5927-6767

邮箱：365182575@qq.com

微信公众号

工作QQ

微信名片