要禁止搜索引擎抓取某个网页，通常来说我们都是通过robots文件来设置。

比如本站有个网页http://www.yazec.com/abc.html，但是作者不想让这个网页被所以搜索引擎抓取，究竟应该如何禁止呢？我们可以用以下代码：

User-agent:

*

Disallow:/abc.html

其中User-agent:*就是指针对所有搜索引擎，而Disallow:就是禁止抓取的意思，这么需要知道Disallow:后面的斜杠，是从域名那里开始的。许多人不知道对此不是很明白，我们可以简单的理解：在这个斜杠前加上网站域名，斜杠后就是网页的相对地址，大家参考下作者提到的案例，应该很好理解。

但是，虽然我们通过robots文件能够禁止百度收录某个网页，但是百度等搜索引擎并不会严格遵守约定，如果有外部链接或者是内部链接到达网页的话，搜索引擎还是会收录的。所以，为了保险起见，作者建议大家结合nofollow标签一起来使用，一方面告诉搜索引擎不要收录该网页，同时在网站其他网页告诉搜索引擎蜘蛛不要去追踪该链接。

另外禁止百度收录某个网页还可以在头部文件里设置，但是这种做法有明显的局限性，所以作者不建议大家去用，做不好会出现许多不必要的麻烦。