折腾日记：如何禁止搜索引擎抓取收录网站

建站差不多也快一年了多多少少还是学到了点东西，老夜也是对建站慢慢的失去了热情，不再像以前那样通宵达旦的折腾了。因为懒得折腾，又怕不久后就忘了，这里会慢慢的写点教程分享给需要的人，就当为自己做笔记了！

刚开始建站热情高昂，可谓是初生牛犊不怕虎，当时什么都敢发出来，经历了几次侵权邮件警告后也老实安分下来，再加上几次磕磕碰碰，目前网站终于是稳定下来了，老夜也开始注重文章内容了，每天再忙也要抽点时间写点东西分享给大家。对于建站的朋友，手头上多多少少都有几个小站点，随着近几年版权闹得越来越凶，一些涉及到版权的内容也多多少少都受到部分限制。就比如说老夜自用的视频站来说吧，本就是自己搭建为家人和朋友使用的，加上自己也懒得推广，本来就没几个人用，但侵权信还是收到了，归根结底还是各大搜索引擎的锅。今天老夜就叫大家如何让这些小机灵鬼乖乖的不再造访你的网站……

robots.txt方法

robots就是一种网络协议(网络爬虫排除标准)，网站管理员通过设置robots内容让搜索引擎知道那些页面该抓取，那些页面不该抓取。robots.txt是一个文件，通常网站是自动生成的，只有设置好TXT中的内容，搜索引擎的蜘蛛才会按照相关的规则执行并对网站进行相关的抓取收录，robots.txt文件是搜索引擎第一个查看的文件，所以通过设置robots协议还是非常有效的。

设置方法也是十分的简单，首先找到网站文件的根目录看看是否有robots.txt文件，如果没有自行创建一个，将以下代码添加到TXT文件中：（复制你奶奶个腿，本文是老夜写的，改了名字冒充老夜，要脸吗）

User-agent: *

Disallow: /

通过以上代码，就是告知所有的搜索引擎不在抓取和收录网站的所有内容了，也就意味着不久之后收录的内容全部没了，慎重修改。

如果是仅禁止部分搜索引擎抓取，需要单独添加代码，这里以百度为例：

User-agent: Baiduspider
Disallow: /

以上代码就是彻底赶走了百度的蜘蛛了，如果还行禁止其他搜索引擎，老夜在这里也不一个个说明了，这里偷点懒直接附上工具：

robots.txt文件自动生成器：tool.chinaz.com/robots/

设置完成后基本上大功告成了，请将文件上传至网站根目录，刷新浏览器缓存后访问www.你的域名/robots.txt就可以查看刚刚设置的规则了。更多robots规则今后会抽时间单独写一篇文章……

网页代码方法：

虽然上述方法差不多就能达到效果，但是搜索引擎也并不是那么的听话，之前百度就偷偷给我的网站移动页面转码并加自家的广告推广，设置禁止转码后也是效果甚微，真是服气了！具体文章详情：网站移动端文章被百度强行转码处理办法

废话不多说，直接上教程，网页修改代码一般是加到<head>和</head>中间的meta标签中。不同的网站程序<head>所在的文件是不相同的，这里拿wordpress站点为例，<head>是在header.php头文件中。代码如下：

<meta name="robots" content="noarchive">
//禁止所有搜索引擎抓取网站并显示网页快照
<meta name="Baiduspider" content="noarchive">
//禁止百度搜索引擎抓取网站并显示网页快照
<meta name="googlebot" content="noarchive">
//禁止谷歌搜索引擎抓取网站并显示网页快照

根据上述代码选择一个适合自己的加到<head>之前的meta标签就可以了。

推荐设置<meta name=”robots” content=”noarchive”>一了百了

设置完成后，搜索引擎不会第一时间就生效，毕竟之前就已经储存了相关的抓取信息，短期内还是会被抓取。一般静等一周左右的时间就差不多不会被各大引擎造访了。如果想短期内禁止搜索引擎抓取收录，请前往各大搜索引擎站长平台进行投诉反馈！

百度站长平台：https://ziyuan.baidu.com

360站长平台：http://zhanzhang.so.com/

搜狗站长平台：http://zhanzhang.sogou.com/

神马站长平台：http://zhanzhang.sm.cn

推荐以上方法双管齐下全部用上，确认以上设置无误后，每天在搜索引擎中搜索site:域名就可以查看结果了。出现下图中的信息就说明设置成功，再也不怕有外来者从搜索引擎偷渡过来了！（复制你奶奶个腿，本文是老夜写的，改了名字冒充老夜，要脸吗）

补充：

禁止搜索引擎抓取收录也就意味着今后很难从各大搜索引擎那来访客了，但是如果真的是个人使用又不想被其他人看到还是挺好的，至少图个安静。老夜文笔就这样，如有不足之处欢迎鞭策……

原文地址：https://fendou.gqr5.cn/1504.html ------本页内容已结束，喜欢请分享------

感谢您的来访，获取更多精彩文章请收藏本站。

1 本网站名称：奋斗资源网
2 本站永久网址：https://fendou.gqr5.cn
3 本站的文章部分内容来源于网络，仅供大家学习与参考！
4 本站资源大多存储在云盘，如发现链接失效，请联系我们更新。
5 本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责
6 如有侵权，请联系站长QQ：2889873061 • 邮箱：2889873061@qq.com【进行处理】
7 本文内容仅为技术科普，请勿用于非法用途
8 根据《计算机软件保护条例》第十七条，本站所有软件请仅用于学习研究用途

下载公告

下载相关问题公告蓝奏云如果遇到链接无法访问，可以把链接中的lanzous替换成lanzoux，给您造成的不便深感歉意，另外付费产品因为官方更新不能及时更新最新版本可以联系站长更新到最新版本。

THE END