有些站长经常抱怨自己的网站打开速度很慢，用了各种方法都不起效果。也找不开影响网站打开慢的真正原因。对于我们检测的一部分网站中，有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。
我们网络爬虫也就是我们 SEO 课程中讲的搜索引擎蜘蛛，我们网站想要在搜索引擎上有排名，第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛，会肆无忌惮的不停访问我们的网站，这样会给自己的网站服务器增加很大的负担。这时我们需要降低网络爬虫速度减小压力。
降低网络爬虫速度的方法很简单，在 robots.txt 文件里就可以通过代码来降低速度。
- User-agent: *
- Crawl-delay: 10
- Request-rate: 60/1m
- Visit-time: 0000-0800
由于这个还没有完全的标准，两种都用了，Crawl-delay 是每秒访问的网页数，而 Request-rate 是页面数/时间段，可以设置为比较小的值，Visit-time 为允许访问的时间段。
当然，我们也可以把一些常见的垃圾蜘蛛屏蔽掉，不让他们来抓取我们的网站。方法见：
溫馨提示：
文章連結：https://www.wuyanshuo.cn/281.html
更新時間：2022年3月21日
1、本站所有資源均不添加推廣檔案或浮水印，壓縮包內若有廣告檔案和浮水印請勿輕易相信。
2、本站資源均為兩層壓縮，第一層7z（尾碼若為wys，請自行修改為7z）有解壓密碼； 第二層zip或cbz，無解壓密碼，可直接使用漫畫類軟件程式查看； 詳情可參攷解壓教程。
3、本站大部分內容均收集於網絡！ 若內容侵犯到您的權益，請發送郵件至：admin#wysacg.top我們將第一時間處理！ 資源所需價格並非資源售賣價格，是收集、整理、編輯詳情以及本站運營的適當補貼，並且本站不提供任何免費技術支援。 所有資源僅限於參攷和學習，版權歸原作者所有！
