首頁>>前端開發
相信每位站長都很煩那些垃圾蜘蛛和垃圾ip,總是使勁的爬自己的網站,以SemrushBot、SM-G900P等垃圾蜘蛛UA和某個特別熟悉的安卓UA(SM-G900P)為例,它們一天天爬個不停,把服務器cpu爬得通紅都不放過。
下面以寶塔為例,教大家怎么簡單的快速屏蔽垃圾的蜘蛛和垃圾ip。
屏蔽國外蜘蛛我們只需要分三步:
1、打開寶塔的網站管理-點擊你要屏蔽的網站的設置;
2、彈窗出來后點擊偽靜態;
3、復制下方的代碼到里面第一行;
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) {return 403;}
操作成功的圖片如下:
在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法
通過上面的一番操作對垃圾蜘蛛返回403錯誤提示,即可有效的屏蔽掉這些垃圾爬蟲了。
查看服務器日志發現,有很多國外的蜘蛛不停的抓取一些其他頁面,比如tag,許多ip段批量的不間斷的抓取,這導致小帶寬服務器壓力太大,訪問緩慢,百度蜘蛛就不再繼續抓取效驗直接告知錯誤,查詢后發現這些蜘蛛全是國外的各類型蜘蛛對于我們來說一點作用都沒有,簡直就是浪費帶寬,沒用就禁了它。下面說說方法,我也是網上查詢到的,看來是比較管用的
寶塔面板下使用方法如下:
1、找到文件目錄/www/server/nginx/conf文件夾下面,新建一個文件命名:agent_deny.conf 你也可以隨意起名,創建完文件后,點擊編輯這個文件,把下面的代碼放進去保存。
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA為空的訪問 if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
如圖:
2、找到網站設置里面的第7行左右 寫入代碼:
include agent_deny.conf;
添加完畢后保存,重啟nginx
如果你網站使用火車頭采集發布,使用以上代碼會返回403錯誤,發布不了的。如果想使用火車頭采集發布,請使用下面的代碼
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA訪問。UA為空的可以訪問,比如火車頭可以正常發布。 if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
猜你喜歡
- 2022-11-10 【官方文檔】百度搜索網站被黑防范指南
- 2022-11-03 【干貨必備】百度搜索優質內容指南
- 2022-08-01 百度隱藏“快照”功能:原因未知-百度快照沒了?
- 2022-06-20 淺析“百度搜索基礎信息設置規范”!
- 2022-06-15 SEO尷尬,有排名,沒流量,沒咨詢,怎么辦?
- 2022-05-16 IE瀏覽器宣布6月16日退役 Edge瀏覽器將接棒
- 搜索
-
- 2023-02-15 互聯網公司忽悠員工的黑話,套路太深了
- 2023-02-14 SEM新接手賬戶,需要做哪些準備?
- 2023-02-14 干貨!競價推廣常見問題解析
- 2023-02-10 ChatGPT淘汰的那些人,其實早就已經···
- 2023-02-03 流量運營的核心精華,又何止1000種方法
- 2023-02-03 什么是二類電商,一類電商和二類電商的區別
- 2023-02-02 搜狗競價退出歷史舞臺,SEM行業2023···
- 2023-01-11 營銷的底層邏輯
- 2023-01-05 如何生產優質的圖文內容
- 2022-12-10 SEM精細化運營:從展現到轉化的40個提···
- 2022-12-01 網站頁面黑白色濾鏡效果實現技巧
- 2022-11-26 優化 CSS 代碼的12個小技巧
- 2019-11-01 Origin DNS error:使用百···
- 2020-12-01 一級域名好還是二級域名好?
- 2020-10-13 百度抓取診斷工具一直抓取失敗怎么辦?
- 2020-06-20 “401 - 未授權: 由于憑據無效,訪···
- 2019-12-09 域名解析后,網站返回狀態碼511應對方法
- 2021-01-06 百度移動端的搜索結果上線“踩頂”功能,對···
- 2020-09-03 element.style樣式的修改
- 2019-08-12 網站出現“403,服務器上文件或目錄拒絕···
- 2019-11-06 正確打開.db數據庫文件的兩種方式,避免···
- 2020-10-20 UC神馬搜索怎么做快速排名優化
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框軟件原理及···
- 2021-04-13 html/txt文件中文用瀏覽器打開有亂···
- 2020-07-08 做為一個SEO專員接手一個網站該怎么進行···
- 2020-01-03 頭條搜索撕開百度的中年危機
- 2023-01-05 如何生產優質的圖文內容
- 2019-11-07 排名清零或是恢復,你的網站有波動了嗎?快···
- 2019-12-26 網頁劫持:標題被篡改,標題前無故被加入字···
- 2020-07-31 網站排名一直在第2,3頁停滯不前,怎么突···
- 2021-01-22 [搜索資源平臺]:您還未通過安全驗證,請···
- 2020-05-14 網站被k,收錄歸零消失,是怎么回事以及怎···
- 2020-02-03 連再見也沒說:PHPCMS和Foosun···
- 2021-01-29 百度智能小程序如何關聯H5站點?(獲取站···
- 2021-09-20 百度搜索結果:最新展現形態,你都了解嗎?
- 2022-08-31 阿里云CDN加速添加CNAME記錄提示和···
- 熱門標簽
-
- Error 1016
- Origin DNS error
- 源DNS服務器錯誤
- element.style
- css
- .db文件
- 域名解析
- 別名解析
- CNME解析
- A記錄
- asp.net
- php
- jsp
- 開發語言對比
- 白名單
- 香港主機
- 主機白名單
- 寶塔
- 個人備案
- 企業備案
- 網站備案
- 500錯誤
- 字體大小
- 用戶體驗
- 錨點跳轉
- 301
- 301重定向
- 301永久重定向
- 虛擬主機
- 網站搭建
- 自適應網站
- web前端
- 移動端
- 響應式網站
- 網站被黑
- 后臺入侵
- 源碼安全
- 開源CMS
- 阿里云服務器
- 實例類型
- 織夢cms
- ftp
- flashfxp
- js空鏈接
- 備案駁回
- 阿里云備案
- 偽元素選擇器
- 偽類選擇器
- CSS3
- 域名備案
- 服務器流量
- 網站流量耗盡
- 百度轉碼
- 禁止轉碼
- 谷歌插件
- Chrome
- 網站建設
- 低成本網站
- win10連接遠程服務器
- 服務器空間
- 網站空間選擇
- 網站設計
- seo要點
- seo建站方案
- 網站安全
- html標簽
- seo標簽
- 網站體驗設計
- 老年用戶
- 網站標簽
- 標簽優化
- 獨立ip主機
- seo服務器
- 0收錄
- 新域名收錄
- 網站收錄
- X-Powered-By
- dede
- 分頁樣式代碼
- robots.txt
- 營銷型網站
- 定制網站
- javascript
- 編程語言
- 服務器穩定性
- 網站續費
- filter
- 濾鏡
- SQL
- Sqlite
- pbootcms
- 蜘蛛
- 屏蔽蜘蛛
- PbootCMS
- sqlite
- mysql
- 數據庫