首頁>>前端開發
相信每位站長都很煩那些垃圾蜘蛛和垃圾ip,總是使勁的爬自己的網站,以SemrushBot、SM-G900P等垃圾蜘蛛UA和某個特別熟悉的安卓UA(SM-G900P)為例,它們一天天爬個不停,把服務器cpu爬得通紅都不放過。
下面以寶塔為例,教大家怎么簡單的快速屏蔽垃圾的蜘蛛和垃圾ip。
屏蔽國外蜘蛛我們只需要分三步:
1、打開寶塔的網站管理-點擊你要屏蔽的網站的設置;
2、彈窗出來后點擊偽靜態;
3、復制下方的代碼到里面第一行;
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) {return 403;}
操作成功的圖片如下:
在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法
通過上面的一番操作對垃圾蜘蛛返回403錯誤提示,即可有效的屏蔽掉這些垃圾爬蟲了。
查看服務器日志發現,有很多國外的蜘蛛不停的抓取一些其他頁面,比如tag,許多ip段批量的不間斷的抓取,這導致小帶寬服務器壓力太大,訪問緩慢,百度蜘蛛就不再繼續抓取效驗直接告知錯誤,查詢后發現這些蜘蛛全是國外的各類型蜘蛛對于我們來說一點作用都沒有,簡直就是浪費帶寬,沒用就禁了它。下面說說方法,我也是網上查詢到的,看來是比較管用的
寶塔面板下使用方法如下:
1、找到文件目錄/www/server/nginx/conf文件夾下面,新建一個文件命名:agent_deny.conf 你也可以隨意起名,創建完文件后,點擊編輯這個文件,把下面的代碼放進去保存。
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA為空的訪問 if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
如圖:
2、找到網站設置里面的第7行左右 寫入代碼:
include agent_deny.conf;
添加完畢后保存,重啟nginx
如果你網站使用火車頭采集發布,使用以上代碼會返回403錯誤,發布不了的。如果想使用火車頭采集發布,請使用下面的代碼
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA訪問。UA為空的可以訪問,比如火車頭可以正常發布。 if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
猜你喜歡
- 2022-11-10 【官方文檔】百度搜索網站被黑防范指南
- 2022-11-03 【干貨必備】百度搜索優質內容指南
- 2022-08-01 百度隱藏“快照”功能:原因未知-百度快照沒了?
- 2022-06-20 淺析“百度搜索基礎信息設置規范”!
- 2022-06-15 SEO尷尬,有排名,沒流量,沒咨詢,怎么辦?
- 2022-05-16 IE瀏覽器宣布6月16日退役 Edge瀏覽器將接棒
- 搜索
-
- 2023-09-07 優化師過了30歲,還能找到好工作嗎?
- 2023-09-05 看完就能用,SEM推廣方法論!
- 2023-08-28 又又又升級了!百度搜索新增“AI穩投”
- 2023-08-25 “抄”爆同行素材,這樣搞!
- 2023-08-25 如何利用A/B測試,優化廣告素材?
- 2023-08-18 一鍵起量,百度搜索又一重磅升級!
- 2023-08-17 小紅書,再不做就晚了!
- 2023-08-10 廣告素材這樣設計,點擊率翻5倍!
- 2023-08-03 百度競價太卷了,怎么辦?
- 2023-08-02 信息流渠道如何選擇?4大渠道優劣對比
- 2023-07-28 14個技巧,讓你的頁面轉化提高一倍!
- 2023-07-27 推廣必用8個Excel函數,你用過幾個?
- 2019-11-01 Origin DNS error:使用百···
- 2020-06-20 “401 - 未授權: 由于憑據無效,訪···
- 2020-12-01 一級域名好還是二級域名好?
- 2020-10-13 百度抓取診斷工具一直抓取失敗怎么辦?
- 2019-12-09 域名解析后,網站返回狀態碼511應對方法
- 2019-08-12 網站出現“403,服務器上文件或目錄拒絕···
- 2021-04-13 html/txt文件中文用瀏覽器打開有亂···
- 2020-09-03 element.style樣式的修改
- 2021-01-06 百度移動端的搜索結果上線“踩頂”功能,對···
- 2019-11-06 正確打開.db數據庫文件的兩種方式,避免···
- 2020-10-20 UC神馬搜索怎么做快速排名優化
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框軟件原理及···
- 2021-02-25 什么樣的網站關鍵詞有轉化率?
- 2020-12-11 公司網絡營銷推廣的投資成本要多少?
- 2022-09-24 【親測有效】百度編輯器ueditor前臺···
- 2019-03-05 新網站備案全流程詳解
- 2023-02-10 ChatGPT淘汰的那些人,其實早就已經···
- 2021-05-27 搜索引擎網站優化,權重下降會有一些征兆!
- 2019-11-25 網站上線后持續優化是優化哪些?
- 2020-10-20 新站使用老域名有哪些好處呢?備受網站站長···
- 2019-09-16 當今搜索引擎網站網站用戶體驗SEO優化重···
- 2021-02-21 真正SEO高手,需不需要寫原創文章?
- 2019-03-06 網站關鍵詞忽然掉到100名之外怎么辦?
- 2019-02-14 中小型企業做SEO的常見錯誤
- 熱門標簽
-
- Error 1016
- Origin DNS error
- 源DNS服務器錯誤
- element.style
- css
- .db文件
- 域名解析
- 別名解析
- CNME解析
- A記錄
- asp.net
- php
- jsp
- 開發語言對比
- 寶塔
- 白名單
- 香港主機
- 主機白名單
- 301
- 301重定向
- 301永久重定向
- 個人備案
- 企業備案
- 網站備案
- 錨點跳轉
- 500錯誤
- 字體大小
- 用戶體驗
- 虛擬主機
- 網站搭建
- 自適應網站
- web前端
- 移動端
- 響應式網站
- 網站被黑
- 后臺入侵
- 源碼安全
- 備案駁回
- 阿里云備案
- ftp
- flashfxp
- js空鏈接
- 阿里云服務器
- 實例類型
- 織夢cms
- 開源CMS
- 百度轉碼
- 禁止轉碼
- 偽元素選擇器
- 偽類選擇器
- CSS3
- 網站建設
- 低成本網站
- 域名備案
- win10連接遠程服務器
- 谷歌插件
- Chrome
- 服務器流量
- 網站流量耗盡
- 蜘蛛
- 屏蔽蜘蛛
- 網站體驗設計
- 老年用戶
- html標簽
- seo標簽
- 網站安全
- X-Powered-By
- robots.txt
- 服務器空間
- 網站空間選擇
- 網站設計
- seo要點
- seo建站方案
- 0收錄
- 新域名收錄
- 網站收錄
- 獨立ip主機
- seo服務器
- 服務器穩定性
- 網站續費
- dede
- 分頁樣式代碼
- 網站標簽
- 標簽優化
- pbootcms
- 權限設置
- javascript
- 編程語言
- 營銷型網站
- 定制網站
- filter
- 濾鏡
- PbootCMS
- sqlite
- mysql
- 數據庫
- SQL
- Sqlite
- css3