• 一站式百度SEO排名優化!-找老劉博客 低投入,高轉化,精益求精、一絲不茍:旨在提供更好的SEO服務!

    首頁>>前端開發

    在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法

    首頁 2022-11-01 前端開發 1390 ℃Tags: 蜘蛛 寶塔 屏蔽蜘蛛


    相信每位站長都很煩那些垃圾蜘蛛和垃圾ip,總是使勁的爬自己的網站,以SemrushBot、SM-G900P等垃圾蜘蛛UA和某個特別熟悉的安卓UA(SM-G900P)為例,它們一天天爬個不停,把服務器cpu爬得通紅都不放過。

    下面以寶塔為例,教大家怎么簡單的快速屏蔽垃圾的蜘蛛和垃圾ip。

    屏蔽國外蜘蛛我們只需要分三步:

    1、打開寶塔的網站管理-點擊你要屏蔽的網站的設置;

    2、彈窗出來后點擊偽靜態;

    3、復制下方的代碼到里面第一行;

    if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) {return 403;}

         操作成功的圖片如下:

    image.png

    在寶塔面板通過偽靜態屏蔽垃圾蜘蛛的方法

    通過上面的一番操作對垃圾蜘蛛返回403錯誤提示,即可有效的屏蔽掉這些垃圾爬蟲了。


    查看服務器日志發現,有很多國外的蜘蛛不停的抓取一些其他頁面,比如tag,許多ip段批量的不間斷的抓取,這導致小帶寬服務器壓力太大,訪問緩慢,百度蜘蛛就不再繼續抓取效驗直接告知錯誤,查詢后發現這些蜘蛛全是國外的各類型蜘蛛對于我們來說一點作用都沒有,簡直就是浪費帶寬,沒用就禁了它。下面說說方法,我也是網上查詢到的,看來是比較管用的

    寶塔面板下使用方法如下

    1、找到文件目錄/www/server/nginx/conf文件夾下面,新建一個文件命名:agent_deny.conf 你也可以隨意起名,創建完文件后,點擊編輯這個文件,把下面的代碼放進去保存。

    #禁止Scrapy等工具的抓取

    if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
         return 403;
    }
    #禁止指定UA及UA為空的訪問
    if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) {
         return 403;
    }
    #禁止非GET|HEAD|POST方式的抓取
    if ($request_method !~ ^(GET|HEAD|POST)$) {
        return 403;
    }

    如圖:

    image.png

    2、找到網站設置里面的第7行左右 寫入代碼:

    include agent_deny.conf;

    添加完畢后保存,重啟nginx

    image.png

    如果你網站使用火車頭采集發布,使用以上代碼會返回403錯誤,發布不了的。如果想使用火車頭采集發布,請使用下面的代碼

    #禁止Scrapy等工具的抓取
    if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
         return 403;
    }
    #禁止指定UA訪問。UA為空的可以訪問,比如火車頭可以正常發布。
    if  ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) {
        return 403;
    }
    #禁止非GET|HEAD|POST方式的抓取
    if ($request_method !~ ^(GET|HEAD|POST)$) {
        return 403;
    }


    搜索
    分類
    熱門標簽
  • 首頁
  • 電話
  • QQ
  • ?
    聯系老劉手機
    1043025812
    聯系老劉微信
    掃描微信二維碼
    34pao国产成视频永久免费_国产精品专区第5页_无码精品A∨在线观看_国色天香精品一卡二卡三卡_ww.国产精品