注册会员
×

已有账号? 请点击

使用其他方式登录

PetalBot是什么-华为花瓣搜索引擎蜘蛛

发布2021-04-26 浏览55次

详情内容

最近在维护客户网站是发现网站大量流量,看一下网站响应日志,有不明的访问来源,看下记录是compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot,翻译了一下,原来是华为的蜘蛛,然后回想起看到有说华为在搞搜索引擎的新闻,那看来这个玩意已经确实存在,不然我小网站也不能来这么多,跟今日头条爬虫一样,现在是它饥饿的时候疯狂爬数据,给服务器带来不小压力,建议必要时可以禁止petalbot访问,可以在网站目录的robots.txt文件,没有的手动新建一个。

通过robots.txt协议禁止

 User-agent: PetalBot
 Disallow: /

image.png

image.png


Nginx屏蔽爬虫访问站点方法:

#禁止 Scrapy 等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
     return 403;
}
#禁止指定 UA 及 UA 为空的访问
if ($http_user_agent ~ "yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
     return 403;
}
#禁止非 GET|HEAD|POST 方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
    return 403;
}


在apache禁止蛛蛛访问,在修改网站目录下的.htaccess,添加如下代码即可:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|yisouspider|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]


点击QQ咨询
开通会员
返回顶部
×
  • 微信支付
  • 支付宝付款
微信扫码支付
微信扫码支付
请使用微信描二维码支付
×

提示信息