负责运营华为移动服务(HMS)的华为子公司Aspiegel此前已经在欧洲推出华为搜索服务,对应的是该公司释放搜索爬虫抓取全网资源。然而AspiegelBot不遵守robots.txt协议疯狂抓爬如小型DDoS般,目前国内外已经有很多网站受影响而屏蔽该爬虫。屏蔽方式方面暂时只能使用屏蔽爬虫IP段或识别UA信息拦截,直接在robots.txt里屏蔽无效:https://www.landiannews.com/archives/73796.html
来自频道: @landiansub
Loading comments...