51.143.124.155

从昨天开始观察到异常的冰冰活动看起来,搜索引擎(甚至bing)对网站进行爬网没有什么问题,但前提是它们必须遵守自己的识别规则



在进一步分析,只有51.143.124.155会提到,虽然

52.250.62.82,

52.250.19.204,

52.250.119.153
也是在日志中闪现

但他们的行为更具文化。



昨天从一个站点的日志中选择bing机器人的示例中,问题看起来像什么



$ cat ./20201026* | grep -F bingbot | awk '{print $1}' | sort | uniq -c | sort -rn | head -10
 404582 51.143.124.155
  10449 157.55.39.174
  10037 207.46.13.162
  10036 207.46.13.86
  10008 157.55.39.152
   6638 207.46.13.207
   4993 207.46.13.238
   4113 157.55.39.200
   3897 157.55.39.205
   2995 157.55.39.166


典型的“旧” bing bot如下所示:



$ whois 157.55.39.174 | grep -i "org[-]*name"
OrgName:        Microsoft Corporation

$ host 157.55.39.174
174.39.55.157.in-addr.arpa domain name pointer msnbot-157-55-39-174.search.msn.com.


他们是基于网络

157.56.0.0/14,

157.54.0.0/15,

157.60.0.0/16,

207.46.0.0/16

,并在成功验证www.bing.com/toolbox/verify-bingbot-verdict







什么是“新»机器人:



$ whois 51.143.124.155 | grep -i "org[-]*name"
org-name:       Microsoft Limited

$ host 51.143.124.155 
Host 155.124.143.51.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.62.82
Host 82.62.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.19.204
Host 204.19.250.52.in-addr.arpa not found: 3(NXDOMAIN)
$ host 52.250.119.153
Host 153.119.250.52.in-addr.arpa not found: 3(NXDOMAIN)


相应地:







同时,在所有站点上同时进行手写,活动以及来自同事的消息,这些消息阻止Bing Webmaster Tools发出的有关该站点不可用的“新” ip通知后,我们可以得出结论,这些机器人确实是微软的工作 当然,支持请求和滥用也将被忽略。 通常,不要立即从网络51.140.0.0/14、52.224.0.0/11击中僵尸程序。它们可能是有用的(或至少无害的)双歧杆菌。更新(28.10.2020 08:48 MSK): 昨天(在27 /十月/ 2020:11:56:24 +0300)请求已停止。 没有关于虐待的答案。

















@Facan在类似的请求上发布了一条评论:

…一些网站报告说,一小部分的Bing爬网程序无法正确解析DNS,而我们几天都在普通IP之外进行爬网。我们昨天修好了。



All Articles