白手起家：“好”机器人真的那么好吗？
对于公司而言，好人与坏人机器人的问题似乎非常简单：阻止某些机器人，让其他机器人通过。但是，此过程有其细微差别。这是由于以下事实：不良的bot会伪装成好bot；白名单中错误配置的bot会破坏流量并导致站点瘫痪；公司甚至不需要始终阻止bot，而您只需要了解哪里就可以了。他走了。让我们看看不良的机器人与好的机器人有何不同。
一些统计
GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .
, , . , , - 22.9%, - - 17.9%.
: , , DDoS-, , , , - , - , - , , , - , .
. . , (, - -), , -.
(crawlers)
- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.
-
, , , , . : Amazon Echo, Google Home, Siri, . .
-, : , , . , . - Content ID YouTube, .
, Google Shopping. - , .
, (, , - ).
, whitelist Variti , , , preview - , - . , , ., AdSense-, , .
, , , , . .
, . . , - - . , , . .
. , , - , . .
, , , , - .. , , IP-, .
, . , Android , , . , , . , - , , , . , .
, , IP , . IP , CIDR-, .
“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .
. , , website.com/api. API, - , API IP . , API .
whitelists, IP , , – Variti, , Telegram- Variti .
, , . , , . - SMS-. , SMS- - . , . , . , SMS, .
, “”, . , 10 , 1000. robots.txt, , . , , . , - , .
- . - , IP-, , .. DDoS-. , .
, , . . . – , , . , .
GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .
, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .
, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .
, , . , , .
Variti user agent, , IP , , , . , , ( Chrome, headless) , .
, , , , . .
, “ ”
“” , . , , . , , — . , , - - , .
, , , email. - , . , , .
Firefox, Chrome, Internet Explorer Safari , - , . .
robots.txt — , . , , . : , . , - - , robots.txt. - .
, , . , - - , (, - ), stealth-, , . - ?