ホワイトスタート：「良い」ボットは本当に良いのか？

ホワイトスタート：「良い」ボットは本当に良いのか？

良いボットと悪いボットの問題は、企業にとって非常に単純なように思われます。一部をブロックし、他を通過させます。ただし、このプロセスには独自のニュアンスがあります。これは、悪いボットが良いボットになりすましているという事実、ホワイトリストから誤って構成されたボットがトラフィックを台無しにしてサイトをダウンさせる可能性があるという事実、および企業が常にボットをブロックする必要はないという事実によるものですが、どこを理解する必要があるだけです彼は歩いた。悪いボットと良いボットの違いを見てみましょう。

いくつかの統計

GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .

, , . , , - 22.9%, - - 17.9%.

: , , DDoS-, , , , - , - , - , , , - , .

. . , (, - -), , -.

(crawlers)

- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.

-

, , , , . : Amazon Echo, Google Home, Siri, . .

-, : , , . , . - Content ID YouTube, .

, Google Shopping. - , .

, (, , - ).

, whitelist Variti , , , preview - , - . , , ., AdSense-, , .

, , , , . .

, . . , - - . , , . .

. , , - , . .

, , , , - .. , , IP-, .

, . , Android , , . , , . , - , , , . , .

, , IP , . IP , CIDR-, .

“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .

. , , website.com/api. API, - , API IP . , API .

whitelists, IP , , – Variti, , Telegram- Variti .

, , . , , . - SMS-. , SMS- - . , . , . , SMS, .

, “”, . , 10 , 1000. robots.txt, , . , , . , - , .

- . - , IP-, , .. DDoS-. , .

, , . . . – , , . , .

GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .

, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .

, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .

, , . , , .

Variti user agent, , IP , , , . , , ( Chrome, headless) , .

, , , , . .

, “ ”

“” , . , , . , , — . , , - - , .

, , , email. - , . , , .

Firefox, Chrome, Internet Explorer Safari , - , . .

robots.txt — , . , , . : , . , - - , robots.txt. - .

, , . , - - , (, - ), stealth-, , . - ?