サイト上のボットに関するトピックは、一部の人にとっては非常に苦痛であり、常に頭痛の種になりますが、他の人はそれを完全に無視することを好みます。そして、ここで理解する必要があります。ボットによる被害が大きくない場合、ボットと戦うためにお金を投資することは、ビジネスの観点からはあまり正当化されません。ほとんどの場合、そのような場合、それらは、第1世代のボット（以下の世代について）と戦うかなり単純な自作のソリューションに制限されます。しかし、サイトへの攻撃がビジネスに害を及ぼす場合、会社はそれらにどう対処するかを考え始めます。
経験から言えば、航空会社や大規模なeコマース企業はボットの絶え間ない流れに苦しんでいることが最も多いと言えます。航空会社の典型的なケースは、ボットに見舞われて支払いを受ける可能性がある場合、よく知られている座席保持です。仕組み：チケットを購入し、フライト、時間、場所を選択して支払いを受けたいと考えています。多くの場合、この場所では、航空会社がこの場所を予約し（現時点では他のサイト訪問者は購入できません）、カードで支払う時間を数分から数時間与えます。何が起こるか：ボットの波がサイトに到着し、飛行機全体が予約されます（そして、支払い時間が経過した後、再び座席が予約されます）。したがって、誰もチケットを購入することはできず、飛行機は実際には空を飛ぶことができます。そして、これはお金であり、かなりたくさんあります。電子商取引会社の場合、これはほとんどの場合、資格情報の検索とボーナスポイントの償却です。
どんなボットがありますか？ここでは、実際、すべてが非常に単純です。良い答えと悪い答えの2つがあります。良いものは、検索エンジンボット、パートナーのボット、ある種の監視システムなどです。一般に、これらはルールに従うボットです。
彼らが誰であるかになりすます
サイトに危害を加えようとしないでください
リンクをたどるrobots.txt
悪いのは、友好的でない意図を持っているか、他の目的に使用されている人です。通常、彼らは人に変装するか、他の有名な優れたボットを偽造しようとします。ほとんどの場合、悪いボットは次の目的で使用されます。
データ侵害またはダークウェブから盗まれたクレデンシャルを使用して自動的にログインします。
登録ボーナスを受け取るために新しいオンラインアカウントを作成する
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
この記事を書くことをどのようにして思いついたのですか？今年は2日間、スタンドGlobalDotsを使用してHighload ++に参加しましたが、かなりの数の人がほぼ同じ質問で私たちにアプローチしました。ロシアにアカマイはありますか？CDN以外に何かありますか？実際、これがこの小さな記事の登場です。
これがおそらくすべてです。それはそのようなかなり入門的な記事であることが判明しました。私は話す以上のことを示すことに慣れています-それはより有益であることがわかります。ご不明な点がございましたら、コメントで聖トロペスへようこそ。