バックグラウンド
ここ数年、監視システムの市場はAIOpsの頭文字によって動揺しています。すべてのベンダーは、複雑で高価なシステムで人工知能の使用を追求し始めています。 「根本原因分析」、「相関」、「MLツール」、「異常検出」、「インシデント予測」、「ノイズ低減」という用語は、さまざまな監視システムのマーケティング資料やサイトに徹底的かつおそらく永遠に定着しています。
ご存知のように、パンフレットの宣伝は1つですが、日常生活のエンジニアリングは別のことです。おそらく、特に大企業の複雑なIT環境において、タイタニックと氷山のように、特定の技術革新の売り手の約束が実装の実践と衝突した状況に直面している可能性があります。したがって、私は最初は非常に懐疑的に見え、このトピックに関する興奮を共有しませんでした。さらに、Zabbix、Prometheus、Elasticなどの強化コンクリートソリューションがある場合。しかし、HYIP HYIP、懐疑論、懐疑論、そして私たちはまだエンジニアであり、実際にすべてをチェックして研究する必要があり、著名なベンダーや有望なスタートアップからの「魔法のボタン」を信じる/信じないという質問をしないでください。それで、インテグレーターからの別のプレゼンテーションと「私たちの罪深いオペレーションエンジニアの土地の天国」の大金の約束の後、私たちは小さなイニシアチブグループを集めました、これは、人工知能と機械学習のこの魔法が私たちの実践のすべてについて何であるかを「感じる」ことに決めました。このようにして、資料が生まれ、小さなペットプロジェクトでさえあなたと共有したいと思います。
— , . . - . : -. — “ ”, .. , “ ”, . — “ ”.
ML- . , . - , .
. HTTP- . “”, . , downdetector , , , ;)
2020-10-14 14:00 +03:00 38 ( ), .. [2020-10-12 23:00:00 +03:00 – 2020-10-14 14:00 +03:00]. : 3612.
(threshold), , 0, 1, 179 . (. . 1: . UTC. ,
).
. 1. . UTC. , — .
, 3- , 44 (. . 2). 4 . “0110010011101010…”, , , % ( 1 ), - .
. 2. 3- . , — .
“” : - , . - , . , AI/ML.
ML?
, , Data Scientist . , , -, , 3- :
- . — , .
- , , , .
- , , "" . .. " " , , .
DetectIidSpike ML.NET. : . , . "" , . .
DetectIidSpike :
- confidence — [0, 100]. , , , , ;
- pvalueHistoryLength — p-value. - " ", .
, . HTTP- , .. . . - . , .. 5 : . , , .. . (, ), "", .
“”. , , , (), «» ( ). 5 . , websockets , . , ( kubernetes ).
(confidence: 95, pvalueHistoryLength: 5), 36 . , , .. . , 24 . (, ).
. 3. (confidence: 95, pvalueHistoryLength: 5) , —
(. 3), , . , , ( ).
. 4 pvalueHistoryLength=12 confidence: 98. : 14 .
. 4. (confidence: 98, pvalueHistoryLength: 12)
, DetectIidSpike (24 44) 3 , 7,5 (24 179) . , , . , ML . , :)
P.S.: ML, -, . .
PPS：以下に、実行されたチェックの実際のデータと生成された異常を含む、ペットプロジェクトからのスクリーンショットをいくつか示します。アルゴリズムがどの程度効率的または非効率的に（誰に対してどのように）機能するかを確認できます（黄色の円-選択した間隔での異常）。
