👩🏽‍🤝‍👨🏻 🔨 👨🏾‍⚖️ エントロピーとネットワークトラフィックの異常検出 🤤 👩🏽‍🎤 📹

この記事では、Neoflex のデータサイエンスビジネス領域の第一人者である Daniil Volkov が、情報理論の観点から見たシステムの主な特徴であるエントロピーの使用に基づいてネットワークの異常を検出する方法について話します。彼はまた、時系列の異常を検出するいくつかの方法についても言及しています。

過去 10 年間、ネットワークトラフィックのさまざまな特性に内在する「カオス」の尺度としてのエントロピーに焦点を当てた大量の研究が行われてきました。特に、エントロピー時系列は、ネットワークトラフィックの異常を検出するための比較的優れた方法であることが証明されています。このアプローチの利点は次のとおりです。

. (, Netflow), .
. , , , packets rate (rps) (.., packets rate).
. , zero-day.

したがって、「エントロピー」の概念に基づいて異常を検出するために提案されたシステムは、個々のネットワークパケットではなく、ネットワークフローを分析します。ネットワークストリーム (以下、単にストリーム) を、同じ送信元と宛先の IP アドレスとポート、および IP プロトコルのタイプを持つネットワークパケットに関する単方向のメタデータとして定義しましょう。OSI レイヤー 3 以降のすべてのネットワークアクティビティはストリームに削減されることに注意することが重要です。これらは TCP 接続だけでなく、UDP や ICMP などのステートレスプロトコルでもあります。ストリームの概念を使用する利点:

それらは非常に使いやすく、情報を保存できるため、分析が容易になります。
プライバシーと個人データの問題が少なくなります。
たとえば、Cisco NetFlow、sflow、または IPFIX の形式 (お好みで) など、ネットワーク上の必要な情報へのアクセスを簡単に確立できます。

エントロピ

統計物理学と情報理論におけるエントロピーの概念は、互いに非常に近いものです。さらに、私たちにとって、エントロピーをトラフィック特性の分布の尺度として使用する場合、それは最後の重要性ではないという事実になります.そのエントロピーは、システムの状態の平衡への近さの尺度としても機能します (理論では、ネットワークトラフィックの交換も含まれる場合があります)。多くの人が覚えているように、古典的なシャノンエントロピーは次のように定義されます。

H = - \sum_{i = 1}^{n} p_{i} \log p_{i},

$H = - \sum^n_{i=1} p_i \log p_i,$

どこ

p_{i}

$p_i$ - 確率

i

$i$ - システムの状態、

n

$n$ - システムのすべての可能な状態の数。結果の解釈を容易にし、n を変更する季節要因の影響を除外するために、正規化されたシャノンエントロピーを以下で使用します。

H_{0} = \frac{H}{\log n}, ⟶ H_{0} \in [0, 1] .

$H_0 = \frac{H}{\log n}, \longrightarrow H_0 \in [0, 1].$

ネットワークトラフィックの属性とエントロピーの時系列

では、どのように計算するかを正確に説明する必要があります。

H_{0} = \frac{H}{\log n}, ⟶ H_{0} \in [0, 1]

$H_0 = \frac{H}{\log n}, \longrightarrow H_0 \in [0, 1]$ ネットワークトラフィックのさまざまな特性、そして最も重要なこと - どの特性に対して。さまざまな作者がさまざまな特徴を使用することを提案していますが、ほとんどすべての作品で、次の基本的なセットが残っています。

ソース IP
宛先IP
ソースポート
宛先ポート。

フローレコードやバックボーンフローの IP などの他の機能で拡張することが推奨される場合があります。

大きさの時系列を使用します

H_{0}

$H_0$ これらのトラフィック特性について、有限の長さの時間枠内で計算されます。ネットワークインフラストラクチャへの攻撃の一般的な期間が数十分であることを考慮すると、一般的なウィンドウの長さ (オーバーラップ、スライディングを使用できます) は約 5 ～ 10 分です。また、これは、かなり大量の累積統計が必要になることでもあります。したがって、ソース IP のエントロピーに関心がある場合、

n

$n$ ウィンドウ内の一意の IP アドレスの数に等しく、確率の計算に関しては、圧倒的多数の作成者は、ネットワーク内のそのようなパケットの確率の尺度としてこの特性を持つパケットの数を使用します (一般的に、論理的ですが、バイト数とストリーム数の両方を使用できます)。たとえば、1.1.1.1 に 100 個のパッケージ、1.1.1.2 に 100 個のパッケージ、2.2.2.2 に 300 個のパッケージがある場合、次のようになります。

p_{1.1.1.1} = p_{1.1.1.2} = \frac{100}{100 + 100 + 300} = 0.2

$p_{1.1.1.1} = p_{1.1.1.2} = \frac{100}{100 + 100 + 300} = 0.2$

p_{2.2.2.2} = \frac{300}{500} = 0.6

$p_{2.2.2.2} = \frac{300}{500} = 0.6$

H = - (0.2 \log 0.2 + 0.2 \log 0.2 + 0.6 \log 0.6) \approx 1.37

$H = -(0.2 \log 0.2 + 0.2 \log 0.2 + 0.6 \log 0.6) \approx 1.37$

H_{0} = \frac{1.37}{l o g 3} \approx 0.86.

$H_0 = \frac{1.37}{log 3} \approx 0.86.$

次に、属性について説明し、関心のある攻撃の種類についてそれらを考慮するのが適切な場合について説明します。

エントロピーとネットワークの異常に関連するほとんどの研究では、研究者はソース IP アドレス、さらにはその分布とエントロピーに焦点を当てています。かなり良い選択です。

ある研究で [Sharma et al. (2015)] 著者らは、さまざまなタイプの攻撃を実験し、エントロピーアプローチを使用してこれらの攻撃を検出するためのさまざまな属性の有用性を分析しました。つまり、NUST データセットが使用されました。攻撃のタイプは、TCP-SYN フラッド、UDP フラッド、および Smurf です。分析のために、通常のトラフィックの約 10 万パケットと攻撃されたトラフィックの約 1 万パケットが採取されました。属性は、送信元 IP、宛先 IP、送信元ポート、宛先ポート (標準) でしたが、フラグ (TCP フラグによる配布)、長さ (パケット長による配布)、プロトコル (プロトコル別) も考慮されました。

その結果、エントロピーアプローチに基づく異常検出システムで、前述のパケット長などの標準属性への追加 (TCP-SYN 攻撃の場合に非常に良い結果) を使用することが有用であることが判明しました。プロトコルごとにエントロピーを使用すると、UDP フラッドなどの特定のケースでのみ意味のある結果が得られるため、比較的有用ですが、このようなタイプの攻撃は、完全に従来のトラフィック監視方法で簡単に検出できます。

エントロピー時系列に基づくネットワーク異常検出アルゴリズム

この方法は、著者らが提案した [Winter (2011)] を一般化したものです。一般化は、主に時系列システムの構築に使用する属性と、特定の時系列の異常を特定する方法に関係します。

アルゴリズム

, - . [Winter (2011)] : Src-Dst IP/Port, flow records (1 flow records = Src IP + Dst IP + Src Port + Dst Port + IP Protocol);
! , . . $T$ ;
( ). , . $\sigma_i$ – $i$ ～の時系列 $T$ ;
突然の変化の検出の背後にある主な考え方は、短期的な予測を継続的に行い、予測と実際の値との差異を判断することです。Winter (2011) は単純な指数平滑法を提案していますが、ARIMA ネットワークから LSTM ネットワークまで、より複雑な (そして正確な) 方法を使用できます。

それぞれについて

T_{i}

$T_i$ 関心のある瞬間の予測誤差を決定します

t

$t$ :

δ_{i} = | Pred (T_{i} (t)) - T_{i} (t) | .

$\delta_i = | \texttt{Pred}(T_i(t)) - T_i(t) |.$

5. ただし、基本時系列の分散が異なるため、特定の予測誤差の重要度は等しくありません。このため、重み係数を掛けて、それぞれの時系列の分散に関して予測誤差を正規化します。

w_{i} = \frac{1}{σ_{i}} \cdot max (σ_{1}, \dots, σ_{n}) .

$w_i = \frac{1}{\sigma_i} \cdot \max (\sigma_1, \ldots, \sigma_n).$

6. 異常を検出するプロセスを簡素化するために、集計特性「異常スコア」を導入します。

A S = \sum_{i = 1}^{n} δ_{i} \cdot w_{i} .

$AS = \sum_{i=1}^n \delta_i \cdot w_i.$

7.もし

A S > A S_{t h r}

$AS > AS_{thr}$ ネットワークトラフィックの特定の異常が記録されたとします。スレッショルド

値

A S_{t h r}

$AS_{thr}$ ベース時系列の数に応じて経験的に決定されます

n

$n$ 、および検出器の感度の要件。

パラメータの設定について

このアルゴリズムでは、いくつかのパラメーターを設定する必要があります。パラメータの各組み合わせには、トレードオフが伴います。つまり、誤検出が多いため検出率が高くなるか、またはその逆になります。

. , . , , , – . , . 5 10 ;
. . , 80%;
分散を計算するためのスライディングウィンドウのサイズ。スライディングウィンドウのサイズを設定して、標準偏差を 24 時間まで計算することにしました。ほとんどの場合、そのようなスライドウィンドウは季節サイクル全体をカバーします。それ以外の場合は、24 時間の倍数であるウィンドウを選択することをお勧めします。代替の自然な選択肢は 7 日間です。

さらなる修正

ブーヤン等。(2014) 類似の方法を使用して異常を検出するための適合性に関する一連の情報メトリクスを調査しました。前述のよく知られたシャノンエントロピーに加えて、ハートレーエントロピー、レニーのエントロピー、レニーの一般化エントロピーがテストされました。これらはシャノンのエントロピーの一般化であり、次の式で定義されます。

H_{α} (x) = \frac{1}{1 - α} \log \sum_{i = 1}^{n} p_{i}^{α} .

$H_{\alpha} (x) = \frac{1}{1 - \alpha} \log \sum_{i=1}^n p_i^{\alpha}.$

ここに

α \geq 0, α \neq 1, p_{i} \geq 0

$\alpha \geq 0, \alpha \neq 1, p_i \geq 0$ ... 演習として、読者には、次のことを確認する機会が与えられます。

α \to 1, H_{α}

$\alpha \rightarrow 1, H_{\alpha}$ シャノンのエントロピーに傾く。とりわけ、著者は、悪意のあるトラフィックはポアソン分布に従い、正当なトラフィックはガウス分布に従うという広範な仮定を使用しました。

著者らは次の結論に達しています。

最小数のトラフィック属性を使用することが重要です。ほとんどの場合、これらは IP アドレスまたはパケット長です。
情報エントロピーは、大きな値に対する低速攻撃を検出するのに最適な結果を提供します $\alpha$ ...

結果

Winter (2011) には検証する実際のデータがなかったため、モデル化して合成異常を元のデータセットに挿入しました。このために、Brauckhoff らによる FLAME ツールの修正バージョン。 (2008) ストリーミングデータへの人為的な異常の導入を促進します。著者は、そのような 2 つの「フロージェネレーター」を実装しました。

HTTP-flood: HTTP-. 11 500 «». -. , , . - HTTP-. 220,000 , ();
: , . IP- /16-, 65 534 IP-. TCP- 21, FTP. , . 67000 . , (D).

下の図は、10 月 28 日の丸一日のエントロピー分析を示しています。上のグラフは元のデータセットで、下のグラフには追加された異常 (C と D) が含まれています。ここでも、両方のチャートに 5 つの属性すべての時系列が含まれています。のブラック時系列

A S

$AS$ が一番面白いです。両方のグラフで、特に強い異常を強調し、それらに A から D までのラベルを付けました。A と B は、元のデータセットに既に存在する「自然な」異常を表しています。

これが従来の監視ツールでどのように認識されないかを示すために、下の図は、前の例と同じトラフィックの 1 分あたりのバイト数、パケット数、およびストリーム数という 3 つの一般的なトラフィック統計を示しています。異常 (ラベル A から D) はノイズとして消えます。

Neoflex でも同様の実験が行われましたが、異常だけが「自然」です。すでに顧客データに含まれていました。

比較のために: 同時期のルーターの標準的なネットワークトラフィックダッシュボード:

ネットワークトラフィック特性の分布におけるかなり深刻な偏差は、標準的なメトリックではまだ見えていません。受け取った情報に基づいて、これらの異常の原因を特定する方法については、別の会話で議論する必要があります。エントロピーを大幅に変更した特性の値のグループの検索は、これらの特性の分布のダイナミクスの研究に還元され、単純な場合には確率による通常のソートによって実行できることに言及しましょう。

p_{i}

$p_i$ ...

まとめると

そこで、エントロピー時系列を通じてネットワーク内の幅広いクラスの異常を検出するアルゴリズムを実装してテストしました。フラッド、ワーム、スキャンなどの攻撃は、多くの場合、この種の異常につながります。アルゴリズムの主な考え方は、常に短期予測を行い、予測と実際に観測されたエントロピー値との違いを判断することです。エントロピーは、プロセスのバランスの指標として機能します。したがって、エントロピーの急激な変化は、システムの構造の質的変化 (特性の分布の変化による) を示します。攻撃が検出されるためには、攻撃が特定の規模に達している必要があることに注意することが重要です。非常に小規模な攻撃は、高速ネットワーク接続では見えない可能性があります。我々は信じている、この種のアルゴリズムは、さまざまな種類の企業のネットワークオペレータや情報セキュリティ部門にとって貴重なツールです。簡単に構成、迅速に展開でき、トレーニングデータは必要ありません。

情報源

Philipp Winter、Harald Lampesberger、Markus Zeilinger、Eckehard Hermann 2011。「ネットワークエントロピー時系列の急激な変化の検出について」

Sidharth Sharma、Santosh Kumar Sahu、Sanjay Kumar Jena 2015。「エントロピーベースの DDoS 検出のための属性の選択について」

Monowar H. Bhuyan、DK Bhattacharyya、JK Kalita。「低速の DDoS 攻撃検出のための情報メトリック: 比較評価」

Brauckhoff, D., Wagner, A., May, M.: 「FLAME: フローレベルの異常モデリングエンジン」。で: 手順サイバーセキュリティの実験とテストに関する会議の様子。pp. 1 - 6. USENIX アソシエーション、カリフォルニア州バークレー (2008)

エントロピーとネットワーク トラフィックの異常検出