ELKがセキュリティエンジニアがウェブサイトの攻撃と戦い、よく眠れるようにする方法

サイバーディフェンスセンターは、クライアントのWebインフラストラクチャを保護し、クライアントサイトへの攻撃を撃退する責任があります。FortiWeb Webアプリケーションファイアウォール（WAF）を使用して、攻撃から防御します。しかし、最もクールなWAFでさえ万能薬ではなく、標的型攻撃から「箱から出して」保護することはできません。 



したがって、WAFに加えて、ELKを使用します。すべてのイベントを1か所に収集し、統計を蓄積して視覚化し、対象となる攻撃を時間内に確認するのに役立ちます。



今日は、「クリスマスツリー」をWAFとどのように交差させたのか、そして何が起こったのかを詳しく説明します。

1つの攻撃のストーリー：ELKに切り替える前にすべてがどのように機能したか

私たちのクラウドでは、顧客は私たちのWAFの背後にアプリケーションをデプロイしました。 1日あたり10,000から100,000のユーザーがサイトに接続し、接続数は1日あたり2,000万に達しました。それらの3-5はサイバー犯罪者であり、サイトをハッキングしようとしました。 



FortiWebは、1つのIPアドレスからの通常のブルートフォースフォームを非常に簡単にブロックしました。 1分あたりのサイトへのアクセス数は、正当なユーザーのアクセス数よりも多かった。 1つのアドレスからアクティビティのしきい値を設定し、攻撃を撃退するだけです。



攻撃者の行動が遅く、通常のクライアントになりすます場合、「遅い攻撃」と戦うことははるかに困難です。それらは多くの一意のIPアドレスを使用します。このような活動は、WAFにとって大規模な総当たり攻撃のようには見えず、自動的に追跡することはより困難でした。また、通常のユーザーをブロックするリスクもありました。攻撃の他の兆候を探し、この属性に基づいてIPアドレスを自動的にブロックするポリシーを設定しました。たとえば、多くの不正なセッションでは、httpリクエストのヘッダーに共通のフィールドがありました。多くの場合、FortiWebイベントログでそのようなフィールドを手動で検索する必要がありました。 



それは長くて不便であることが判明しました。標準のFortiWeb機能では、イベントは、検出された攻撃、要求に関する情報、およびWAF操作に関するシステムメッセージの3つの異なるログにテキストで記録されます。 1分間に数十または数百もの攻撃イベントが発生する可能性があります。



それほど多くはありませんが、手動でいくつかの





ログを調べて、多くの行を繰り返す必要があります。 攻撃ログには、ユーザーアドレスとアクティビティの性質が表示されます。 

 

ログテーブルをスキャンするだけでは不十分です。攻撃の性質に関する最も興味深く有用な情報を見つけるには、特定のイベントの内部を調べる必要があります。強調表示された





フィールドは、「遅い攻撃」を検出するのに役立ちます。出典：FortinetWebサイトのスクリーンショット。 



さて、最も重要な問題は、FortiWebスペシャリストだけがそれを理解できるということです。勤務時間中に疑わしい活動をリアルタイムで監視できれば、夜間の事件の調査が遅れる可能性があります。FortiWebのポリシーが何らかの理由で機能しなかった場合、勤務中の夜勤エンジニアはWAFにアクセスせずに状況を評価できず、FortiWebスペシャリストを目覚めさせました。ログを数時間調べたところ、攻撃の瞬間が見つかりました。 



このような情報量では、全体像を一目で把握して積極的に行動することは困難です。次に、すべてを視覚的に分析し、攻撃の開始を見つけ、その方向とブロック方法を特定するために、データを1か所に収集することにしました。 

何から選びましたか

まず、エンティティを不必要に増やさないように、すでに使用されているソリューションを検討しました。



最初のオプションの1つはNagiosでした。これは、エンジニアリングインフラストラクチャ、ネットワークインフラストラクチャを監視し、緊急事態について警告するために使用します。警備員は、不審なトラフィックが発生した場合に係員に通知するためにも使用しますが、散在するログを収集する方法がわからないため、表示されなくなります。  MySQLとPostgreSQLまたは別のリレーショナルデータベース



を使用してすべてを集約するオプションがありました。しかし、データを引き出すためには、アプリケーションをスカルプトする必要がありました。  当社はまた、ログコレクターとしてFortiAnalyzerを使用しています。



Fortinetから。しかし、この場合、彼も適合しませんでした。まず、FortiGateファイアウォールで動作するように調整されています。第二に、多くの設定が不足しており、それとの相互作用にはSQLクエリの優れた知識が必要でした。そして第三に、その使用は顧客のためのサービスのコストを増加させるでしょう。   



それが私たちがELKの人のオープンソースに来た方法です。 

ELKを選ぶ理由 

ELKはオープンソースのソフトウェアパッケージです。

• Elasticsearchは、大量のテキストを処理するために作成されたばかりの時系列データベースです。
  
  
• Logstashは、ログを目的の形式に変換できるデータ収集エンジンです。 
  
  
• Kibanaは、Elasticsearchを管理するための優れたビジュアライザーであり、非常に使いやすいインターフェイスです。これを使用して、夜間に勤務しているエンジニアが監視できるグラフを作成できます。 
  
  

ELKエントリのしきい値は高くありません。基本的な機能はすべて無料です。幸福のために他に何が必要か。

どのようにしてすべてを単一のシステムにまとめましたか？

インデックスを作成し、必要な情報のみを残しました。 3つのFortiWEBマガジンすべてをELKにロードしました-出力はインデックスでした。これらは、1日など、一定期間に収集されたすべてのログを含むファイルです。それらをすぐに視覚化すると、攻撃のダイナミクスしかわかりません。詳細については、各攻撃に「陥り」、特定のフィールドを監視する必要があります。







最初に、構造化されていない情報の解析を設定する必要があることに気づきました。 「メッセージ」や​​「URL」などの文字列として長いフィールドを取得し、それらを解析して、意思決定のための詳細情報を取得しました。 

, .   - . , 2 . 

解析した後、彼らはどの情報を保存して視覚化するかを探し始めました。すべてをジャーナルに残すことはお勧めできません。1つのインデックスのサイズが大きく、7GBでした。 ELKはファイルの処理に長い時間がかかりました。とはいえ、すべての情報が役に立ったわけではありません。何かが複製され、余分なスペースを占有しました-最適化する必要がありました。 



最初は、インデックスを調べて、不要なイベントを削除しました。 FortiWeb自体で雑誌を操作するよりも、さらに不便で時間がかかることが判明しました。この段階での「クリスマスツリー」の唯一の利点は、1つの画面で長期間を視覚化できたことです。 



私たちは絶望しませんでした、私たちはサボテンを食べ続けましたELKを研究し、必要な情報を抽出できると信じていました。インデックスをクリアした後、私たちは何であるかを視覚化し始めました。このようにして、大きなダッシュボードができあがりました。突かれたウィジェット-はっきりとエレガントに、本物のYOLKa！ 







攻撃の瞬間が記録されました。ここで、攻撃の開始がグラフ上でどのように見えるかを理解する必要がありました。それを見つけるために、ユーザーに対するサーバーの応答（戻りコード）を調べました。次のコード（rc）を使用したサーバーの応答に関心がありました。 







誰かがサイトを攻撃し始めた場合、コードの比率が変更されました。 

• 400 , 200 , - . 
  
  
• 0 , FortiWeb «» . 
  
  
• 500, IP- – . 
  
  

3か月目までに、このアクティビティを追跡するためのダッシュボードを設定しました。







すべてを手動で監視しないように、定期的にELKをポーリングするNagiosとの統合を設定しました。彼がコードによってしきい値の達成を記録した場合、彼は疑わしい活動について担当官に通知を送信しました。 



監視システムで4つのグラフを組み合わせました。ここで、攻撃がブロックされておらず、エンジニアの介入が必要な瞬間をグラフで確認することが重要でした。 4つの異なるグラフで、私たちの目はぼやけていました。そのため、グラフを組み合わせて、すべてを1つの画面で観察し始めました。



モニタリング中、さまざまな色のグラフがどのように変化するかを観察しました。赤のスプラッシュは攻撃が始まったことを示し、オレンジと青のグラフはFortiWebの反応を示しています。





ここではすべて問題ありません。「赤い」アクティビティがバーストしましたが、FortiWebがそれに対処し、攻撃スケジュールが無になりました。



また、介入が必要なグラフの例を作成しました。





ここでは、FortiWebがアクティビティを増加させたが、赤い攻撃グラフは減少しなかったことがわかります。WAF設定を変更する必要があります。



夜間のインシデントの調査も簡単になりました。グラフはすぐにサイトの防衛に来る時が来た瞬間を示しています。 





これは時々夜に起こることです。赤いグラフ-攻撃が始まりました。青-FortiWebアクティビティ。攻撃は完全にブロックされなかったので、私たちは介入しなければなりませんでした。

私達はどこに行くの

現在、ELKを使用するように当直管理者をトレーニングしています。アテンダントはダッシュボードで状況を評価し、決定を下す方法を学びます。FortiWebスペシャリストにエスカレーションするときです。そうしないと、攻撃を自動的に撃退するのに十分なWAFポリシーがあります。このようにして、夜間の情報セキュリティエンジニアの作業負荷を軽減し、システムレベルでサポートの役割を分割します。 FortiWebへのアクセスは、サイバー防御センターにのみ残り、緊急に必要な場合にのみWAF設定を変更します。



また、お客様への報告にも取り組んでいます。 WAF作業のダイナミクスに関するデータは、クライアントの個人アカウントで利用できるようになる予定です。 ELKは、WAF自体に行かなくても、状況をより透過的にします。



お客様が自分の保護をリアルタイムで監視したい場合は、ELKも役立ちます。作業へのお客様の介入が他の人に影響を与える可能性があるため、WAFへのアクセスを許可することはできません。ただし、別のELKを上げて、「プレイ」することはできます。 



最近蓄積した「クリスマスツリー」を使うシナリオです。これについてあなたの考えを共有し、データベースからのリークを避けるためにすべてを正しく構成することを忘れないでください。