Grafana、InfluxDB、CollectDを使用してインフラストラクチャを監視する

複数のサーバーでデータとアプリケーションを管理する必要がある企業にとって、インフラストラクチャは最も重要です。



すべての企業にとって、ワークフローの重要な部分は、特に新たな問題を解決するための直接アクセスがない場合に、インフラストラクチャノードを監視することです。さらに、一部のリソースの多用は、インフラストラクチャの障害や過負荷の指標となる可能性があります。ただし、監視は、予防だけでなく、本番環境で新しいソフトウェアを使用した場合に起こりうる結果を評価するためにも使用できます。リソース消費を追跡するために現在市場に出回っているすぐに使用できるソリューションがいくつかありますが、それでも、インストールと構成のコストとサードパーティソフトウェアに関連するセキュリティの問題という2つの重要な問題が発生します。



最初の問題は価格の問題です。監視するホストの数に応じて、コストは1か月あたり10ユーロ（消費者料金）から数千ユーロ（企業料金）の範囲になります。たとえば、3つのノードを1年間監視したいとします。月額10ユーロの価格で、私は120ユーロを費やしますが、小さな会社は1万から2万ドルをフォークする必要があり、これは財政的に受け入れられない決定であり、単に予算全体を損なうことになります。



2番目の問題はサードパーティのソフトウェアです。分析のために、ユーザーデータ（個人または企業）をサードパーティが処理する必要がある場合、サードパーティがデータをどのように収集してユーザーに提示するのかという疑問が生じます。通常、このために、監視が実行されるノードに特別なアプリケーションがインストールされますが、多くの場合、そのようなアプリケーションは古くなったり、クライアントのオペレーティングシステムと互換性がないことが判明したりする時間があります。情報セキュリティの分野での研究者の経験は、「独自のソフトウェア」を使用する際の問題に光を当てます。そのようなソフトウェアを信頼しますか？私ではありません。Torといくつかの暗号通貨の



両方のノードがありますそのため、無料でオープンソースの、簡単にカスタマイズできる監視の代替手段を好みます。この投稿では、Grafana、InfluxBD、CollectDの3つのツールについて説明します。

モニタリング

インフラストラクチャの各メトリックを効果的に分析するには、関心のあるデバイスから統計を取得できるアプリケーションが必要です。この点で、CollectDが助けになります。このデーモンは、ディスクに保存したり、ネットワーク経由で送信したりできるすべてのパラメーターをグループ化して収集します（「収集」、したがってそのような名前）。



次に、データはInfluxDBインスタンスに転送されます。これは、サーバーがデータを受信した時刻（UNIXでエンコードされたタイムスタンプ）にデータを関連付ける時系列データベース（TSBD）です。したがって、CollectDによって送信されたデータは、一連のイベントとして到着します。



最後に、Grafanaを使用します：このプログラムはInfluxDBに接続し、ユーザーフレンドリーなカラフルなダッシュボードにデータを表示します。あらゆる種類のグラフとヒストグラムのおかげで、CPUやRAMなどのデータをリアルタイムで追跡できるようになります。

InfluxDB

イベントのシーケンスとしてデータを保存するための無料のTSBD であるInfluxDBから始めましょう。このGoが開発したデータベースは、監視「システム」の中心になります。



データが到着するたびに、デフォルトでUNIXラベルがそれにバインドされます。このアプローチの柔軟性により、ユーザーは変数「時間」を保存する必要がなくなります。これは、他の方法ではかなり複雑です。異なる大陸にいくつかのデバイスがあると想像してみましょう。 「時間」変数をどのように処理しますか？すべてのデータをグリニッジ平均時間に結び付けますか、または各ノードに独自のタイムゾーンを与えますか？データが異なるタイムゾーンに保存されている場合、チャートに正しく表示するにはどうすればよいですか？ご覧のとおり、問題は次々と発生します。



InfluxDBは時間を追跡し、各データの到着に自動的にタグを付けるため、特定のデータベースに同期的にデータを書き込むことができます。InfluxDBがタイムラインとして表示されることが多いのはそのためです。書き込みは特定のイベントをタイムラインに追加するだけなので、データの書き込みはデータベースのパフォーマンスに影響しません（MySQLで発生する場合があります）。したがって、プログラムの名前は、無限で無制限の「ストリーム」としての時間の認識に由来します。

インストールと構成

InfluxDBのもう1つの利点は、インストールが簡単で、プロジェクトコミュニティが提供する広範なドキュメントであり、広くサポートされています。：InfluxDBは、インターフェイスの2種類があり、コマンドライン（開発者のための便利なツールを、しかし悪い大量のデータを扱うために準備）、およびHTTP APIのデータベースとの直接的な相互作用のために。



InfluxDBは、公式サイトからだけでなく、パッケージ管理システムからもダウンロードできます（これについては、Debianを通じて説明します）。さらに、インストールする前にGPGを介してパッケージを確認することをお勧めします。そのため、以下ではInfluxDBパッケージのキーをインポートします。

root@node#~: curl -sL https://repos.influxdata.com/influxdb.key | sudo apt-key add -
root@node#~: source /etc/os-release
root@node#~: echo "deb https://repos.influxdata.com/debian $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/influxdb.list

最後に、InfluxDBを更新してインストールします。

root@node#~: apt-get update 
root@node#~: apt-get install influxdb

実行するには、以下を使用しますsystemctl。

root@node#~: service start influxdb 

悪意のある人がログインするのを防ぐために、「administrator」というユーザーを作成します。InfluxDBSQLのようなクエリ言語「InfluxQL」を介してデータベースと対話できます。新しいユーザーを作成するには、リクエストを実行しcreate userます。

root@node#~: influx
Connected to http://localhost:8086
InfluxDB shell version: x.y.z
>
> CREATE USER admin WITH PASSWORD 'MYPASSISCOOL' WITH ALL PRIVILEGES

同じCLIインターフェイスで、「メトリック」データベースを作成します。このデータベースにメトリックを保存します。

> CREATE DATABASE metrics

次に、CollectDをサポートするために「メトリック」データベースに直接接続して/etc/influxdb/influxdb.confポート24589（UDP）でインターフェイスを開くようにInfluxBD（）を構成します。CollectDがネイティブ形式で送信するデータを正しく判別するには、ファイルをダウンロードtypes.dbしてアドレス/usr/share/collectd/（または他のフォルダー）に配置する必要もあります。

root@node#~: nano /etc/influxdb/influxdb.conf
[Collectd]
enabled = true
bind-address = ":24589"
database = "metrics"
typesdb = "/usr/share/collectd/types.db"

CollectDの詳細については、ドキュメントの構成を参照してください。

CollectD

監視インフラストラクチャのCollectDは、InfluxDBへのデータ転送を簡素化するデータアグリゲーターとして機能します。定義上、CollectDは、CPU、RAM、ハードドライブ、ネットワークインターフェイス、プロセスからメトリックを収集します。特に、すでに利用可能なさまざまなプラグインや計画されているプラグインのセットを考慮すると、このプログラムの可能性は無限です。



ご覧のとおり、CollectDのインストールは簡単です。

root@node#~: apt-get install collectd collectd-utils

CollectDがどのように機能するかを簡単な例で説明しましょう。ノード上のプロセスの数を知りたいとしましょう。これを確認するために、CollectDはAPI呼び出しを行って、単位時間あたりのプロセス数（定義では5000ミリ秒）を調べますが、それ以上のことはありません。アグリゲーターはデータを受信するとすぐに、モジュール（「ネットワーク」と呼ばれる）を介して構成するためにデータをInfluxDBに転送します。これは、構成する必要があります。



エディター/etc/collectd.confでファイルを開き、セクションまでスクロールして、Network以下に示すように編集します。 InfluxDB（INFLUXDB_IP）インターフェースが配置されているIPを必ず指定してください。

root@node#~: nano /etc/collectd.conf
    ...
<Plugin network>
  <Server "INFLUXDB_IP" "24589">
  </Server>
  ReportStats true
</Plugin>
    ...

InfluxDBに転送される構成ファイルのホスト名を変更することをお勧めします（私たちのインフラストラクチャでは、これは同じノードにあるため、「集中型」データベースです）。これにより、不要なデータを受信することがなくなり、他のノードによってデータが上書きされるリスクがなくなります。

グラファナ

1つのグラフは1000の画像の価値があります

言い換えると、グラフや表を通じてインフラストラクチャメトリックをリアルタイムで観察することで、効率的かつタイムリーに行動することができます。 Grafanaを使用して、グラフとテーブルのダッシュボードを作成およびカスタマイズします。



Grafanaは、さまざまなデータベース（InfluxDBを含む）と互換性のあるフリーウェアのグラフィカルメトリックツールであり、データの一部が特定の条件を満たす場合にアラートを作成できます。たとえば、プロセッサがピークに達している場合、Slack、Mattermost、電子メールなどでアラートを受信する可能性があります。さらに、誰かが私のインフラストラクチャに「侵入」したときにすべてのケースをアクティブに監視するようにアラートを構成しました。



Grafanaは特別な設定を必要としません。前述のように、InfluxDBは「time」変数を「スキャン」します。統合自体は非常に簡単です。まず、公開キーをインポートして、Grafanaの公式Webサイトからパッケージを追加します（オペレーティングシステムによって異なります）。

root@node#~: wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
root@node#~: echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list 
root@node#~: apt-get update && apt-get install grafana

次に、systemctlを介して実行してみましょう。

root@node#~: systemctl start grafana-web

ブラウザでlocalhost：3000ページに移動すると、Grafanaログインインターフェイスが表示されます。定義上、ログイン管理者とパスワード管理者を経由できます（最初のログイン資格情報の変更が推奨された後）。







[ソース]セクションに移動して、そこにInfluxデータベースを追加しましょう。











これで、[新しいダッシュボード]ラベルの下に小さな緑色の長方形が表示されます。その上にカーソルを置き、[パネルの追加]、[グラフ]の順に選択します







。これで、テストデータを含むグラフが表示されます。この図のタイトルをクリックして、[編集]をクリックします。 Grafanaを使用すると、スマートクエリを作成できます。データベース内のすべてのフィールドを知る必要はありません。Grafanaは、分析に適したパラメータのリストからそれらを提供します。







クエリの作成がこれまでになく簡単になりました。関心のある指標を選択して、[更新]をクリックするだけです。また、問題を簡単に切り分けられるように、メトリックをホストで分割することをお勧めします。他のコントロールパネルのアイデアに興味がある場合は、Grafanaサイトにアクセスして、インスピレーションを得るためのあらゆる種類の例を確認できます。



Grafanaは非常に拡張性の高いツールであり、互いに非常に異なるデータを比較できることに気づきました。取得できないメトリックは1つではないため、あなたの創意工夫だけがあなたを制限します。デバイスを追跡し、インフラストラクチャの最も完全な概要をリアルタイムで取得します。