Kubernetesでログをテーリングするコスト

約transl。：この記事は、アメリカの会社Olarkの上級DevOpsエンジニアによって書かれました。その主な製品であるライブチャットは、何千もの組織で使用されています。著者は、ログを収集する際の消費リソースの問題と、fluentdを使用した実験の結果についての考えを共有します。これにより、いくつかのシナリオでパフォーマンスを向上させることができました。







ジャーナリングは、壊れたときにのみ記憶されるものの1つです。そして、これはまったく批判ではありません。重要なのは、丸太はそれ自体では儲からないということです。それらは、プログラムが何であるか（または実行しているか）についての洞察を提供し、私たちにお金を稼ぐものを実行し続けるのに役立ちます。小規模（または開発中）では、メッセージを表示するだけで必要な情報を取得できます。stdout..。しかし、分散システムにアクセスするとすぐに、これらのメッセージを集約して中央リポジトリに送信する必要があります。中央リポジトリでは、最大のメリットが得られます。プロセスとローカルストレージが一時的なKubernetesのようなプラットフォームでコンテナを扱っている場合、この必要性はさらに重要です。

ログを処理するための使い慣れたアプローチ

コンテナの初期とTwelve-Factorマニフェストの公開以来、コンテナによって生成されたログの処理には、特定の一般的なパターンが形成されています。

• stdoutまたはへの出力メッセージを処理しますstderr。
• containerd （Docker）標準ストリームをコンテナ外のファイルにリダイレクトします。
• そして尾フォワーダログは、これらのファイルを読み込む（すなわち、そこから最後の行を取得）し、データベースにデータを送信します。

人気のあるログフォワーダーfluentdは、CNCFプロジェクト（コンテナ化など）です。時間の経過とともに、ログの読み取り、変換、転送、およびインデックス作成の事実上の標準になりました。Cloud Logging（以前のStackdriver）が接続されたGKEでKubernetesクラスターを作成すると、ほぼ同じパターンが得られますが、Googleの流暢なバリエーションがあります。オラーク（記事の著者が働いている会社-約Transl。） が現れたのはこのパターンでした。



4年前にGKEとして最初にサービスをK8に移行し始めました。そして、サービスとしてのロギングを超えたとき、このパターンに従い、ピーク負荷で1秒あたり15〜2万行を処理できる独自のログ集約システムを作成しました。



このアプローチがうまく機能する理由と、12ファクターの原則がログを標準ストリームに出力することを直接推奨する理由があります。実際のところ、アプリケーションはログルーティングについて心配する必要がなく、開発中または本番環境でコンテナを簡単に「監視可能」（監視可能性について説明しています）にします。また、ロギングシステムが台無しになった場合、少なくともログがクラスターノードのホストディスクに残る可能性があります。



このアプローチの欠点は、テーリングログがCPU使用率の点で比較的高価になることです。ロギングシステムの次の最適化中に、fluentdが本番環境でCPU要求のクォータ全体の1/8を消費することが判明した後、これに注意を払い始めました。

• これは一部クラスタートポロジによるものです。fluentdはローカルファイルを調整するために各ノードでホストされ（K8s言語のDaemonSetなど）、クアッドコアノードがあり、ログを処理するためにコアの50％を予約する必要があります。
• リソースの別の部分はワード処理に費やされており、これもfluentdに割り当てています。確かに、誰が難読化されたログエントリをクリーンアップする機会を逃すでしょうか？
• 残りはinotifywaitに送られ、ディスク上のファイルを監視し、読み取りを処理し、追跡します。

すべての費用がどれくらいか知りたかったのです。fluentdにログを送信する方法は他にもあります。たとえば、forward-portを使用できます（これはforward、source-。Ca。Perevi。のタイプの使用に関するものです）。安くなるでしょうか？

実習

テーリングを使用してログ行をフェッチするコストを分離するために、小さなテストベッドをまとめました。次のコンポーネントが含まれています。

• メッセージの頻度とサイズを構成可能な特定の数のログライターを作成するためのPythonプログラム。
• 実行中のdockercomposeのファイル：
  
  
  • ログの処理に堪能で、
  • 流暢なコンテナを監視するためのcAdvisor、
  • cAdvisorメトリックを収集するためのPrometheus、
  • Prometheusでのデータ視覚化のためのGrafana。

この図に関する注記：

• ログライターは、統一されたJSON形式（containerdも使用）でメッセージを生成し、ファイルに書き込むか、流暢な転送ポートに転送することができます。
• ファイルに書き込むときは、クラスを使用RotatingFileHandlerしてクラスターの状態をより適切にシミュレートします。
• Fluentdは、すべてのレコードを「スロー」しnull、通常の式を処理したり、レコードのタグをチェックしたりしないように構成されています。したがって、彼の主な仕事はログ行を取得することです。
• , Prometheus cAdvisor, fluentd.

比較のためのパラメータの選択は、かなり主観的に実行されました。クラスタからノードによって生成されるログの量を見積もるための別のユーティリティを作成しました。当然のことながら、それは大きく異なります。1秒あたり数十行から最もビジーなノードの500行以上までです。



これは別の問題の原因です。DaemonSetを使用する場合は、クラスター内で最もビジーなノードを処理するようにfluentdを構成する必要があります。原則として、メインのログジェネレータに適切なラベルを割り当て、ソフトな非親和性ルールを使用してそれらを均等に分散することで、不均衡を回避できますが、これはこの記事の範囲を超えています。当初、ログの「配信」のさまざまなメカニズムを比較することを計画していました1〜10個のログライターを使用して、毎秒500/1000行の負荷で。

試験結果

初期のテストでは、ログファイルの数に関係なく、1秒あたりの行数がテーリングのCPU使用率の主な原因であることが示されました。以下の2つのグラフは、1つのログライターと10からの1000 p / sでの負荷を比較しています。ほぼ同じであることが











わかります。小さな逸脱：対応するグラフをここに含めませんでしたが、私のマシンでは、10個のログプロセスが判明しました。 1秒あたり100行を書き込むと、1秒あたり1000行を書き込む単一のプロセスよりも総スループットが高くなります。これは私のコードの詳細が原因である可能性があります-私はこの問題を意図的に掘り下げませんでした。



いずれにせよ、開いているログファイルの数が重要な要素になると予想しましたが、実際には結果に影響を与えないことがわかりました。もう1つのそのような重要でない変数は、文字列の長さです。上記のテストでは、100文字の標準文字列長を使用しました。10倍長い行で実行しましたが、テスト中のプロセッサの負荷（すべての場合で180秒）に目立った影響はありませんでした。



上記を考慮して、1つのプロセスが内部の限界に達していたため、2人のライターをテストすることにしました。一方で、それ以上のプロセスも必要ありませんでした。毎秒500行と1000行でテストを行いました。次の一連のグラフは、テーリングファイルとフォワードポートの両方の結果を示しています。

結論

1週間の間に、私はこれらのテストをさまざまな方法で実行し、2つの重要な結論に至りました。

1. フォワードソケットを使用する方法は、同じサイズのログファイルから行を読み取るよりも、一貫して30〜50％少ない処理能力を消費します。（観察された違いの少なくとも一部について）考えられる1つの説明は、メッセージパック内のデータをシリアル化することによるものです。 - fluentd. fluentd , messagepack. , Python- forward-, . , : , fluentd, .
2. , CPU , . tailing', forward-. , (1000 writer' 10 writer'), forward-:
   
   
   
   
   
   
   
   
   
   

これらの結果は、すべてのログをファイルではなくソケットに書き込む必要があることを意味しますか？明らかに、それはそれほど単純ではありません...



ログを収集する方法を簡単に変更できれば、既存の問題のほとんどは問題ではありません。ログstdoutを出力すると、開発中のコンテナの監視と操作がはるかに簡単になります。コンテキストに応じて、両方の方法でログを出力すると、複雑さが大幅に増加します。同様に、開発中にログをレンダリングするようにfluentdを構成すると（たとえば、出力プラグインを使用してstdout）、ログが増加します。



おそらく、これらの結果のより実際的な解釈は、ノードを拡大することを推奨するでしょう。..。 fluentdは、最もビジーな（最もノイズの多い）ノードで動作するように構成する必要があるため、ノードの数を減らすのが論理的です。メインのログジェネレーターを均等に分散する非親和性メカニズムと組み合わせると、優れた戦略になります。残念ながら、ノードのサイズ変更には、ロギングシステムのニーズをはるかに超える多くのニュアンスとトレードオフが含まれます。



規模も明らかに重要です..。小規模では、不便さと追加された複雑さはおそらく非現実的です。さらに、通常、より差し迫った問題があります。始めたばかりで、エンジニアリングプロセスから「フレッシュペイント」の匂いが消えていない場合は、開発者を圧倒することなく、ソケット方式を使用することで、ログ形式を事前に標準化し、コストを削減できます。



大規模なプロジェクトで作業する人にとって、この記事の結論は不適切です。Googleのような企業は、（私のものと比較して）はるかに徹底的で知識集約的な問題の分析を行っているからです。この規模では、明らかに、独自のクラスターを展開しており、ロギングパイプラインを使用して必要なことを実行できます（つまり、両方のアプローチを利用できます）。



結論として、いくつかの質問を予想し、事前に回答させてください。まず、「この記事は本当に流暢ではありませんか？そして、それは一般的にクベルネテスと何の関係があるのでしょうか？」..。この質問の両側への答えは、「まあ、おそらく。」です。

• 私の一般的な理解と経験では、このツールは、ディスクI / Oが多い状況でLinuxでファイルをテーリングするときによく発生します。Logstashのような別のログフォワーダーでテストを行ったことはありませんが、結果を確認するのは興味深いことです。
• Kubernetes, CPU, , . , , . , Kubernetes, tailing' Kubernetes-as-a-Service.

最後に、別の消費可能なリソースであるメモリについて少し説明します。最初は、それを記事に含めるつもりでした。特別に用意されたダッシュボードに、fluentdのメモリ使用量が表示されます。しかし、結局、この要素は重要ではないことが判明しました。テスト結果によると、使用されるメモリの最大量は85 MBを超えず、個々のテスト間の差が10MBを超えることはめったにありません。このかなり低いメモリ消費は、明らかに、バッファリングされた出力プラグインを使用していないという事実によるものです。さらに重要なことに、両方の方法でほぼ同じであることが判明しました。そして、記事はすでにボリュームがありすぎていました...



より詳細なテストを行いたい場合は、調べることができる「コーナー」がもっとたくさんあることに注意してください。たとえば、fluentdがほとんどの時間を費やしているプロセッサの状態とシステム呼び出しを見つけることができますが、これを行うには、適切なラッパーを作成する必要があります。

翻訳者からのPS

私たちのブログも読んでください：

• "今日（だけでなく）Kubernetesにログイン：期待と現実";
• " Loghouse0.3-Kubernetesロギングシステムの待望のアップデート";
• 「Googleによるコンテナ操作の7つのベストプラクティス。」