Kubernetesの生産で3年：これが私たちが得たものです

約transl。：「学んだ教訓」のカテゴリの別の記事で、オーストラリアの会社のDevOpsエンジニアは、ロードされたサービスの本番環境でのKubernetesの長期使用からの主な結論を共有しています。著者は、Java、CI / CD、ネットワーキング、および一般的なK8の複雑さについて説明します。



2017年に最初のKubernetesクラスターの作成を開始しました（バージョンK8s 1.9.4から）。 2つのクラスターがありました。 1つはベアメタル、RHEL仮想マシン、もう1つはAWSEC2クラウドで動作しました。



現在、当社のインフラストラクチャには、400を超える仮想マシンが複数のデータセンターに分散しています。このプラットフォームは、400万近くのアクティブデバイスの巨大なネットワークを駆動する、可用性の高いミッションクリティカルなアプリケーションおよびシステムの基盤として機能します。



最終的に、Kubernetesは私たちの生活を楽にしてくれましたが、これへの道は厄介で、完全なパラダイムの変更が必要でした。一連のスキルとツールだけでなく、設計と思考へのアプローチも完全に変化しました。私たちは多くの新しいテクノロジーを習得し、インフラストラクチャ開発とチーム開発に多額の投資をしなければなりませんでした。



これは、3年間にわたってKubernetesを本番環境で使用することから学んだ重要な教訓です。

1.Javaアプリケーションの面白い話

マイクロサービスとコンテナ化に関しては、エンジニアは、主にその悪名高い不完全なメモリ管理のために、Javaを敬遠する傾向があります。ただし、今日では状況が異なり、Javaのコンテナとの互換性は近年向上しています。結局のところ、ApacheKafkaやElasticsearchのような人気のあるシステムでさえJavaで実行されます。



2017〜 2018年には、一部のアプリケーションがJavaバージョン8で実行されました。彼らはしばしばDockerのようなコンテナ化された環境で機能することを拒否し、ヒープメモリの問題とガベージコレクタの不適切な作業のためにクラッシュしました。結局のところ、これらの問題は、JVMがLinuxコンテナ化メカニズム（cgroupsおよびnamespaces）を実行できないことが原因でした。



それ以来、OracleはJavaのコンテナの世界との互換性を改善するために多大な努力を払ってきました。早期のJavaのバージョン8のように、実験的なJVMフラグは、これらの問題に対処するために登場：XX:+UnlockExperimentalVMOptions及びXX:+UseCGroupMemoryLimitForHeap.



しかし、すべての改善にもかかわらず、誰もJavaはまだ過度にメモリ集約やPythonに比べて起動が遅いことに悪い評判を持っていると主張しないだろう。または行く。これは主に、JVMおよびClassLoaderのメモリ管理の詳細によるものです。



今日、我々があれば持っているバージョン11以上を使用するためのJavaで動作するように、我々は少なくとも試してみます。また、Kubernetesのメモリ制限は、JVMの最大ヒープメモリ制限よりも1 GB高くなっています（-Xmx） （念のため）。つまり、JVMがヒープメモリに8 GBを使用する場合、アプリケーションのKubernetesメモリ制限は9GBに設定されます。これらの対策と改善のおかげで、生活は少し楽になりました。

2.Kubernetesライフサイクルに関連する更新

Kubernetesのライフサイクル管理（更新、追加）は、特にクラスターがベアメタルまたは仮想マシンに基づいている場合、面倒で難しいことです。新しいバージョンにアップグレードするには、新しいクラスターを作成してからワークロードをそのクラスターに転送する方がはるかに簡単であることが判明しました。既存のサイトのアップグレードは、多大な労力と慎重な計画を伴うため、単純に実行不可能です。



これは、Kubernetesには、アップグレード時に考慮できない「可動」パーツが多すぎるためです。クラスタが機能するためには、DockerからCalicoやFlannelなどのCNIプラグインまで、これらすべてのコンポーネントをまとめて収集する必要があります。 Kubespray、KubeOne、kops、kube-awsなどのプロジェクトは、プロセスをいくらか簡素化しますが、欠点がないわけではありません。



Kubesprayを使用してRHEL仮想マシンにクラスターをデプロイしました。彼は自分が優れていることを証明した。Kubesprayには、ノードの作成、追加、削除、バージョンの更新、および本番環境でKubernetesを操作するために必要なほぼすべてのスクリプトがありました。とはいえ、アップグレードスクリプトには、マイナーバージョンでもスキップしてはならないという警告が伴いました。つまり、目的のバージョンに到達するには、ユーザーはすべての中間バージョンをインストールする必要がありました。



ここでの主なポイントは、Kubernetesを使用する予定がある場合、またはすでに使用している場合は、K8sのライフサイクルに関連する手順と、それがソリューションにどのように適合するかを検討することです。多くの場合、クラスターを最新の状態に保つよりも、クラスターを作成して実行する方が簡単です。

3.ビルドしてデプロイします

ビルドとデプロイメントのパイプラインを修正する必要があるという事実に備えてください。Kubernetesへの移行に伴い、これらのプロセスは根本的に変化しました。Jenkinsパイプラインを再構築しただけでなく、Helmなどのツールを使用して、Gitの構築と操作、Dockerイメージのタグ付け、Helmチャートのバージョン管理のための新しい戦略を開発しました。



コード、Kubernetesデプロイメントファイル、Dockerfiles、Dockerイメージ、Helmチャートを維持するための単一の戦略と、それらすべてを結び付ける方法が必要になります。



何度か繰り返した後、次の図に落ち着きました。

• アプリケーションコードとそのヘルムチャートは、異なるリポジトリにあります。これにより、それらを互いに独立してバージョン管理できます（セマンティックバージョン管理）。
• , , . , , app-1.2.0 charts-1.1.0. (values) Helm, patch- (, 1.1.0 1.1.1). (RELEASE.txt) .
• , Apache Kafka Redis ( ), . , Docker- Helm-. Docker- , .

(. .: Open Source- Kubernetes — werf — , .)

4. Liveness Readiness ( )

Kubernetesの活性と準備のチェックは、システムの問題に自律的に対処するのに最適です。障害が発生したときにコンテナを再起動し、「異常な」インスタンスからトラフィックをリダイレクトできます。ただし、状況によっては、これらのチェックが両刃の剣に変わり、アプリケーションの起動と回復に影響を与える可能性があります（これは、メッセージングプラットフォームやデータベースなどのステートフルアプリケーションに特に当てはまります）。



私たちのカフカは彼らの犠牲者になりました。私たちは3のステートフル設定していたBrokerのと3ZookeeperとのをreplicationFactor= 3、minInSyncReplica= 2.ランダムなクラッシュまたはクラッシュ後に、Kafkaを再起動すると問題が発生しました。起動時に、Kafkaは破損したインデックスを修正するために追加のスクリプトを実行しました。これには、問題の重大度に応じて10〜30分かかりました。この遅延により、活性テストが継続的に失敗し、Kubernetesが「強制終了」してKafkaを再起動しました。その結果、Kafkaはインデックスを修正するだけでなく、開始することさえできました。



当時の唯一の解決策initialDelaySecondsは、活性テスト設定のパラメーターを調整して、コンテナーの起動後にのみチェックが実行されるようにすることでした。もちろん、主な課題は、どの遅延を設定するかを決定することです。障害が発生した後の個々の開始には最大1時間かかる場合があり、これを考慮に入れる必要があります。一方で、initialDelaySeconds、遅いKubernetesは、コンテナの起動中の障害に応答します。



この場合、スイートスポットは、initialDelaySecondsすべての障害状況（ディスク障害、ネットワークの問題、システムクラッシュなど）でアプリケーションを正常に起動するのに十分な時間を与えながら、復元力の要件に最適な値です。

更新：Kubernetesの最近のバージョンでは、スタートアッププローブと呼ばれる3番目のタイプのテストが登場しました。1.16リリース以降はアルファ版として、1.18以降はベータ版として利用できます。



スタートアッププローブは、コンテナが起動するまで準備チェックと活性チェックを無効にすることで上記の問題を解決し、それによってアプリケーションを正常に起動できるようにします。

5.外部IPの操作

結局のところ、静的な外部IPを使用してサービスにアクセスすると、カーネルの接続追跡メカニズムに大きな圧力がかかります。注意深く考えないと、「壊れる」可能性があります。



私たちのクラスターではCalico、CNIとBGPルーティングプロトコルの両方を使用し、境界ルーターと対話します。久部プロキシモードが有効になりiptablesます。 Kubernetesで非常に忙しいサービス（毎日数百万の接続を処理する）へのアクセスを外部IPを介して開きます。ソフトウェア定義のネットワーキングに由来するSNATとマスキングのため、Kubernetesにはこれらすべての論理フローを追跡するメカニズムが必要です。このため、K8sはこれらのコアツールonntrackをnetfilter..。彼らの助けを借りて、静的IPへの外部接続を管理し、静的IPはサービスの内部IPに変換され、最後にポッドのIPアドレスに変換されます。そして、これはすべてテーブルconntrackとiptablesを使用して行われます。



ただし、テーブルの可能性はconntrack無制限ではありません。制限に達すると、Kubernetesクラスター（より正確には、コアのOSカーネル）は新しい接続を受け入れることができなくなります。 RHELでは、この制限は次のように確認できます。

$  sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_maxnet.netfilter.nf_conntrack_count = 167012
net.netfilter.nf_conntrack_max = 262144

この制限を回避する1つの方法は、複数のノードをエッジルーターと組み合わせて、静的IPへの着信接続がクラスター全体に分散されるようにすることです。クラスタ内に多数のマシンがある場合、このアプローチでは、テーブルのサイズを大幅に増やしてconntrack、非常に多数の着信接続を処理できます。



2017年に最初に始めたとき、これは私たちを完全に混乱させました。しかし、比較的最近（2019年4月に）キャリコプロジェクトは「aptのタイトルの下に詳細な調査を公表接続追跡はもはやあなたの友達ですなぜ」（そこにあることのように翻訳。ロシア語-約TRANSLは）。

本当にKubernetesが必要ですか？

3年が経ちましたが、私たちは日々新しいことを発見・学び続けています。 Kubernetesは、特に環境の開始と稼働の維持の分野で、独自の一連の課題を伴う複雑なプラットフォームです。それはあなたの考え方、建築、デザインに対する態度を変えるでしょう。チームのスケールアップとアップグレードに対処する必要があります。



一方、クラウドで作業し、Kubernetesをサービスとして使用できるようにすると、プラットフォームの保守（内部ネットワークのCIDRの拡張やKubernetesの更新など）に関連するほとんどの心配がなくなります。



今日、私たちは自分自身に尋ねる主な質問が本当にあることを理解するようになりましたKubernetesが必要ですか？問題がどれほどグローバルであるか、そしてKubernetesがそれに対処するのに役立つかどうかを評価するのに役立ちます。



問題は、Kubernetesへの移行には費用がかかるということです。したがって、ユースケースの利点（およびプラットフォームをどの程度、どのように活用するか）は、支​​払う価格を正当化するはずです。もしそうなら、Kubernetesはあなたの生産性を大幅に向上させることができます。



テクノロジーのためのテクノロジーは無意味であることを忘れないでください。

翻訳者からのPS

私たちのブログも読んでください：

• " Kubernetesを使用する際の10のよくある間違い";
• « Kubernetesの活性プローブは危険な場合があります";
• 「生産におけるKubernetesのサクセスストーリー。パート10：Reddit "。