😇 🍈 ◀️ KubernetesのポッドがIPアドレスを取得する方法 🦀 📝 🧓

約transl。：LinkedInのSREエンジニアが書いたこの記事では、Kubernetesの「内部の魔法」（より正確には、CRI、CNI、kube-apiserverの相互作用）について詳しく説明します。次のポッドにIPアドレスを割り当てる必要がある場合にどうなりますか。Kubernetesネットワーキングモデル

の基本的な要件の1つは、各ポッドに独自のIPアドレスが必要であり、クラスター内の他のすべてのポッドがそのアドレスで到達できる必要があることです。このネットワークモデルの実装を支援する多くのネットワーク「プロバイダー」（Flannel、Calico、Canalなど）があります。

私が最初にKubernetesを使い始めたとき、ポッドがIPアドレスをどのように正確に取得するかは完全にはわかりませんでした。個々のコンポーネントがどのように機能するかを理解していても、それらが一緒に機能することを想像することは困難でした。たとえば、CNIプラグインの目的はわかっていましたが、どのように呼ばれるのかわかりませんでした。そのため、この記事を作成して、さまざまなネットワーキングコンポーネントと、各ポッドが独自のIPアドレスを取得できるKubernetesクラスターでそれらがどのように連携するかについての知識を共有することにしました。

コンテナのランタイムオプションが異なるのと同様に、Kubernetesでネットワーキングを編成するさまざまな方法があります。この投稿では、クラスターネットワーキングにFlannelを使用し、ランタイムとしてContainerdを使用します。また、コンテナ間のネットワークがどのように機能するかを知っているという前提から進めます。そのため、コンテキストのためだけに、簡単に触れます。

いくつかの基本的な概念

コンテナとネットワーキング：概要

コンテナがネットワークを介して相互に通信する方法を説明する優れた出版物がインターネット上にたくさんあります。したがって、基本的な概念の概要のみを示し、Linuxブリッジの作成とパケットのカプセル化を含む1つのアプローチに限定します。コンテナネットワーキングのトピックそのものが別の記事に値するため、詳細は省略されています。いくつかの特に有益で有益な出版物へのリンクを以下に示します。

単一のホスト上のコンテナ

同じホスト上で実行されているコンテナ間でIPアドレスによって通信する1つの方法は、Linuxブリッジを作成することです。このために、veth（仮想イーサネット）仮想デバイスがKubernetes（およびDocker ）で作成されます。vethデバイスの一方の端はコンテナのネットワークネームスペースに接続し、もう一方の端はホストのネットワーク上のLinuxブリッジに接続します。

同じホスト上のすべてのコンテナには、IPアドレスを使用して相互に通信できるブリッジに接続されたvethの一端があります。LinuxブリッジにはIPアドレスもあり、ポッドから他のノードへの出力トラフィックのゲートウェイとして機能します。

異なるホスト上のコンテナ

パケットのカプセル化は、異なるホスト上のコンテナがIPアドレスを使用して相互に通信できるようにする1つの方法です。Flannelでは、vxlanテクノロジーがこの機能を担当します。この機能は、元のパケットをUDPパケットに「パック」してから、宛先に送信します。

Kubernetesクラスターでは、Flannelはvxlanデバイスを作成し、それに応じて各ノードのルートテーブルを拡張します。異なるホスト上のコンテナ宛ての各パケットは、vxlanデバイスを通過し、UDPパケットにカプセル化されます。宛先で、ネストされたパッケージが抽出され、目的のポッドにリダイレクトされます。

注：これは、コンテナー間のネットワークを編成する1つの方法にすぎません。

CRIとは何ですか？

CRI（Container Runtime Interface）は、kubeletがさまざまなコンテナランタイム環境を使用できるようにするプラグインです。CRI APIはさまざまなランタイム環境に組み込まれているため、ユーザーは選択したランタイムを選択できます。

CNIとは何ですか？

CNIプロジェクトは、Linuxコンテナ用のユニバーサルネットワーキングソリューションを編成するための仕様です。さらに、ポッドのネットワークをセットアップする際のさまざまな機能を担当するプラグインが含まれています。CNIプラグインは、仕様に準拠した実行可能ファイルです（以下でいくつかのプラグインについて説明します）。

ポッドにIPアドレスを割り当てるためのサブネット化ホスト

クラスタ内の各ポッドにはIPアドレスが必要であるため、このアドレスが一意であることを確認することが重要です。これを行うには、各ホストに一意のサブネットを割り当て、そこからIPアドレスをそのホストのポッドに割り当てます。

ホストIPAMコントローラー

場合nodeipamのパラメータとして渡さ--controllers KUBEコントローラマネージャフラグは、CIDRクラスタ（クラスタネットワークのためのIPアドレス、すなわち範囲）から各ノードの別のサブネット（podCIDR）を割り当てます。これらのpodCIDRは重複しないため、各ポッドで一意のIPアドレスを割り当てることができます。

Kubernetesノードには、最初にクラスターに登録するときにpodCIDRが割り当てられます。ノードのpodCIDRを変更するには、ノードの登録を解除してから再登録する必要があります。その間に、Kubernetesコントロールレイヤーの構成に適切な変更を加えます。次のコマンドを使用して、ノードのpodCIDRを表示できます。

$ kubectl get no <nodeName> -o json | jq '.spec.podCIDR'
10.244.0.0/24

Kubelet、コンテナランチャー、CNIプラグイン：すべての仕組み

ノードごとにポッドをスケジュールするには、多くの準備手順が必要です。このセクションでは、ポッドネットワーキングに直接関連するものにのみ焦点を当てます。

ポッドをノードにスケジュールすると、次の一連のイベントがトリガーされます。

ヘルプ：コンテナ化されたCRIプラグインアーキテクチャ。

ランタイムコンテナとCNIプラグイン間の相互作用

各ネットワークプロバイダーには、独自のCNIプラグインがあります。コンテナランタイムはそれを起動して、起動時にポッドのネットワークを構成します。 containerdの場合、ContainerdCRIプラグインはCNIプラグインの起動を担当します。

さらに、各プロバイダーには独自のエージェントがあります。すべてのKubernetesノードにインストールされ、ポッドのネットワーク化を担当します。このエージェントは、CNI構成に付属しているか、ノード上で独自に作成します。この構成は、CRIプラグインが呼び出すCNIプラグインを決定するのに役立ちます。

CNI構成の場所はカスタマイズできます。デフォルトでは、にあります/etc/cni/net.d/<config-file>。クラスター管理者は、各クラスターノードにCNIプラグインをインストールする責任もあります。それらの場所もカスタマイズ可能です。デフォルトのディレクトリは/opt/cni/binです。

containerdを使用する場合、構成バイナリとプラグインバイナリのパス[plugins.«io.containerd.grpc.v1.cri».cni]は、containerd構成ファイルのセクションで設定できます。

ネットワークプロバイダーとしてFlannelを使用しているので、セットアップについて少し話しましょう。

Flanneld（Flannelのデーモン）は通常install-cni、initコンテナーを持つDaemonSetとしてクラスターにインストールされます。
Install-cni各ノードにCNI（/etc/cni/net.d/10-flannel.conflist）構成ファイルを作成します。
Flanneldはvxlanデバイスを作成し、APIサーバーからネットワークメタデータをフェッチし、ポッドの更新を監視します。それらが作成されると、クラスター全体にすべてのポッドのルートが伝播されます。
これらのルートにより、ポッドはIPアドレスを使用して相互に通信できます。

Flannelの動作の詳細については、記事の最後にあるリンクを使用することをお勧めします。

Containerd CRIプラグインとCNIプラグイン間の相互作用の図を次に示します。

上記のように、kubeletはContainerd CRIプラグインを呼び出してポッドを作成し、CNIプラグインを呼び出してポッドネットワークを構成します。そうすることで、ネットワークプロバイダーのCNIプラグインは、他の基本的なCNIプラグインを呼び出して、ネットワークのさまざまな側面を構成します。

CNIプラグイン間の相互作用

ホスト上のコンテナ間のネットワークの設定を支援するように設計されたさまざまなCNIプラグインがあります。この記事では、そのうちの3つに焦点を当てます。

フランネルCNIプラグイン

Flannelをネットワークプロバイダーとして使用する場合、Containerd CRIコンポーネントは、CNI構成ファイルを使用してFlannelCNIプラグインを呼び出します/etc/cni/net.d/10-flannel.conflist。

$ cat /etc/cni/net.d/10-flannel.conflist
{
  "name": "cni0",
  "plugins": [
    {
      "type": "flannel",
      "delegate": {
         "ipMasq": false,
        "hairpinMode": true,
        "isDefaultGateway": true
      }
    }
  ]
}

Flannel CNIプラグインは、Flanneldと連携して機能します。起動時に、FlanneldはpodCIDRおよびその他のネットワーク関連の詳細をAPIサーバーから抽出し、ファイルに保存します/run/flannel/subnet.env。

FLANNEL_NETWORK=10.244.0.0/16 
FLANNEL_SUBNET=10.244.0.1/24
FLANNEL_MTU=1450 
FLANNEL_IPMASQ=false

Flannel CNIプラグインは、からのデータを使用して/run/flannel/subnet.env、ブリッジCNIプラグインを構成および呼び出します。

CNIプラグインブリッジ

このプラグインは、次の構成で呼び出されます。

{
  "name": "cni0",
  "type": "bridge",
  "mtu": 1450,
  "ipMasq": false,
  "isGateway": true,
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24"
  }
}

最初の呼び出しで«name»: «cni0»、構成に示されているでLinuxブリッジを作成します。次に、ポッドごとにvethペアが作成されます。一方の端はコンテナのネットワーク名前空間に接続し、もう一方の端はホストのネットワーク上のLinuxブリッジに入ります。CNI Bridgeプラグインは、すべてのホストコンテナをホストネットワーク上のLinuxブリッジに接続します。

vethペアの構成が完了すると、BridgeプラグインはホストローカルCNIIPAMプラグインを呼び出します。IPAMプラグインタイプは、CRIプラグインがFlannelCNIプラグインを呼び出すために使用するCNI構成で構成できます。

ホストローカルIPAMCNIプラグイン

Bridge CNIは、次の構成でホストローカルIPAMCNIプラグインを呼び出します。

{
  "name": "cni0",
  "ipam": {
    "type": "host-local",
    "subnet": "10.244.0.0/24",
    "dataDir": "/var/lib/cni/networks"
  }
}

ホストローカルIPAMプラグ（IP A ddress M anagement - IPアドレス管理）セクションで指定されたディレクトリ内のホストコンテナに格納選択したIPのサブネットのIPアドレスを返しますdataDir- /var/lib/cni/networks/<network-name=cni0>/<ip>。このファイルには、このIPアドレスが割り当てられているコンテナーのIDが含まれています。

ホストローカルIPAMプラグインが呼び出されると、次のデータが返されます。

{
  "ip4": {
    "ip": "10.244.4.2",
    "gateway": "10.244.4.3"
  },
  "dns": {}
}

概要

Kube-controller-managerは、podCIDRを各ノードに割り当てます。各ノードのポッドは、割り当てられたpodCIDR範囲のアドレススペースからIPアドレスを取得します。ノードのpodCIDRは重複しないため、すべてのポッドは一意のIPアドレスを受け取ります。

Kubernetesクラスター管理者は、kubelet、コンテナーランチャー、ネットワークプロバイダーエージェントを構成およびインストールし、CNIプラグインを各ノードにコピーします。起動時に、ネットワークプロバイダーのエージェントがCNI構成を生成します。ポッドがノードに対してスケジュールされると、kubeletはCRIプラグインを呼び出してノードを作成します。さらに、containerdが使用されている場合、Containerd CRIプラグインは、CNI構成で指定されたCNIプラグインを呼び出して、ポッドネットワークを構成します。これにより、ポッドにIPアドレスが与えられます。

これらすべての相互作用のすべての微妙なニュアンスを理解するのに少し時間がかかりました。得られた経験が、Kubernetesの仕組みをよりよく理解するのに役立つことを願っています。私が何かについて間違っている場合は、Twitterまたはhello@ronaknathani.comで私に連絡してください。この記事やその他の側面について話し合いたい場合は、お気軽にお問い合わせください。喜んでお話させていただきます！

KubernetesのポッドがIPアドレスを取得する方法