Linux SwitchdevMellanoxスタイル

これは、Yandex NextHop2020で配信されたスピーチの転写です-ページの最後にあるビデオ

こんにちは。私の名前はAlexanderZubkovです。LinuxSwitchdevについてお話ししたいと思います。それは何であり、QratorLabsで彼とどのように暮らしているかです。







MellanoxスイッチでSwitchdevを使用してから約2〜3年になります。 Mellanox Spectrumベースのスイッチは「ホワイトボックス」として分類されます。つまり、これらのスイッチにさまざまなオペレーティングシステムを配置できます。通常、ベンダーはこのためのSDKを提供し、オペレーティングシステムはスイッチと対話するためにこのSDKを使用します。また、Mellanoxスイッチの場合、Mellanox自体のオペレーティングシステムがあり、Cumulusがあります。 SAI（Switch Abstraction Interface）もサポートされています。これは、さまざまなスイッチ用の標準SDKを作成する試みであり、SONiCオペレーティングシステムですでに使用されています。そしてもちろん、SwitchdevはMellanoxスイッチでサポートされています。







Switchdevは、Linuxカーネルのインフラストラクチャであり、カーネル自体の通常のネットワーク設定をデータペイン、スイッチのハードウェアにマッピングすることができます。これはオフロードと呼ばれます。写真は、ピンクがスイッチドライバーで、青がユーザースペースを構成するためのAPIとユーティリティであることを示しています。ここでのSwitchdevは、仲介役として機能します。ユーザースペースの場合はスイッチモデルを表し、ドライバーの場合はこの表示を整理するためのインフラストラクチャを提供します。







Mellanoxスイッチでは、かなり標準的な一連の機能を使用しています。ルーティング、ECMP、一般的には、異常なことは何もありません。これはすべて、データラインへのオフロードの可能性でサポートされています。欠落しているのはポリシーベースのルーティングだけです。Mellanoxドライバーはサポートされていません。







Mellanoxドライバーは、SwitchdevをサポートするバニラLinuxカーネルに常駐します。パッチや追加のバイナリドライバーは必要ありません。実際には、お気に入りのディストリビューションからカーネルを取得するか、バニラカーネルを自分でコンパイルして使用することができます。スイッチのファームウェアは、ドライバー自体によって更新されます。対応するファイルを追加するだけです。このファイルは通常、linux-firmwareパッケージなどに含まれています。







もちろん、スイッチ自体を構成するために、標準のLinuxユーティリティが大量に使用されます。 QoS用のiproute2、ethtool、LLDPデーモンのセットも使用されます。そしていくつかのオプションのためのsysctl。







Linuxのvrfには、両方のネットワーク名前があります。ただし、いわゆるvrfサブシステムもあります。これはネットワークの名前付けとは異なります。この場合、vrfを使用する場合、すべてのインターフェイスは同じ名前名にあります。また、ルーティングを制御するために、ipルールに特別なルールがあります。これは、パケットが属するvrfを決定し、これに従って、特定のルーティングテーブルにパケットを送信します。これを構成するために（Linuxではvrf）、vrfタイプの特別なインターフェースが作成され、作成時にこのテーブルがそれにバインドされます。さらに、vrfにインターフェイスを追加する場合は、ip linkコマンドを使用して、この特別なデバイスをインターフェイスのマスターインターフェイスとして設定します。また、これらのインターフェイスはすべて同じ名前名にあるため、別のvrfからルートへのインターフェイスを明示的に指定して、インターフェイス間にルートを作成できます。







たとえば、ポリシーベースのルーティングが役立つタスクがあります。アップリンクからトラフィックを受信し、それを完全に無条件に一部のフィルタリングノードに転送したいとします。 CiscoまたはAristaでは、ポリシールートマップまたはいくつかのサービスポリシーを作成します。Linuxおよびipルールではそれを実行できますが、Linuxでは、残念ながら、これらすべてがオフロードされません。







そして、私たちは振り返らなければなりません。たとえば、このような機能を作成しました。vrfを2つの部分に分割しました。つまり、1つの部分で、外側の部分にアップリンクとのインターフェイスがあり、内側の部分にフィルタリングノードとのインターフェイスがあります。







そして、これはルーティングがどのように見えるかです。内部vrfには、多かれ少なかれ標準的なルートのセットがあります。つまり、内部ルートと、そこにアップリンクを通るデフォルトルートがあります。また、すでに外部インターフェイスにはデフォルトのルートしかありませんが、それはフィルタリングノードを経由します。したがって、インターフェイスの疑似ポリシーベースルーティングを取得しました。アップリンクインターフェイスを経由するすべてのトラフィックは、別のルートに沿ってルーティングされます。







また、一般に、Switchdevでスイッチを構成する場合、通常、最初にポートを構成し、次にボンドを構成し、次にブリッジに接続し、次にvlan、vrfsを構成し、アドレスとルートの最後に接続する必要があります。これは主に、Linuxのインターフェイスの構造そのものによって決まります。すべてをどのように構成するか、他にもいくつかの制限があり、設定を任意に変更することはできません。つまり、これはかなり退屈な作業であり、当社では当初、これらすべてを設定する大規模なinitスクリプトによって実行されていました。ただし、もちろん、本番環境では、実行時に変更を加える必要がある場合があります。







この構造をほとんど手作業で整理する必要があるため、場合によっては苦痛になります。一部のインターフェイスを分解して再組み立てする必要があります。もちろん、これにはすべてエラーが伴います。 Ciscoで作業するときは、設定を変更すると、シェルがすべてを処理し、その後、ある種の低レベルの作業が実行されます。







さて、Perlを使用しているという事実に感謝します。このような構成を取り、ネットワークやその他すべてを構成するためのコマンドセットを生成するスクリプトmlxrtrを作成しました。また、変更もサポートしています。変更を加えると、Linuxで現在の構成が読み取られ、目的の状態にするために何を行う必要があるかがわかります。







最初に、この構成を実行すると、そのような一連のコマンドが生成されますが、私も同じコマンドを破棄しました。











かなりの数のコマンドがありますが、一般に、init-scriptにある場合は、多かれ少なかれサポートされる可能性があります。







たとえば、あるポートを別のボンドに切り替える必要がある場合は、このポートを古いボンドから切断し、新しいボンドをブリッジから切断してから、ポートをそのボンドに接続してから、ボンドをブリッジに戻し、その上のvlanを再構成する必要があります。一般的に、かなり退屈な仕事であり、もちろんあなたの手でそれをするのは不快です。スクリプトはこれをすべて単独で実行します。







さらに。 ACLは構成可能です... iptablesを使用できますが、オフロードされません-コントロールプレーントラフィックのフィルタリングにのみ使用できます。また、データラインでフィルタリングする場合は、Switchdevの場合はtcフィルターを使用する必要があります。ここで、tcフィルタは、ルーティングされたトラフィックだけでなく、切り替えられたトラフィックもすでにフィルタリングしていることを覚えておく価値があります。また、tcフィルターは物理ポートにのみハングアップできるため、vlanを使用する場合は、ここでより複雑な構造を作成する必要があります。しかし、そこには興味深い機能があります。たとえば、そのようなブロックを複数のインターフェイスにぶら下げることができ、それらは（共有の意味で）共通のフィルターを機能させます。 tcルールにはgoto演算子もあります。これもかなりクールで、CiscoやAristaとは異なり、非線形ACLを実行できます。







ここには、acl --mlxaclを構成するためのユーティリティもあります。私たちは主に第3レベルのvlanを操作し、ユーティリティはvlanごとに個別のチェーンを作成し、メインチェーンでは単にvlanと一致し、このvlanの対応するチェーンに移動するように機能します。







ここにも、そのような構成の例があります-そのようなコマンドは結果です。 1つのルールが約1つのコマンドにマップされるため、スイッチ自体の構成の場合よりも数が少なくなります。それほど難しくはありません。







ただし、変更を加える必要がある場合（この場合は、1つのルールを削除しました。ユーティリティは、変更されたすべてのチェーンを書き換え、その後、ゼロ（メイン）チェーンで番号を付け直して、新しいチェーンを参照するようにすべてを実行します。そして、この場合、手作業で、1つのコマンドでそれを解決することが可能であることは明らかです。







ただし、このためには、最初に現在の状態を確認する必要があります。これは、tcフィルターの出力がどのように見えるかです。これを操作するのは非常に困難です。







あなたがこれらすべてを扱うとき、通りすがりの人はあなたをこのように見ます。したがって、このユーティリティ（mlxacl）を最初に作成しました。これは、操作するのがはるかに面倒だったためです。次に、単語ごとに、残りの設定についてもユーティリティを作成しました。







これらのユーティリティについてお話ししましたが、Gitlabに公開しました。使用できます。それらはMITの下でライセンスされているため、自由に利用できます。







当然、保証はありません。これはいくつかのPerlスクリプトです（私はPerlを知っていて、それは機能するので、あなたの質問を予想します）、比較的小さく、ほとんど依存関係がありません-もちろん、標準のPerlディストリビューションとLinuxユーティリティにあるいくつかのPerlモジュールを使用します。







最後に、COMポートを備えたシリアルコンソールで少し作業したことがある場合は、いくつかアドバイスを提供したいと思います。たとえば、誰かがそれがVimを終了する方法だと思った場合、あなたはほとんどそれを推測しました。







一部のバイオでは、シリアルポートを介して認識するため、これはCtrl + Alt + Delと同等です。つまり、たとえばブートローダーがハングし、何らかの方法でスイッチを再起動する必要がある場合は、を使用できます。



さらに、カーネルに関しては、キーボードでの作業を自然に傍受するため、ここではSysRqカーネルにコマンドを受け入れさせる方がよいでしょう。そうしないと、スイッチを再起動するのが困難になります。また、SysRqの場合、キーボードと通常の端末を使用する場合はそこでPrintScreenが使用され、COMポートを備えたシリアルコンソールの場合は、特別なブレーク信号を送信する必要があります。ミニコムではCtrl + F、画面では ' e Ctrl + A、Ctrl + Bを押してから、特別なSysRqキーを作成します。



そして、起動時にbiosに入るには、もちろん、スイッチのbiosに入るには、実際、通常のコンピューターと同様に、通常は起動するbiosがあるため、Ctrl + Bを押すことができます。



簡単に伝えたかったのはそれだけです。ご不明な点がございましたら、お気軽にお問い合わせください。







→出版物の英語版。