SSH、ユーザーモード、TCP / IP、WireGuard

Fly.io（以下単にFly）の ようなプロバイダーからのアプリケーションをホストする人は誰でも、 SSH経由でこのアプリケーションを実行しているサーバーに接続する必要があるかもしれません。



しかし、Flyは、他の同様のプラットフォームの中でも、一種の黒い羊のようなものです。当社のハードウェアは、世界中に点在するデータセンターで機能します。当社のサーバーはエニーキャストネットワークを介してインターネットに接続されており、WireGuardネットワークを使用して相互に接続されています。ユーザーからDockerコンテナーを取得し、Firecrackerマイクロバーチャルに変換します。そして、私たちが最初に始めたとき、私たちはお客様に「エッジアプリケーション」を実行する能力を与えるためにまさにそれを行いました。これらのアプリケーションは通常、ネットワークパフォーマンスに非常に敏感な、比較的小さな自己完結型のコードです。その結果、これらのコードスニペットは、ユーザーのできるだけ近くにあるサーバーで実行する必要があります。このような環境では、SSH経由でサーバーに接続する機能はそれほど重要ではありません。







しかし現在、すべてのクライアントがこのようにFlyを使用しているわけではありません。現在、Fly環境では、アプリケーションに関連するすべてのコードを簡単に実行できます。クラスター環境でサービスのアンサンブルを開始する手順を簡略化し ました。このようなサービスは、安全な通信チャネルを使用して 相互に対話し、 データを永続的に保存し、WireGuardネットワークを介してオペレーターと通信することができます。私が同じ精神で私たちのシステムについての話を続けるならば、私は過去数ヶ月にわたって私たちが書いたすべての資料へのリンクを提供しなければなりません。



ただし、いずれの場合も、通常のSSHサポートはありませんでした。



もちろん、SSH経由で接続できるSSHサービスを使用してコンテナーを作成するだけでよいことは明らかです。Flyプラットフォームは、一般的なTCPポート（およびUDPポートも）での作業をサポートし ます。クライアントがファイルを使用してfly.toml



、エニーキャストネットワークに奇妙なSSHポートについて「通知」すると、システムはSSH接続のルーティングを整理し、その後はすべてが正常に機能します 。



しかし、コンテナを作成する人は通常これを行いません。また、そうすることをお勧めしません。その結果、FlyにSSHサポートを装備しました。私たちがやったことは、かなり変わった方法で整理されています。この記事は2つのパートで構成されており、これについて説明します。

パート1：6PNとホールパス

たくさん 書いたFlyでプライベートネットワークがどのように配置されているかについて。一言で言えば、私たちが持っているものは、「仮想プライベートクラウド」GCPまたはAWSの単純化されたIPv6バージョンと比較できることがわかります。このシステムを6PNと呼びます。 Flyでアプリケーションインスタンス（Firecrackerマイクロ仮想マシン）を起動すると、このインスタンスに特別なIPv6プレフィックスが割り当てられます。プレフィックスには、アプリケーションの識別子、アプリケーションを所有する組織、アプリケーションが実行されているハードウェアリソースなど、いくつかの識別子がエンコードされています。少しのeBPFコードを使用して、このようなIPv6パケットを内部WireGuardネットワークに静的にルーティングし、クライアントが関与していない組織のシステムに接続できないようにします。



WireGuardを使用して、作成したプライベートIPv6ネットワークを他のネットワークとブリッジすることもできます。私たちのAPIを作成することができます WireGuard構成のためのEC2のホスト上で、例えば、使用することができますRDS Postgresのプロキシを 。または、必要に応じて、WireGuardクライアント（Windows、Linux、またはmacOS）を使用して、開発用コンピューターを独自のプライベートネットワークに接続できます。



あなたはおそらく私が何をしているのかすでに知っているでしょう。 GoでHallpassと呼ばれる



非常に小さくて非常に単純な SSHサーバーを作成しました。 Goライブラリを使用して作成された「Hello、World！」と比較できます。 x/crypto/ssh



..。 （これをもう一度行うと、SSHサーバーの構築にGlider Labsパッケージを使用する可能性があり ます。このパッケージを使用すると、サーバーは文字通り「Hello、World！」 になります。Firecrackerマイクロ仮想マシンのすべてのインスタンスの初期化が実行され、Hallpassは6PNアドレスにバインドして起動しました。



組織の6PNネットワークで（たとえば、WireGuard接続を介して）操作できる場合は、Hallpassを使用してマイクロ仮想インスタンスにログインできることを意味します。



Hallpassがどのように機能するかについての興味深い詳細は1つだけです。認証についてです。通常、本番ネットワークのインフラストラクチャ要素は、APIまたはその基盤となるデータベースに直接アクセスできません。もちろん、Firecrackerのインスタンス自体にもこのアクセス権はありません。これにより、通信設定の変更に関連するいくつかの問題が発生します。たとえば、マイクロ仮想マシンの特定のインスタンスに接続するために必要なキーの種類の質問にどのように答えることができますか？



SSHクライアント証明書を使用することで、この問題の回避策を見つけました。ユーザーが新しいホストからログインするたびにキーを渡す必要はなく、そのユーザーを整理するためのルート証明書を作成します。このルート証明書の公開鍵はプライベートDNSシステムでホストされており、Hallpassはログインが試行されるたびにDNSに接続してこの証明書を取得します。 APIはユーザーの新しい証明書に署名します。これらの証明書は、システムへのサインインに使用できます。



このソリューションについて質問があるかもしれません。したがって、私は彼についてもう少し詳細を明らかにします。



まず、証明書について説明しましょう。X.509マッドネスの数十年 」という言葉があなたに不快な後味を与える原因となった可能性があります。そして、私はそれについてあなたを責めません。ただし、SSH接続を整理するときは証明書を使用する必要があります。この場合、このような証明書は優れたソリューションであるためです。ただし、SSH証明書はX.509証明書ではありません。独自のOpenSSH形式を使用して おり、一般に、これらの証明書について特別なことは何も言えません。他のすべての証明書と同様に、「有効期限」があり、これにより、有効期間の短いキーを作成できます（これは、 ほとんどの場合、、まさにあなたが必要なもの）。もちろん、サーバーのグループ全体に1つの公開鍵を割り当てることができ、任意の数の秘密鍵を承認できます。対応するサーバーを常に更新する必要はありません。



次は、APIと証明書の署名です。上手！細心の注意を払っていますが、これらの証明書は通常、Flyアクセストークンと同じくらい安全です。現時点では、トークンを使用すると新しいバージョンのアプリケーションコンテナを展開できるため、証明書をトークンよりも適切に保護することはできません。 Web PKI X.509 CAの操作には、多くの手続きが必要です。私たちはそれらなしで行います。



そして最後に、DNSです。彼女は、私は同意します、完全にナンセンスのように見えます。しかし、それはそれほど悪くはありません。 Firecrackerマイクロ仮想インスタンスを実行している各ホストは、ローカルバージョンのプライベートDNSサーバー（Rustで記述された小さなプログラム）を実行します。 eBPFコードは、FirecrackerマシンがこのDNSサーバーとのみ対話できるようにし、サーバーの6PNアドレスからDNSサーバーを参照します。 （技術的な観点から、ユーザーはこのサーバーのプライベートDNS APIに対してのみクエリを実行でき、他のすべてのユーザーのクエリは再帰的に処理されます。）DNSサーバーは（異常に見えることはわかっていますが）組織を確実に識別できます。ソースIPアドレス要求を分析することによって。一般的に、これが私たちの働き方です。



これはすべて私たちのシステムの奥深くで起こり、ユーザーはこれらすべてを見ることができません。ユーザーはflyctl ssh issue -a



、APIから新しい証明書を要求し、それをローカルSSHエージェントに渡すコマンドのみを確​​認しました。 その後、SSH接続は一般的に機能していることが判明しました。これはすべて十分にきちんと整理されました。しかし、どんなビジネスも以前よりも常に正確に行うことができます。

パート2：TCP / IPを使用してユーザーモードからWireGuardネットワークで作業する

SSHを使用する上記のスキームには1つの問題があります。それは、すべての人にWireGuardがインストールされているわけではないということです。ただし、対応するプログラムはすべての人がインストールする必要があります。 WireGuardは、Flyプラットフォームで実行されているアプリケーションの管理に大いに役立つ優れたテクノロジーです。ただし、それでも、一部のユーザーはWireGuardを持っていません。



確かに、そのようなユーザーはSSH経由でシステムを操作する必要もあります。



一見すると、誰かがWireGuardをインストールしていないという事実は、乗り越えられない障害のように思えるかもしれません。 WireGuardはどのように機能しますか？新しいネットワークインターフェイスがユーザーのコンピューターに作成されます。これは、カーネルレベルのWireGuardインターフェイス（Linuxの場合）、またはユーザーモードのWireGuardサービスが接続されたトンネル（他のすべてのオペレーティングシステムの場合）のいずれかです。このネットワークインターフェイスがないと、WireGuardネットワークを操作できません。



しかし、WireGuardを正しい角度から見ると、技術的な観点からはそうではないことがわかります。つまり、新しいネットワークインターフェイスを構成するには、オペレーティングシステムレベルの権限が必要です。しかし、パケットを送信するには 51820/udp



特権は必要ありません。 WireGuardプロトコルを機能させるために必要なものはすべて、ユーザーモードで実行されている非特権プロセスとして開始できます。これがwireguard-goパッケージの仕組み です。



これにより、WireGuardハンドシェイク手順のみを実行できます。ただし、同時に、WireGuardネットワークのノードとの情報交換については説明していません。これは、このネットワークに接続されている別のシステムに任意のデータを単純に取得して送信することはできないためです。このようなシステムは、通常TCP / IPネットワークを介して送信されるパケットをリッスンします。 UDPソケットをサポートする標準のシステムツールは、そのようなソケットを使用してTCP接続を確立するのに役立ちません。



ユーザーモードでTCPを有効にする小さなコードを作成するのは難しいでしょうか。これは、WireGuardネットワークを介した通信をサポートするためだけに設計されており、ユーザーモードでも同様です。このようなコードにより、FlyユーザーはWireGuardを強化するソフトウェアをインストールしなくても、SSH経由でシステムに接続できます。



JasonDonenfeldが参加していたSlackチャンネルでこれらすべてについて話し合うのは無謀でした。つまり、声を出して考えた後、私は寝ました。私が目覚めたとき、JasonはすでにgVisorを使用してこれらすべてを実装し、WireGuardライブラリに含まれていました。



ここで最も興味深いのはgVisorです。私たちはすでにそれについて書いた ..。誰もが知らない場合、gVisorは本質的にユーザースペースのLinux OSであり、Golangに実装されたLinuxであり、runc



実行中のコンテナーの代わりとして使用され ます。これは実際には完全に正気でないプロジェクトです。そして、それを使えば、それはただのゴージャスなものなので、誇らしげに他の人にそれについて話すことができると思います。その奥深くには、Goで記述された完全なTCP / IP実装があり、通常のバッファーとして表される入力データと出力データを操作します []byte



。



その後、いくつかのツイートがツイートされ、数時間後、BenBarkertからとても素敵なメールが 届きました。..。ベンはすでにgVisorネットワーキングサブシステムに関連するさまざまなタスクに取り組んでいました。彼は私たちが取り組んでいることに興味があり、私たちが彼と協力したいかどうか知りたいと思っていました。私たちは、このプロジェクトで一緒に働くという彼のアイデアが好きでした。そして今、詳細に立ち入ることなく、ユーザーモードのgVisor TCP / IP実装を介して実行される証明書ベースのSSH実装があります。これはすべて、カスタムモードパッケージを介してWireGuardネットワークと相互作用します wireguard-go



。そして最後に、これはに組み込まれてい flyctl



ます。 -



を使用してSSHを使用 flyctl



するには、次のようなコマンドを入力するだけです。

flyctl ssh shell personal dogmatic-potato-342.internal

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

そして今、あなたが起こっていることの信じられないほどを理解することができるように、私はあなたにこのコマンドについて少し話します。つまり dogmatic-potato-342.internal



、-6PNネットワーク上のプライベートDNSサーバーによってのみ解決される内部DNS名です。このモードでは、ssh shell



ユーティリティ flyctl



がTCP / IPスタックのgVisorユーザーモードを使用するため、これはすべて効率的 です。ただし、gVisorにはDNSルックアップを実行するためのコードはありません。これは、特別なTCP / IPインターフェイスを挿入することでだまされた標準のGoライブラリです。



Flyctl



ちなみに、これは オープンソースプロジェクトです（クライアントは、開発に従事している自分のコンピューターで使用する必要があるため、そうする必要があります）。したがって、興味がある場合は、そのコードを読むだけです。ベンはpkgフォルダーにいくつかの素晴らしいコードを書きました 。そして、残りのコードは恐ろしいものでした、と私は書きました。 Goでは、WireGuardネットワークでIP通信を提供するのは驚くほど簡単です。低レベルのTCP / IPプログラミングを行ったことがある場合は、この単純さが信じられないほど簡単であることに気付くかもしれません。 gVisor TCPスタックのオブジェクトは、標準ライブラリのネットワークコードに直接接続します。



このコードを見てください：

tunDev, gNet, err := netstack.CreateNetTUN(localIPs, []net.IP{dnsIP}, mtu)
if err != nil {
    return nil, err
}

// ...

wgDev := device.NewDevice(tunDev, device.NewLogger(cfg.LogLevel, "(fly-ssh) "))

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

CreateNetTUN



一部 wireguard-go



です。ここでgVisorの機能が使用されます。まず、WireGuard操作を提供する通常のパケットの読み取りと書き込みに使用できる合成トンネルデバイスを自由に使用できます。次に、gVisorのラッパーであるnet.Dialer関数 があります。これは、Goコードで使用でき、それを介して対応するWireGuardネットワークと対話できます。



それだけですか？一般的に、はい。たとえば、これらのメカニズムを使用してDNSを操作する方法は次のとおりです。

resolv: &net.Resolver{
    PreferGo: true,
    Dial: func(ctx context.Context, network, address string) (net.Conn, error) {
        return gNet.DialContext(ctx, network, net.JoinHostPort(dnsIP.String(), "53"))
    },
},

      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

これは、Goで記述された通常のネットワークコードです。一般的に、それはうまくいきました。

明らかに、誰もがこれを行う必要があります。

数百行のコードのおかげで（これは-gVisorから取得するLinuxユーザーモード実装コードは別ですが、どうすればよいですか-依存関係から逃れることはできません）、暗号化された新しいネットワークを取得できます自由に使用できる認証。いつでも、ほとんどすべてのプログラムからアクセスできるネットワーク。



このようなネットワークは、コアTCP / IP実装に基づくネットワークよりも大幅に遅いことは明らかです。しかし、それはしばしば本当に重要ですか？そして、特に、定期的に発生する問題を解決するときに、それはしばしば意味を持ちますか？その解決のために、通常、何から未知の奇妙なTLSトンネルが構築されますか？速度が重要な場合は、通常のWireGuard実装に切り替えるだけです。



いずれにせよ、私が言ったことは私たちの大きな問題を解決しました。結局のところ、このシステムはSSHの作業を整理するだけでなく適しています。Postgresデータベースもホストしています。簡単なコマンドを実行するpsql



ことで、MacOS用のWireGuardをインストールできるかどうかに関係なく、文字通りどこからでもシェルを開くことができる場合に非常に便利 です。



WireGuardを使用していますか？