Wargaming Platform：配布

こんにちは！

約2年前、私の同僚のマキシム（max_posedon）Wargaming Platform：Hello Worldの記事を公開しました。この記事では、Wargaming Platformとは何かを説明するために（彼自身が指定したように）「試しました」。同僚と私は引き続き情報を共有したいと考えています。今回は、記事のタイトルが示すように、配布についてもう少し深く掘り下げます。



誰もがデジタル配信に精通しており、定期的に使用しています。デジタル配信の存在から20年以上にわたってすべてを見てきました。そのため、市場の理論と例をバイパスし、具体的な実装と経験について詳しく説明します。

Wargamingの一般化された配布スキーム

すぐに写真から始めましょう。これは、Wargaming Distribution System（WDS）の主要コンポーネントとコンテンツのデータフローの両方を示しています。





図1



プロセスは次のように簡単に説明できます。ゲームスタジオ（Game Studio）は、ゲームの次のビルドをWDSサーバーにアップロードします。これは、必要な処理（これについては「内部」のセクションで詳しく説明します）の後、配布チャネル（青色でマークされたコンポーネント）を介してクライアントに配布します。 WGCアプリケーション。



WGC（Wargaming Game Center）は、デスクトップクライアントアプリケーションであり、Wargaming Platform、特に配布システムとのユーザーインタラクションの手段です。 WGCは、現在利用可能なソースからユーザーのマシンに更新をダウンロードします。



WDSには3つの主要な流通チャネルがあります。

• CDN — Content Delivery Network. CDN .
• Static Seeds — BitTorrent-, .
• p2p exchange — WGC ().

はい、BitTorrentテクノロジーはアップデート配信の中心です。クライアント間のp2pデータ交換は、絶対的には、トラフィック量の観点からは最小チャネルであるとすぐに言わなければなりません。その主な機能は、多数のWGCクライアント（インターネットカフェなど）を使用するローカルネットワークでの読み込みを高速化し、外部ネットワークインターフェイスの負荷を軽減することです。また、BitTorrentを使用すると、任意の場所にプレゼンスポイントを簡単に整理できます。



流通チャネルのStaticSeedsは、歴史的な観点から興味深いものです。以下の棒グラフを見てください。これは、最大の消費者のCDNトラフィックの最小コストのダイナミクスを示しています（つまり、卸売り、最低価格）。





写真2



2010年、World of Tanksの夜明けに、10PBを超える注文の場合のギガバイトのトラフィックコストは約0.2ドルでした。何百万ものオーディエンスがいるAAAゲームの定期的な更新により、トラフィックのコストは非常に印象的であることが判明しました。ノードを任意のポイントに簡単に追加する機能（地理/プロバイダーの観点から）により、目に見える量のトラフィックをノードにプルできます。ある時点でのCDNの存在、リリース中のシステムの負荷、特定のゲームのリリースの量に応じて、このようなツールは今日でも優れた経済効果をもたらします。



基本的な配布スキームを完全に明確にするために、コンポーネントについて少し説明する価値があります。このコンポーネントは、図1ではWargaming DistributionSystemバックエンドとして指定されています。コンポーネントの主なタスク：

• 更新を準備し、クライアントによってダウンロードおよびインストールされるコンテンツの最小量を確保します。
• 配布チャネルを介して更新を配布します。
• 更新のための情報をクライアントに提供します。

それでは、配布オプションを簡単に見てみましょう。

機能性

BitTorrentテクノロジー、特にlibtorrentの実装（Arvid Norbergのおかげで）は、「箱から出して」、最小限のコストで実装できます。

• ローカルリトラッカーとシード-ユーザーグループとゲームスタジオの両方に関連します。
• 複数のCDNを接続する-水平方向のスケーラビリティ。
• さまざまなCDNの重み係数-バランス調整、「スペア」CDN。
• 整合性のチェックと復元-ゲームファイルは、怠慢、アプリケーションのクリーニング、アンチウイルス、ドライバーまたは物理メディアの問題によって損傷する可能性があります。

libtorrentに関係なく、ダウンロードについても：

• 更新のプリロード。ゲームスタジオは、ダウンロード（インストールなし）でのみ更新を公開できます。新しいバージョンのリリース時に、更新が適用され、ユーザーは新しいバージョンのプレイを早く開始します。
• プリロードバランシング。大量の更新がある場合、更新の事前受信を均等に「スミア」して、配布ノードの負荷を軽減し、ピークをスムーズにすることができます。

ゲームのインストール/更新：

• パッチ。ユーザーは、十分に圧縮された、ゲームの欠落している部分のみをダウンロードします。
• ダウンロードコンテンツ。一部のコンテンツは、ユーザーの選択で、またはゲームのロジックに応じて、オプションでダウンロードできます。
• クライアントタイプ。このゲームでは、ダウンロードする「クライアントのタイプ」をユーザーに選択できます（たとえば、World of Tanks：標準テクスチャ（SD）と高解像度テクスチャ（HD）のどちらかを選択できるため、システムを持たないユーザーは最大グラフィック設定をサポートできません。 ）。
• ミニクライアント。インストールが完了するまでプレイする機能、ゲームスタジオにはゲームを開始するために必要な最小限のファイルセットを決定する機能があります

その他：

• 再配布可能ファイルのインストール。
• インストール/アンインストールプロセス中に任意のインストーラーを実行する。

フードの下

パーツとパッチ

ゲームは、インストールの特定のシーケンスを指定するパーツ（パーツ）に分割できます。これにより、ゲームスタジオは次のことが可能になります。

• 選択したゲーム言語のコンテンツのみをユーザーに配信します。
• ゲームを開始して最初に配信するために、ゲームプレイの最低限必要な部分を実装します。
• 一部のパーツをDLCとして指定し、ゲーム/ユーザーがそれらを個別にリクエストできるようにします。

パーツをインストールするには、1つ以上のパッチを配信して適用する必要があります。本質的に、パッチはLZMA2コーデックを備えた7zアーカイブです。圧縮レベルは、ゲームコンテンツの種類に応じて変更できます。ゲームを最初からインストールするには、パッチにゲームの特定の部分のすべてのコンテンツが含まれている必要があります。これが更新の場合、パッチには必要な違いのみが含まれます。この差は、次のアルゴリズムを使用してファイルごとに計算されます。

• rsync（librsync）;
• VCDIFF（xdelta）。

最初のアルゴリズムはブロックベースであり、2番目のアルゴリズムは任意の長さの部分をコピーして繰り返す機能を提供します。変更の性質（挿入、削除、置換）、変更が行われたファイル内の場所（開始、終了、中間）、サイズ、ファイルの冗長性に応じて、アルゴリズムの1つが他のアルゴリズムよりも大幅に優れているか、結果のdiffファイルのサイズの点でまたはユーザーのマシンでのアプリケーションの速度によって。WDSは、特定のケースに最適なバイナリ差分アルゴリズムを選択します。

トレント

パッチをダウンロードするために、トレントファイルはバージョンごとに準備され、WGCクライアントはWDSバックエンドから必要な情報を受け取り、必要なトレントとのトレントセッションを開始します。



シードは、すでに間接的に述べたように、CDN（Webシード）、静的シード（libtorrentベースのクライアントを備えた特別に準備されたマシン）、WGCクライアント自体、および必要なトレントを備えたトレントクライアントです。これらのシードを次のソースからトレントセッションを受け取ります。

• WDSバックエンド;
• トレントトラッカー;
• DHT ;
• LPD ;
• PEX。

一部のプロバイダーは、BitTorrentプロトコル自体または* .torrentファイルのダウンロードのいずれかをブロックします。 WebシードからのダウンロードはHTTP経由で行われ、* .torrentファイル自体はHTTPS経由でダウンロードされるため、このようなブロックは重要ではなく、ゲームは引き続き配信されます。最悪の場合、StaticSeedsとp2pからのトラフィックは消えます。米国では、プロバイダーが証明書のインストールを要求し、HTTPSトラフィック（あまり良くない）を含めてフィルター処理され、そこでトレントファイルを見つけてブロックした場合があります。しかし、急にトレントファイルの拡張子を変更すると、ダウンロードできるようになりました。つまり、フィルターはコンテンツ名レベルのみでした。



WGCは現在、最大50の配布チャネル接続を確立しています。同じCDNで複数の接続を確立できるため、ノードとクライアント間のチャネルをより効率的に利用できます。これに加えて、メインCDNはBBR輻輳制御アルゴリズムを使用します。これは貪欲と見なされ、チャネルを非常にうまく利用します。この構成は、高速ゲーム配信のために最高の帯域幅使用率を提供しますが、もちろん、他のアプリケーションにインターネット接続を使用する快適さは、更新中に損なわれる可能性があります。代替構成の一連のテストが現在進行中であり、近い将来、快適性の向上とともに継続的に接続数の減少が見込まれますが、配信速度に具体的な影響はありません。



念のため、ここでもう一度強調したいのは、ネットワークアクティビティがゲームクライアントのトラフィックの品質に影響を与える可能性があることです。これは非常に重要です。そのため、ゲームの実行中、WGCは、ゲームクライアントからの明示的な必要がない限り、ネットワーク操作（たとえば、承認操作）を実行しません。

アップデートのインストール

パッチのダウンロードと解凍のプロセスは並行して編成されており、次のようになります。

• パッチのダウンロードを開始し、ダウンロードの優先度をアーカイブヘッダーのある部分に変更します。
• アーカイブのヘッダー全体を受信すると、解凍プロセスが開始され、ネットワークから受信したデータがすぐに解凍されます。
• 解凍されたデータはディスクに保存されます。
• ダウンロードしたパッチもディスクに保存されます。これは、受信時にすべてのフラグメントを解凍したり、他の人に配布したりするために必要なわけではないためです。
• 処理後、パッチファイルは、ゲームスタジオによって指定された構成に応じて、ディスクに残すか、すぐに削除することができます。

バイナリの違いを解凍して適用するプロセスは別のプロセスで発生します。これにより、OSを使用してシステムとI / Oの優先度を制御できます。この機能に加えて、インストールプロセスを高速化するカスタムの「ターボ」設定がありますが、リソースに関して他のアプリケーションと激しく競合します。デフォルトでは、WGCは快適さに依存して低リソースモードで実行されますが、最初のインストール時に、WGCはユーザーに選択肢があることを説明します。

パフォーマンス

更新の量

ダウンロードされるデータの量を最小限に抑えることは、システムの主要なタスクの1つです。ゲームクライアントの処理されたデータの離散性が1MBであるSteamアプローチとは異なり、バイナリの違いを構築するときにバイトを操作することがよくあります。さらに、これらのバイトのブロックは、ファイルの任意の部分に追加することも、ファイルから削除することもできます。その結果、World ofTanksとWorldof Warshipsのスケジュールされたバージョンの更新のボリュームは通常1〜2 GBですが、Steamにダウンロードされた同じバージョンのゲームのダウンロードには約5GBが必要です。World of WarshipsはSteam経由で配布されるため、このデータは定期的に取得され、World of Tanksの場合、データは特別なテストダウンロードから取得されます。

必要なユーザーディスク容量

ダウンロードされたデータとp2pの最小量については、クライアントをインストールおよび更新する操作に必要なディスク容量を支払う必要があります。現時点では、ユーザーはゲームクライアントが必要とするよりも多くのスペースを必要とします。このようなバッファーは、クライアントの最大半分のサイズになる可能性があります。現在、この値の削減に取り組んでおり、近い将来、2 GBを超えないように修正することが可能です。これは、現代のゲームのサイズを考えると非常に受け入れられるようになります。ただし、もう1つ重要な機能があります。ゲームを更新するには（現代の世界では通常のアクティビティです）、比較的小さなバッファーでも十分です。これは、ほとんどのゲームパッチですでに約4GBです。同時に、これらのソリューションの中には、ゲームクライアントの2倍のディスク容量を必要とするものがあります。

一連の測定を実行して、WGCとSteamでのWorld ofWarshipsクライアントのインストール速度を同じネットワークチャネル速度で比較しました。標準のWGCインストールモードを使用する場合、両方のシステムはほぼ同じ結果を示します（最もクリーンなシステム、定期的な再起動などを考慮しても、そのような実験で記録するために可能な限り）。 「ターボ」を使用する場合、チャンバーの平均WGCゲインは、完全設置時の5〜7パーセントの範囲です。同じ条件と多かれ少なかれ安定した帯域幅を得るには、両方のシステムでネットワークインターフェイスの帯域幅を過小評価する必要があるという事実も考慮に入れる必要があります。 WGCがネットワークチャネルをより強力に利用するという事実を考慮に入れると（Torrentセクションを参照）、カスタムマシンに追加の制限がない場合、ゲームの初期インストールの速度は著しく速くなります。

最後の言葉、またはここになかったもの

Wargamingプラットフォーム、特にWargaming配布システムは、10年の歴史と、数十の異なるテクノロジーとプログラミング言語を備えた大規模なソフトウェアシステムです。この記事では、高レベルの配布スキームとその主な特徴についてのみ説明しました。システムのアーキテクチャ、ほとんどのテクノロジー、開発プロセス、リリース、操作、配布の地理的なニュアンス、すべての非配布機能を備えたWGCアプリケーション自体、およびその他の多くは、「非ゴム」の記事のために括弧から外されました。これは、コメントで記事、特に記事に含まれていないものについての質問を待っていることを意味するだけです。良いコード、みんな頑張ってください！