YouTubeサーバーファーム用のハードウェアビデオトランスコーダー



フルサイズのPCI-Eカード上の巨大なアルミニウムヒートシンクの下にある2つのArgosASIC



Googleのエンジニアは、Argosプロジェクトに関する情報を共有しました。これは新しいタイプのデバイスです。ハードウェアビデオエンコーダーまたはビデオコーディングユニット(VCU)であり、GPUGPUやTPUテンソルプロセッサーなどの特殊なチップに向かう現在の傾向に基づいています。



アルゴスの設計の詳細については、2021年4月のASPLOS 2021会議で公開された研究論文 「倉庫規模のビデオアクセラレーション:共同設計と実際の展開」(doi:10.1145 / 3445814.3446723、 pdf)を参照してください。



ハードウェアVCUを使用すると、動画をYouTubeでサポートされている10を超える形式にすばやくトランスコードして、スムーズな表示と帯域幅の節約を実現できます。 YouTubeのサーバーは非常に大きな負担にさらされているため、独自のYouTubeチップの開発はすぐに成果を上げました。当然のことながら、これらのデバイスは広く販売されることはありませんが、引き続きGoogleデータセンターでのみ使用されます。 Googleがこれらのユニークなデバイスを1年以上使用していることを一般の人々が知ったのは、学会での発表のおかげです。



科学論文の著者は、Argosチップが「従来のサーバーでソフトウェアを実行していた以前の最適化されたシステムと比較して最大20〜33倍」コンピューティング効率を向上させたと書いています。



VCUパッケージは、GPUに非常によく似たフルサイズのPCI-Eカードです。プロトタイプの写真(KDPV上)から判断すると、PCI-Eを介したマザーボードからの電力ではVCUに電力を供給するのに十分ではないため、カードには別個の8ピン電源コネクタがあります。





顕微鏡下でのVCUマイクロ回路、フルサイズの写真





VCUマイクロ回路上の要素の配置



チップには10個の「コーディングコア」があり、ドキュメントには「他のすべての要素は既製のIPブロックでできている」と記載されています。 1つのコアが最大60FPSの2160pストリームをリアルタイムでエンコードします。



マップは、Googleデータセンター向けに特別に設計されています。各YouTubeコンピューティングクラスターには、新しいカードを備えた分離されたVCUセクションが含まれているため、すべてのサーバーにカードをインストールする必要がありません。 VCUは、GPUアクセラレーターを基に、既存のサーバーユニットのコネクタとトレイに収まるように特別に設計されています。



現在、「数千のArgosVCUデバイス」がすでにGoogleデータセンターで実行されています。彼らのおかげで、YouTubeの4Kビデオは「以前のように数日ではなく、数時間で利用できるようになりました」と、システム開発者の1人が CNETへのコメントで述べています。



この表では、サーバーセットアップのパフォーマンスと所有コストを、IntelSkylakeチップとNvidiaT4GPUでのアルゴリズムの実行と比較しています。





ハードウェアトランスコーダーのパフォーマンスの比較IntelSkylake、Nvidia T4、Argos VPU



今日、YouTubeは世界のインターネットトラフィックの約3分の1を生成しています。2005年にサービスが開始されたとき、サービスを稼働せ続けること は不可能な作業と見なされていましたグーグルは実際に2006年に16.5億ドルでそれを購入することによってお金を失ったスタートアップを節約し、 それ以来積極的にメンテナンスコストを削減しようとしています。これを行うには、Googleは世界中のISPにキャッシュサーバーをインストールしてインターネットの構造を再フォーマットする必要がありました。



今日、YouTubeの主なインフラストラクチャの問題は、デバイスと帯域幅に対して可能な限り最高の品質で動画をユーザーに配信することです。これは、リアルタイムのトランスコーディングを必要とする複数のコーデックとフレームサイズの選択を意味します。たとえば、ある特定のデバイスの場合、8Kビデオは、144p、240p、360p、480p、720p、1080p、1440p、2160p、およびネイティブ4320p(8K)の9つの解像度で利用できます。



それらのいくつかは、異なるコーデックでエンコードされています。同社は、最も高度で効率的なコーデックでビデオを提供したいと考えていますが、従来のモバイルデバイスではサポートされていないか、速度が低下しています。





従来のH.264(左)と最新のvp9(右)、H.264フレームvp9フレームを比較してください





PSNRテストによるH.264およびVP9ビデオストリームの知覚品質の比較



最新のデバイスでは、通常、効果的なVP9ビデオが使用され、古いデバイスでは、H.264サポートが維持されます。他のビデオコーデックは公開されていませんが、Googleは「低解像度のクラムシェル式携帯電話」のサポートについて話し合っています。つまり、3GPなどのH.264より前のコーデックが古いデバイスでサポートされていると想定できます。



YouTubeデータベース内のすべての動画は、新しい、より効率的なコーデックが利用可能になると、常に再エンコードする必要があります。トラフィックを節約するためにこれを行うことはGoogleにとって有益です。



YouTubeの動画の総数を見積もるのは難しいです。同社は漠然とした成長率のみを公開しています(「毎分500時間のビデオがアップロードされる」など)。私たちはおそらくエクサバイトについて話しているでしょう。





ビデオトランスコーディングは、インストールから12か月後にほぼ完全にハードウェアトランスコーダーに切り替えられ



ました。VCUには、YouTubeライブブロードキャストによって追加の負荷がかかります。この場合、トランスコーディングは、100ミリ秒以内の遅延ですべてのフォーマットにライブで実行されます。追加のワークロードは、GoogleドライブとGoogleフォトから発生します。



コーデックはYouTubeの成功にとって非常に重要であるため、サービスの購入以来、Googleは実際に新しいコーデックの開発の負担の大部分を担っています。彼女は2009年にOn2Technologiesを購入し(彼らのVP6コーデックはYouTubeの最初のバージョンでFlashビデオに使用されていました)、それ以来新しいバージョンを継続的にリリースしています。VP8とVP9の後、次はAV1になり、大きな期待が寄せられます。



AV1のハードウェアをサポートするトランスコーダーの新しいバージョンがAV1用に開発されました。CNETよる 、第2世代のチップはすでにGoogleのサーバーファームに段階的に導入されています。



参照:




All Articles