Unityでパノラマビデオを作成する

なぜパノラマビデオが必要なのですか？

私のブログ投稿のほとんどは、ゲーム開発者を対象としています。あなたがその1人である場合、360°ビデオの作成に何に興味があるのか​​疑問に思われるかもしれません。仮想現実は非常に成功した業界であり、毎年さまざまなプラットフォームでより多くのゲームがリリースされています。多くのプレイヤーは、残念ながら2Dで記録されているトレーラーを通じてVRゲームについて学びます。





さらに一歩進めたい場合は、オプションのパノラマトレーラーを作成して、ゲームの可能性を最大限に引き出すことができます。VRを再生するには通常、高価なヘッドセットが必要ですが、パノラマビデオは、追加のハードウェアを必要とせずにYouTubeによってネイティブにサポートされます。あなたが携帯電話を持っているなら、あなたは非常に簡単に使用してVRヘッドセットにそれを回すことができるGoogleの段ボールを。



それは人々にはるかに没入型の体験を提供し、あなたのゲームのポイントが何であるかを彼らに感じさせることができます。It（下記の予告編を参照）やThe Conjuringなどの映画は、よりインタラクティブな体験のためにVRゲーム（パノラマビデオの予告編付き）を作成することでこれを最大限に活用しました。





最後に、パノラマビデオは、すべての発見されたExoplanets：A Narrated 360 VR Journeyに見られるように、教育目的に最適です。

パノラマビデオの取り扱い

あなたはYouTubeとその仕組みに精通している可能性があります。ただし、パノラマビデオは多くの人に馴染みがありません。ほとんどのビデオは、環境のごく一部のみをキャプチャするカメラで記録されます。パノラマビデオは、すべての方向で発生するすべてを同時に記録します。これには通常、全方向カメラと呼ばれる特別なカメラが必要です。湾曲したミラーを使用して周囲を従来のカメラ（フィッシュアイレンズのように）に反射するか、複数のカメラを異なる方向に向けます。そのようなカメラの1つがGoProOmni（以下を参照）です。これは基本的に、6つの標準的なフィッシュアイカメラを含むデバイスです。





パノラマビデオを録画するために必要な機器が通常、従来のカメラよりも高価である理由は簡単に理解できます。ただし、これが配布を制限する唯一の理由ではありません。パノラマビデオを適切に再生するには、特別なソフトウェアとハ​​ードウェアが必要です。カメラのような画面は、環境のごく一部のみを再現するように設計されています。 YouTubeは、視聴者が動画を「回転」させて見回せるようにすることで、この制限を回避することができました。電話やタブレットからパノラマビデオを見ている場合は、通常、それを宇宙に移動して、360°で「球」のさまざまな部分を確認します。



YouTubeは、モノラルとステレオの2種類のパノラマビデオをサポートしています（後者はVRビデオと呼ばれることがよくあります））。両者の違いは、ステレオビデオはVRヘッドセットを対象としており、従来のビデオでは感じられない奥行き感を伝えることができるということです。これは、1つではなく、2つのビデオ（各目ごとに1つ）を持つことによって実現されます。これらの2つのビデオは、2つのカメラによって同時に記録され、その間の距離は目の間の距離に匹敵します。その結果、VRビデオは、日常生活のように、脳を「だまして」真の距離を認識させることができます。



この表は、これら2種類のビデオに必要な要件を示しています。





YouTubeはパノラマ動画のサポートの改善に絶えず取り組んでいるため、これは将来変更される可能性があることに注意してください。これらの仕様に従う前に、表の参照情報をお読みください。

プロジェクトビデオ

パノラマビデオの最初のトリッキーな部分は、球を平らな面にエンコードすることです。全方向カメラはすべての方向に記録できますが、各フレームを従来のフラット画像に変換する必要があるため、これが必要です。球を長方形



に変換する（厳密に言えば、投影する）方法はたくさんあります。おそらく最も有名なのは円筒形の投影です。これは、地図製作者のGerard Mercatorが1569年に惑星の表面を平らな地図に変換するために使用し始めた後、人気が出ました。



ただし、等長方形投影は、パノラマビデオで最もよく使用されます（以下を参照）。

空間音

モノラルとステレオの両方のパノラマビデオは、空間オーディオをサポートできます。標準のビデオには、ステレオヘッドフォンで聞くときに方向感覚を作り出すために使用される2つのオーディオチャネル（左と右）があります。空間オーディオを使用すると、左右だけでなく、音源の真の方向をエンコードできます。これは、適切な機器を使用すれば、完全に没頭し、周囲の音の方向を理解できることを意味します。



その名前にもかかわらず、VRヘッドセットは頭の動きを追跡できますが、ビデオは固定点からレンダリングされるため、VRビデオは「実際の」VRゲームほど良くありません。VRゲームのように、移動してオブジェクトの背後にあるものを確認することはできません。これは、特にサラウンドサウンドと組み合わせると、少し混乱する可能性があります。VRプロジェクト（ゲームまたはビデオ）に長い間取り組んでいると、それに慣れることができます。完成品の利便性を確保し、プレーヤーや観客に不快感を与える制限を見つけるために、十分に詳細なプレイテストを実施することが重要です。



パノラマビデオには、空間オーディオは必要ありません。YouTubeは2つの形式をサポートしています。

• 一次アンビソニック
• ヘッドロックステレオを備えた一次アンビソニック

Ambisonicsは、音だけでなく、音の方向を録音するために使用される音の形式です。一次アンビソニック（FOA）は、4つのオーディオチャネルを使用して音源の指向性をエンコードします。これがどのように機能するかを大まかに理解するために、FOAサウンドの録音は4つのマイクで録音するのと少し似ていると言います。よくある誤解は、これら4つのマイクが基本的なポイント（1つは視聴者の前、もう1つは後ろ、左に3つ、右に4つ）に配置されているというものです。これはAmbisonicsの動作方法ではありませんが、他の投稿で説明できます。



FOAは4チャンネルを使用しますが、YouTubeは6チャンネルバージョンもサポートしています。これは、従来の左右のステレオチャンネルを追加するだけです。このフォーマットは、ヘッドロックステレオを備えたFOAと呼ばれます..。



すべてのフォーマットが4または6オーディオチャネルをサポートしているわけではないため、パノラマビデオ（ステレオまたはモノラル）のエンコードには特に注意を払う必要があります。YouTubeでは次のことをお勧めします。

• フォーマット：MP4、MOV
• コーデック：H.264、ProRes、DNxHR

Premiere Pro 2018以降を使用している場合は、ビデオをQuicktimeProResコーデックとしてエンコードすることをお勧めします。YouTubeでサポートされている空間オーディオ形式について詳しくは、こちらをご覧ください。

Unityでパノラマビデオを作成する方法

Unity 2018.1で追加された多くの機能の1つは、YouTubeパノラマビデオと互換性のある形式でカメラからスクリーンショットを撮る機能です。この機能については、Unity Webサイトの投稿「Stereo360 Image andVideoCapture」で簡単に説明されています。残念ながら、テスト用のシーン参照はありません。

理論

ほとんどの場合、ゲームクリップはゲームの実行中に記録されます。これは標準のビデオには問題ありませんが、通常はパノラマビデオには適していません。主な理由は、パノラマゲームをレンダリングするにははるかに広い領域が必要であり、フレームレートが大幅に低下するためです。より標準的なアプローチは、各フレームをバックグラウンドでレンダリングおよびエクスポートして、後でffmpegやPremiereProなどのサードパーティソフトウェアで編集できるようにすることです。これは、チュートリアルで行うことです。



Unityでパノラマシーンをレンダリングすることは、非常に単純な3ステップのプロセスです。

• シーンをキューブマップテクスチャにレンダリングします（パノラマテクスチャにUnityが推奨する形式）
• キューブマップを等長方形の投影に変換する（YouTubeパノラマビデオに推奨される形式）
• 等距離投影をPNGとして保存

Unityでのカメラの動作方法により、最初の2つの手順が必要です。



Unityに精通している場合は、パノラマテクスチャを保存するための好ましい方法は、ワープせずに6つの異なる画像をパッケージ化する方法であるキューブマップを使用することです（以下を参照）。キュービックマップはスカイボックスや反射プローブによく使用されるため、以前に遭遇したことがある可能性があります。





パノラマテクスチャを作成するために、Unityはシーンを6回、毎回異なる角度でレンダリングします。カメラは、立方体の6つの側面の1つに位置合わせされているかのようにパンします。その結果、各パノラマスクリーンショットは、6つの従来のスクリーンショットがリンクされています。



キューブマップに記入した後、2番目のステップはそれをYouTube互換フォーマットに変換することです。前に見たように、YouTubeには等長方形のパノラマビデオが必要です。この変換には通常、複雑なシェーダーのコーディングが必要ですが、幸いなことに、このために特別に機能がUnityに追加されています。



最後のステップは、等距離のテクスチャをPNGファイルにエクスポートすることです。すべてのビデオフレームがレンダリングされたら、ffmpegやPremiereProなどのプログラムを使用してそれらをマージできます。

コード

最初のステップは、スクリプト（以下のスニペットではそれと呼ばれます）を作成し、それCamera360をレンダリングするカメラにアタッチすることです。ただし、ビデオをモノラル（360°/モノラル/ 2D）でレンダリングするか、ステレオ（VR /ステレオ/ 3D）でレンダリングするかによって、コードが変わります。

単核症

モノラルバージョンから始めましょう：

public class Camera360 : MonoBehaviour
{
    public Camera Camera;
    
    public RenderTexture EyeCubemap;
    public RenderTexture EquirectTexture;

    void Update ()
    {
        Camera.RenderToCubemap(EyeCubemap, 63, Camera.MonoOrStereoscopicEye.Mono);
        EyeCubemap.ConvertToEquirect(EquirectTexture, Camera.MonoOrStereoscopicEye.Mono);
    }
}

上記のスクリプトは、と呼ばれるレンダリングテクスチャで各フレームをレンダリングしますEquirect。これには、等長方形の投影で保存されたパノラマスクリーンショットが含まれます。



この63メソッドで使用される値RenderToCubemapは、キューブの6つの側面すべてからスクリーンショットを撮りたいことを意味します。、およびの



両方は、エディターまたはコードのいずれかで作成できます。EyeCubemapEquirectTexture

ステレオ

ステレオバージョンコードは非常に似ていますが、追加の手順が必要です。

    void Start ()
    {
        Camera.stereoSeparation = 0.064f; // 64mm
    }

    void Update ()
    {
        Camera.RenderToCubemap(EyeCubemap, 63, Camera.MonoOrStereoscopicEye.Left);
        EyeCubemap.ConvertToEquirect(EquirectTexture, Camera.MonoOrStereoscopicEye.Left);

        Camera.RenderToCubemap(EyeCubemap, 63, Camera.MonoOrStereoscopicEye.Right);
        EyeCubemap.ConvertToEquirect(EquirectTexture, Camera.MonoOrStereoscopicEye.Right);
    }

ステレオイメージをレンダリングするには、2つのキューブマップをレンダリングする必要があります。stereoSeparationこれらのキューブマップ間の距離を設定します。標準値は64mmで、左右の目の距離にほぼ等しくなります。

テクスチャの作成と保存

上記の2つのコードスニペットはテクスチャに書き込むだけですが、どこにも保存されません。フレームをディスクに保存する場合は、手動で行う必要があります。



残念ながら、レンダリングテクスチャをPNGファイルにエクスポートするのは簡単ではありません。最初の問題は、Unityでは個々のピクセルに直接アクセスできないことですRenderTexture。まず、レンダリングテクスチャをオブジェクトにコピーする必要がありますTexture2D。



以下のコードスニペットは、メソッドを使用してこのタスクを正確に実行ReadPixelsし、現在アクティブなレンダリングテクスチャからピクセルをコピーします。

public string FileName;

void Update ()
{
    ...    

    // Creates buffer
    Texture2D tempTexture = new Texture2D(EquirectTexture.width, Equirect.height);

    // Copies EquirectTexture into the tempTexture
    RenderTexture currentActiveRT = RenderTexture.active;
    RenderTexture.active = EquirectTexture;
    TempTexture.ReadPixels(new Rect(0, 0, EquirectTexture.width, EquirectTexture.height), 0, 0);

    // Exports to a PNG
    var bytes = tempTexture.EncodeToPNG();
    System.IO.File.WriteAllBytes(FileName, bytes);

    // Restores the active render texture
    RenderTexture.active = currentActiveRT;
}

それが提供するFileNamePNGファイルへの正しいパスが含まれている、上記のコードは、仕事を行います。スクリプトが同じファイルを何度も上書きしないようにするために、小さな変更を1つだけ行う必要があります。これを行うには、単に繰り返し書き換えにファイル名のカウンタを追加しframe.png、彼が書いていたframe_0.png、frame_1.pngというように。

問題

このソリューションには問題があります。これらの中で最も重要なのは、一部の後処理効果が意図したとおりに機能しない可能性があることです。

パフォーマンス

Unityでパノラマフレームをレンダリングすることは、非常にコストのかかる作業です。私のソリューションでは、シーンは6回または12回レンダリングされます（ビデオ形式（モノラルまたはステレオ）によって異なります）。画像をマージして各フレームをディスクに保存するために必要な後処理により、パフォーマンスが10〜15分の1に低下する可能性があります。ビデオを高品質（8192 x 8192ピクセル）でレンダリングする場合、個々のフレームのサイズは100MBを超える可能性があります。もちろん、非常に強力なマシンがない場合、リアルタイムで再生すると同時にパノラマショットをエクスポートすることはできません。

後処理

たとえば、Vignettingは、カメラの周りに暗いハローを追加します。Unityはシーンを6回レンダリングしてパノラマ画像を作成するため、各画像にビグネット効果が適用されます。その結果、画像の接合部に奇妙な黒いハローが存在します。





同様に、ぼかし効果とブルーム効果もエッジでエラーを引き起こし、継ぎ目の存在を示します。Unityによって作成された後処理スタックはいずれもパノラマ画像で機能するように設計されていないため、この問題の簡単な解決策はありません。



ただし、ぼかし効果とブルーム効果は適度に適用できます。これらの効果が必要な場合は、PremiereProを使用してポストプロダクションに適用するのが最善です。

ラインレンダラー

パノラマ画像の大きな問題は、ラインレンダラーが正しく表示されない可能性があることです。常にカメラを見ている必要があるようにラインが設定されている場合、パノラマイメージでレンダリングするとき、Unityは単にそれを破棄します。本当の理由がないので、これは非常に迷惑です。



Unityは、正しく機能するXRLineRendererと呼ばれるラインレンダラーの代替バージョンを開発しました。標準のラインレンダラーコンポーネントのすべての機能をサポートしているわけではありませんが、ほとんどの機能を実装できます



。XRLineRendererには、前のセクションで説明した問題の重要性を減らすことができる単純なグロー効果を作成する機能もあります。

参照：

• 「Unity2020.1の新機能 「」
• 「Unityで不正なものを最初から作成する」
• 「」ML-エージェントを使用して、自分で遊んでユニティでスマートゲームの対戦相手を教えます「」