MicrosoftがFlightSimulatorの世界を構築するのを助けたスタートアップ

マイクロソフトの新しいフライトシミュレーターは、このジャンルに新しい基準を設定する技術的な驚異です。 MicrosoftとAsoboStudiosは、多くのパートナーの協力を得て、適切な場所に何十億もの建物があり、現実的で生きているように見える世界を再現しました。



そのうちの1つは、グラズ市の小さなオーストリアのスタートアップBlackshark.aiで、約50人の従業員で、人工知能と巨大なクラウドコンピューティングリソースを使用して世界中のすべての都市を再現することができました。



新しいFlightSimulatorのリリース前に、Blacksharkの共同創設者兼CEOのMichael Patzと会い、Microsoftとのパートナーシップと彼の会社の将来について話し合いました。





Blacksharkは、World of Tanks：Frontline、Motocross Madness、およびStokedスノーボードシリーズを開発したゲームスタジオBongfishの派生物です。同社がBlacksharkを作成したのはStokedのおかげだとPatz氏は言います。



「2007年に開発した最初のゲームの1つは、Stoked and S Stoked BiggerEditionと呼ばれるスノーボードゲームでした。これは、360度の山をシミュレートした最初のゲームの1つでした。プレーヤーは、ヘリコプターで山を飛び回り、どこにでも着陸して、転がることができました。山自体は手続き的に作成され、記述され、植物、他のスノーボーダー、小動物の形の障害物が配置されました。次に、レース、シューター、カーコントロールのジャンルに移りましたが、手順の配置とオブジェクトの説明のアイデアを忘れませんでした。」



Bongfishは、World of Tanksの作業中にこのアイデアに戻りました。これは、各石を手で配置して巨大なマップを作成するのが非常に遅いためです。



その経験を利用して、Bongfishは独自のAI開発部門の構築を開始しました。この部門は、一連の機械学習技術を使用して、設計者がマップを作成する方法を学習し、時間の経過とともにマップを独自に作成できるシステムを構築しました。同社はすでにいくつかのプロジェクトでこのシステムの使用を開始しており、その後マイクロソフトから連絡がありました。





「まったく偶然に、新しいフライトシミュレーターを手伝ってくれるスタジオを探しているマイクロソフトの人々に会いました。 Flight Simulatorの背後にある主なアイデアは、Bing Mapsを競技場、地図、背景として使用することでした」とPatz氏は言います。



しかし、Bing Mapsの写真測量データは、わずか400の都市の正確なレプリカを作成することができ、地球のほとんどの地域では、そのようなデータは存在しませんでした。 MicrosoftとAsoboStudiosは、他のすべてを構築するためのシステムを必要としていました。



Blacksharkが引き継いだのはその時でした。 Flight Simulatorの場合、スタジオは2D衛星画像から15億の建物を再現しました。



Patzは偶然にMicrosoftの人々に会ったと言いましたが、GrazにはかつてBingMapsの最初のカメラと3Dバージョンを開発したBingMaps部門があったことを付け加える価値があります。そして、Google Mapsが市場を引き継いだ一方で、BingMapsは実際には3DでGoogleを上回りました。その後、マイクロソフトはグラズに研究センターを開設し、閉鎖後、地元の才能がアマゾンや他の企業によって密猟されました。



「したがって、「屋根の再建におけるPhD」のような要件を持つポジションにいる人々を見つけるのは非常に簡単でした」とPatz氏は言います。「そのようなものが存在することすら知りませんでしたが、まさにそれが私たちに必要なものであり、2人のそのような人々を見つけました。」



「2Dマップから3Dビルを再作成することが難しい理由は簡単にわかります。建物の正確な輪郭を定義することさえ簡単ではありません。」





「基本的に、Flight Simulatorで次のタスクを実行しました。2Dエリアを調査し、その上の建物の兆候を探しました。これは、コンピュータービジョンのタスクです」とPatz氏は言います。 「しかし、建物が木の影で隠されている場合は、機械学習が必要です。影のオーバーレイにより、建物の一部が不明確になるためです...機械学習により、建物の残りの部分を復元できます。そして、これは別の非常に単純な例です。」



Blacksharkは、写真、センサーデータ、既存のマップデータなど、他のデータを使用した可能性がありますが、Blacksharkは、非常に限られた情報から建物の高さやその他の特性を決定する必要がありました。



次の明らかな問題は、建物の高さを決定することです。 GISデータが利用できる場合、このタスクは簡単に解決できますが、世界のほとんどの地域では、そのようなデータが存在しないか、取得するのが容易ではありませんでした。そのような場合、チームは2D画像を撮影し、その上にある影などのさまざまな手がかりを調査しました。ただし、影から建物の高さを判断するには、時刻を知る必要があり、Bingマップの画像にはタイムスタンプが付けられていません。他のケースでは、Blacksharkがそれらを持っていたため、作業が大幅に簡素化されました。ここで、機械学習が再び助けになります。





「機械学習はわずかに異なる道をたどります」とPatzは説明します。「影も考慮に入れていますが、それは単なる暗い図であるため、どのように動作するかはわかりません。ただし、たとえば超高層ビルとショッピングモールを比較すると、平らな屋根を見ると、超高層ビルの屋根の設備はショッピングモールの設備とは異なります。したがって、建物にタグを付けることで、AIの学習を支援します。」



このエリアのショッピングモールの平均高さが通常3etaeaであることをシステムが認識している場合は、それで機能します。



Blacksharkは、そのシステムが間違いを犯すことを隠していません。FlightSimulatorを購入すると、ゲーム内の建物の配置にエラーがあることがわかります。Patzは、このプロジェクトの最大の課題の1つは、開発パートナーとMicrosoftにこのアプローチを許可するよう説得することであると私に知らせました。



「私たちは15億の建物について話している。この規模では、従来の品質管理に頼ることはできなくなります。 Haloレベルのゲームの従来のアプローチでは、指を指して「このピクセルは不良です。修正してください」と言いますが、統計ベースのAI開発を行っている場合は機能しません。建物の20％が誤って作成されたことが判明する可能性があります。これは、おそらくFlightSimulatorの場合です。しかし、15億の建物のモデリングをアウトソーシングすることは、ロジスティック的にも財政的にも不可能であるため、この問題を解決することはできませんでした。」



時間の経過とともに、このシステムは改善され、MicrosoftがAzureから大量のデータをストリーミングすることで、ユーザーは確実に変更を確認できるようになります。





ただし、マークアップは単にスタジオチームがモデルをトレーニングする方法であり、Blacksharkはこの分野で多くの進歩を遂げました。 Patzは、同社の秘密のノウハウの一部であるため、詳細には触れません。そのおかげで、わずか50人の労力でこのような大量の作業を実行することができました。



「データラベルはパートナーにとって優先事項ではありませんでした」と彼は言います。 「したがって、私たちは生きているマーキングシステムを使用し、基本的に地球全体を2、3人の力でマーキングしました。これにより、データアナリストは非常に強力なツールとユーザーインターフェイスを利用できます。たとえば、アナリストが船を検出したい場合、アナリストは学習アルゴリズムに船が何であるかを伝え、出力でサンプリングされた画像で見つかった船を即座に受信します。」



出力に基づいて、アナリストはアルゴリズムをトレーニングして、特定のオブジェクト（この例では、Flight Simulatorの船やショッピングモール）をより適切に認識することができます。Patzは、他の地理空間分析会社は特定のニッチに焦点を合わせる傾向があり、Blacksharkのツールは分析されるコンテンツのタイプに依存しないと言います。





ここで、Blacksharkのより広いビジョンが役立ちます。同社は現在、マイクロソフトとの協力で称賛を受けているため、たとえば自律運転をシミュレートするために、都市モデルを改造している他の企業とも提携しています。



「私たちのより大きな目標は、私たちの惑星、特に惑星の表面のほぼリアルタイムのデジタルツインを作成することです。これにより、GoogleEarthやAppleMapsなどの従来の写真測量が役に立たない場合に、データをさまざまな方法で使用できるようになります。これは、単純な幾何学的形状に重ね合わせた写真のレベルに単純化されるためです。これを行うために、処理ループがあります。航空画像から探索情報を抽出します。これは、2D画像または3Dポイントのセットである場合もあります。その後、セマンティクスを視覚化します。」



建物を詳細に説明するこのセマンティクスには、写真測量に比べて1つの大きな利点があります。実際、影と照明に関する情報が写真に焼き付けられているため、さまざまな照明を現実的に重ね合わせることが困難です。 Blacksharkは自分が作成している建物についてすべてを知っているので、それらの建物に窓や照明を適用できます。これにより、FlightSimulatorで驚くほどリアルな夜のシーンが作成されます。



Flight Simulatorで使用されていないポイントクラウドは、Blacksharkが現在積極的に追求しているもう1つの領域です。ポイントクラウドは、特に近づいた場合、人々が読むのが非常に困難です。 Blacksharkは、AIシステムを使用してポイントクラウドを分析し、建物のフロア数を決定します。



「私たちの会社全体の中心にあるのは、タスクを達成するために多大な技術的利点が必要であるという理解です。これは、Assassin's CreedやGTAのような大規模なプロジェクトが可能性の限界に直面しているビデオゲーム業界に特に当てはまります。何千人もの人々がそれらに取り組んでおり、この作業を完成品に変えながら、大陸間でスケーリングおよび調整することは非常に困難です。このようなタスクを解決するには、より自動化された、または部分的に自動化されたプロセスが必要であることは明らかでした。」



Blacksharkはゲーム会社として設立され、現在はMicrosoftおよびAsobo Studiosと提携していますが、その主な焦点はゲームではなく、自律運転や地理データ分析などの分野です。 Patzは、この開発のもう1つの良い例は、元々はゲームエンジンのみでしたが、現在はどこでも使用されているUnrealEngineであると述べています。



「ゲーム業界では長い間、この状況は非常に刺激的です。ゲームを開発すると、革新的なテクノロジーを他の業界と比較できることに気付くからです」とPatz氏は言います。「そして、軍隊から産業まで、シミュレーターを見ると、レーシングゲームと比較して常に足が不自由に見えました。今こそ、ゲーム技術がゲーム業界から抜け出し、他のすべての業界を支援し始める時です。Blacksharkはこれを行う方法の一例だと思います。」