今日は、スマートフォンに3Dセンサーが必要な理由とその仕組みについて説明します。もちろん、いくつかのテストを実施し、メーカーの声明を確認します。
3Dセンサー（深度センサー）とは
まず、それを理解しましょう、3Dセンサーとは何ですか？カメラは、周囲の世界の平面への投影をキャプチャします。写真だけでは、オブジェクトの実際のサイズを理解することはできません-それがボトルのサイズであるか、ピサの傾いた塔であるかどうか。そして、それまでの距離もわかりにくいです。
写真に写っている物体の実際のサイズ、撮影のスケールを理解し、カメラに近いものと次にあるものを区別するには、3Dセンサーが必要です。それらは長い間、ロボット工学、自律輸送、ゲーム、医学および他の多くの場所で積極的に使用されてきました。さらに、私たちの目も3Dセンサーです。同時に、スマートフォンのLiDARおよびToFセンサーとは異なり、目はパッシブ3Dセンサーです。つまり、発光はなく、入射光に基づいてのみ機能します。これのおかげで、私たちはどういうわけか宇宙を移動し、周囲の物体と相互作用することができます。現在、3Dセンサーがスマートフォンに登場しています。
ToFはどのように機能しますか？
iPadのLiDAR、およびAndroidスマートフォンのすべての3Dセンサーは、飛行時間または略してToFセンサーです。それらは周囲の物体までの距離を決定し、光がカメラから物体に移動して戻ってくるまでにかかる時間を直接測定します。これは洞窟のエコーと非常によく似ており、壁から反射された後、遅れて戻ってきます。 1メートルの光を飛ばすのに3ナノ秒、1cmの場合は30ピコ秒かかります。すべてが明確なようです。しかし、問題があります。
これらは非常に小さな間隔です。カメラはこれをどのように測定できますか？彼女は毎秒10億フレームを取り、それからそれらを比較しませんか？この問題を解決するには、dToF（直接ToF）とiToF（間接ToF）の2つの主要なアプローチがあります。さらに興味をそそるのは、Androidスマートフォンの大部分がiToFセンサーのみを使用しているのに対し、Apple iPadおよび今後のiPhoneのLiDARは、dToFセンサーファミリーのまれな代表です。では、それらはどのように違うのでしょうか？
iToF-間接ToF
iToFから始めましょう。このようなセンサーでは、エミッターは高周波変調光を送信します。つまり、この光は1秒間に数千万回の周波数で絶えずオン/オフされます。光が物体に飛んで戻ってくるまでに時間がかかるため、位相、つまりこの状態はオンとオフの間のどこかにあり、カメラに戻った光は送信時の光の位相とわずかに異なります。センサー上では、物体からの元の信号と反射された後方信号が重なり合っているため、位相シフトが決定され、物体の各点までの距離がわかります。
dToF-直接ToF
dToFの動作は少し異なります。これらのセンサーは、光を送信してからセンサーでの反射を検出するまでの時間差を直接測定します。このために、いわゆるSPAD：単一光子アバランシェダイオードが使用されます。彼らは非常に小さな光のパルスを検出することができ、実際、単一の光子を捕らえることさえできます。これらのSPADは、センサーの各ピクセルに配置されています。そして、そのようなセンサーのエミッターとして、原則として、いわゆるVCSEL-垂直キャビティ、表面発光レーザーが使用されます。これは、レーザーマウスや他の多くの場所で使用されているものと同様のレーザーエミッターです。 LiDARのdToFセンサーは、ソニーと共同で開発された、最初の大量生産された商用dToFセンサーです。
iPadがdToFセンサーを使用する理由は誰もが推測できますが、そのようなセンサーの利点を強調しましょう。まず、iToFセンサーとは異なり、エミッターは固体の光の壁を放射せず、別々の方向にのみ光るので、バッテリーの寿命を節約します。第2に、dToFセンサーは、いわゆるマルチパス干渉による深度測定のエラーが発生しにくいです。これは、iToFセンサーの一般的な問題です。これは、オブジェクトがセンサーに入る前にオブジェクト間で光が反射し、センサーの測定値が歪むために発生します。
それがどのように機能するか、私たちはそれを理解しました。それでは、なぜ3Dセンサーがスマートフォンで使用されているのかを見てみましょう。
なぜスマートフォンで必要なのですか
1.安全性
AppleとFaceIDテクノロジーにより、スマートフォンに3Dセンサーが初めて大規模に導入されました。3次元データを使用した顔認識は、写真からの従来の顔認識よりもはるかに正確で信頼性があります。Face IDの場合、Appleは構造化照明テクノロジーを使用しています。これについては、次回より詳しく説明します。
2. AR
ほとんどのメーカーは、より優れた、より正確な拡張リアリティモードが3Dセンサーの主なタスクであると主張しています。さらに、Googleによって直接サポートされています。つい最近、彼らはARCore拡張現実ライブラリの今後のアップデートを発表しました。これにより、仮想オブジェクトをより現実的に配置し、実際のオブジェクトと対話できるようになります。
同じタスクのために、AppleはLiDARをiPadProに組み込んでいます。これは3Dセンサーなしで実行できますが、3Dセンサーを使用すると、すべてがより正確かつ確実に機能し、さらにタスクが計算上はるかに簡単になり、プロセッサーが解放されます。3DセンサーはARを別のレベルに引き上げます。
3.写真の強調
SamsungやHUAWEIなどの多くのメーカーは、3Dセンサーは主に、ビデオ撮影時の背景のぼかしとオートフォーカスの精度を高めるために使用されていると述べています。つまり、通常の写真やビデオの品質を向上させることができます。
4.その他
一部のスマートフォンはセンサーデータにオープンアクセスできるため、新しいアプリケーションを提供するアプリケーションがますます増えています。したがって、たとえば、外部アプリケーションの助けを借りて、3Dセンサーをオブジェクト測定、3Dスキャン、およびモーショントラッキングに使用できます。スマートフォンからナイトビジョンデバイスを作成できるアプリケーションもあります。
テスト
理論的にはどのように機能するのかを理解し、実際にどのように機能するのか、そしてフラッグシップにあるこれらの高価な3Dセンサーから何か意味があるかどうかを見てみましょう。テストでは、Redmi Note 9Sを使用しました。これには、ToFセンサーがあり、ポートレートモードで数枚の写真を撮影しましたが、2番目のケースでは、3Dカメラを指で覆っただけです。そして、これが起こったことです。 それは簡単です-ToFが機能する場合、ブラーは本当に大きく、より良くなります。 また、実験の頻度として、ToFカメラも搭載されているSamsung Galaxy S20Ultraを使用しました。 そして、少なくとも1つの違いを見つけますか？ 何が起こるのですか？事実、メーカーによって、ToFカメラはさまざまな方法でさまざまな程度で使用されています。
一部のスマートフォンメーカーは、マーケティング用ではなく、別のカメラを追加するために、念のためにスマートフォンにToFセンサーを配置していると言えます。そして、アルゴリズムはこのカメラを使用するかどうかを決定しますか？ 同時に、現時点ではLiDARまたはToFカメラは必要ありません。したがって、これはおそらくもう少しマーケティングです。
