会話中の唇だけでなく、キーボードの上で羽ばたく手でも読むことができます。したがって、ビデオ通話中に攻撃者が見た手の動きによって、従来のQWERTYキーボードで入力されたパスワードとコードワードを推測することができます。
アメリカの開発者は、キーボードで入力するユーザーの肩や腕の輪郭の動きを読み取り、分析して、入力した文字と比較できる特別なアルゴリズムを作成しました。次に、AIはおそらく入力された文字と数字のリストを準備します。これにより、たとえば、承認中に入力された文字を復元することができます。そして、これらすべて-ほぼリアルタイムで、ビデオ会議中に。
キーストロークの音でキーボードに入力された文字を判別する方法があります。これには、ターゲットPCへのアクセスが必要です。ただし、自然ノイズは知覚と分析に大きく干渉するため、この方法は不正確です。さらに、音響暗号解析は、低振幅のキーストロークを持つキーボードでは機能しません。
テキサス大学サンアントニオ校の開発者によって発明されたこのアルゴリズムは、入力の速度、手を使用する順序を考慮に入れ、手の動きを監視し、単語内の文字の推定数を計算します。アプリケーションの武器には、パスワードとして使用される最も人気のある単語の辞書が含まれています。研究者によると、ビデオ信号はオーディオよりも歪みが発生しにくいとのことです。
ビデオ分析およびデコードアルゴリズムは次のように機能します。
- .
- .
- .
- .
- : .
- .
- , .
研究者は、さまざまな条件下でアルゴリズムをテストしました。
あるケースでは、彼らは最も人気のある65,000の単語の辞書を使用し、選択の中で最も可能性の高い50の単語を配りました。精度は、使用するWebプラットフォームによって異なります。 Skypeに入力された最も正確な予測単語。同じ条件下で、これはズームより3.4％正確で、ハングアウトより8％正確であることがわかりました。
別のケースでは、彼らは4000語の辞書を取りました。しかし、入力された単語の75％は、200の最も可能性の高い単語のリストに含まれていました。
興味深いニュアンス：アルゴリズムの作業は、被験者の服に大きく依存しています。たとえば、素手を持つ人は攻撃を受けやすくなります。実験の参加者が袖なしの服を着ているときの入力された文字の認識精度は81.7％でしたが、長袖と半袖の場合はそれぞれ74.4％と73％でした。
キーボードの種類とキー間の距離は、入力スタイルと認識精度に影響します。しかし、結局のところ、これは正確さにとってそれほど重要ではありません。 LogitechキーボードはAnkerよりもかなり大きいですが、精度はほぼ同じです。
実験室でのテストに加えて、開発者は彼らの典型的な家庭環境で10人の参加者を観察しました：7人の男性と3人の女性。すべての参加者は、毎秒3.7クリックというほぼ同じ入力速度と86.7％のエラー率を持っていました。実験の純粋さのために、30分の通話時間、推奨される10分のPCアクティビティなど、いくつかの制限条件が導入されました。
実験の結果、自宅では、実験室の条件と同じように、全員がカメラの位置を使用しているわけではないことがわかりました。さらに、Webサイトの解像度が異なると、アルゴリズムによって生成される情報の精度に影響します。あるケースでは、髪が前腕領域を完全に覆い、アルゴリズムから分析能力を奪いました。したがって、一般的に、自分を守ることはそれほど難しくありません。
