英国の科学者は、仮想サイン言語インタープリターを使用して、話し言葉をビデオに変換するようにAIをトレーニングしました。アルゴリズムは独立して作業の質を評価します。ニューラルネットワークは、部分的または完全な難聴の人々がコンテンツの認識を改善し、公開イベントでより自由に感じるのに役立ちます。
主要なコミュニケーション手段としてサイン言語を使用している聴覚障害者や難聴者は、世界中に数千万人います。一方では、オンラインの世界では、聴覚障害者のためのコミュニケーションの問題は、字幕の助けを借りて解決されます。しかし一方で、今人気のあるウェビナー、ストリーム、その他のコンテンツは、リアルタイムでサイン言語に翻訳する必要があります。科学者たちはこの問題を長い間研究し、解決策を探してきました。
研究者たちは現在、ニューロテクノロジーに目を向けています。で、サリーの大学、開発者は、新世代の手話翻訳アルゴリズムを作成しました。AIは、話し言葉を人間の骨格の動きに変換します。次に、スケルトンに人間の形が与えられ、リアルな映像が作成されます。テクノロジーの助けを借りて、ビデオはテキストからも作成できます。
なぜそのような困難があり、なぜ骨格全体の動きが重要なのですか？サイン言語は、手のサインだけでなく、体のすべての部分、さらには顔の表情も含みます。以前のテクノロジーでは、ぼやけたモデルが生成されることが多く、その結果、仮想サイン言語インタープリターの意味が歪んだり、誤解されたりすることがありました。
写真：ru.freepik.com
新しいニューラルネットワークのしくみ
アルゴリズムは次のことに基づいています。受信信号は音声の形式で送信され、人間の骨格の概略モデルに変換され、適切なジェスチャーで音声が再生されます。次に、ポーズのシーケンスがU-Net畳み込みニューラルネットワークに送られます。ウェブは動きやポーズをリアルなビデオに変換します。
仮想サイン言語インタープリターのアルゴリズム
高い結果を達成するために、科学者は実際のサイン言語インタープリターのビデオを使用してニューラルネットワークをトレーニングしました。
得られたモデルを評価するために、開発者はボランティアと実験を行いました。そこで彼らは、新しい方法を以前に使用された他の音声変換方法と比較するように依頼しました。46人のうち、13人はサイン言語を話していました。比較は4つのパラメーターに従って実行され、それぞれの新しいアルゴリズムの品質は以前のバージョンを上回りました。
ボランティアに関する研究の結果
イギリスの科学者だけでなく
研究者たちは世紀の初めからサイン言語の翻訳に取り組んできました。最も有名な製品の1つは、IBMのアニメーション仮想トランスレータです。しかし、プロジェクトは開発されませんでした。数年後、彼はノボシビルスクに生まれ変わりました。Novosibirsk Academgorodokの科学者によって発明されたこのプログラムは、音声を認識し、意味を分析して、記号言語に変換します。次に、アバターは画面にテキストを表示します。
Novosibirsk開発者によるアニメーションサイン言語トランスレータ
当時、この開発はGoogleTranslatorと同じくらい人気があると考えられていました。今、あなたがのためにAdaptisアプリケーションでプログラムをテストすることができAppStoreのやグーグルプレイ。
AppStoreのAdaptisAppのスクリーンショット
数年前、ベルギーの科学者は、サイン言語の通訳としても機能するArduinoを搭載した3Dハンドを印刷しました。プロジェクトはASLANと名付けられました。アームは25個の個別のPLAプラスチック部品で構成されていました。将来的には、感情を伝えるために別の手とロボットの顔を追加する予定でした。
サイン言語から私たちが慣れている言語への翻訳も大きな困難を伴います。管理問題研究所のロシアの科学者。 V.A.ロシア科学アカデミー（IPU RAS）のTrapeznikov Institute of Control Sciencesは、数年前にそのようなAIの開発を開始しました。将来、彼はジェスチャーを単語、フレーズ、文字に翻訳するのを手伝うことになっていた。その後、科学者たちは、アルゴリズムの作成に1年以上かかる可能性があると報告しました。
写真：ru.freepik.com
ロシアのプログラムは、ロシア科学アカデミーの制御科学研究所の聴覚障害のある従業員によって作成されたサイトに基づいています。彼女はSurdoserverのWebサイトを数年間開発しています。同時に、ロシアの科学者たちは、聴覚障害者による情報交換のためのモバイルアプリケーション「Surdoservice」と聴覚障害者クラウドに取り組んでいると報告されました。
