「サーシャは高速道路を歩いた」、「言う：rrrrryba」、「カッコウカッコウ...」-そうです、子供時代に私たち全員を傷つけたこれらのフレーズは知っていますか？それは、形のない望ましい結果をもたらした両親のある種の終わりのない実験であり、そして最も重要なことに、彼らの子供が言語障害で成長していることを恐れています。
ねえ！私の名前はDimaPukhovです。Cleverbotsのテクニカルディレクターです。チャットボットに音声の欠陥を認識し、AI言語聴覚士の診断で80％の精度を達成する方法を教えた方法をお話ししたいと思います。
問題
スピーチセラピストによると、2人に1人の学生が発音に問題を抱えています。それらは早い段階で取り除くことができますが、多くの場合、困難は子供時代に起因し、言語障害が明らかになると、それらを修正することは困難です。したがって、スペクトログラムは、リモート一次診断のサービスとして、問題の発生と悪化を防ぎ、専門家の介入が必要な場合に信号を送ることができます。
昨年、製薬会社Geropharmは、認知発達に関する恐怖や固定観念と戦うために、PRO.MOZGポータルを立ち上げました。このポータルでは、脳の働き、病気の「働き」、体が変わる。さらに、このサイトにはスペクトログラムがあります。これは、親が子供をゲーム形式でテストし、子供に発話障害があるかどうかを判断するのに役立つサービスです。
サービスについて簡単に
ユーザーの場合、スペクトログラムインターフェイスはチャットボットの形式で実装され、Webサイトのウィジェットとして組み込まれています。テストは遊び心のある方法で行われます。親の指導の下で、子供は提案されたフレーズを発音し、音声メッセージの形式でボットに送信する必要があります。MLモデルは、フレーズが発音されているかどうかを自動的に判断します。欠陥あり。
少し後退して、最初はどうだったかを覚えておくことが重要です。
同様のサービスを導入する最初の段階では、すべての質問票が言語聴覚士に送られ、それぞれが子供の言語能力が年齢と一致するかどうかを聞いて評価する必要があり、専門家の意見が与えられ、システムの対応するマークが必要ですセットする。そして、これはアンケートごとに10以上のエントリです。
, , , , .
– . . .
– . , , . .
–
:
, - (MFCC). feature engineering;
;
Deep Learning, , speech2text. , , , ;
. , Yandex, Google, AWS , speech2text , , .
, , – .
, :
;
( );
;
.
, – , .
. , , / .
(, ) 3Sigma - . , , / .
.
spectral & rhythm features librosa , . PCA , 0.99 ROC_AUC.
, speech2text. : Yandex, Google, Amazon. , , : , speech2text , .
... , , , . , , , . ( ). , – timestamp .
– spectral & rhythm features librosa, tsfresh PCA ( ). : ROC_AUC 0.85, – , .
( 52 ; <100 ). – , .
– . onset_detection, , . balanced_accuracy_score, 0.80, .
, , . – DTW Audio Fingerprinting. , , , , .
production
Python;
Kafka – ;
Django .
, , . , , .
. , , : , . , , , , .
( , , ~10 ) , «» , – . , , . , . , .
, , , , -, – 80% . -, : .
将来的には、診断への参加が必要なヒューマンインザループモデルから、再トレーニングされたモデルによるプロセスの完全な自動化への完全な移行が計画されています。