こんにちは！2学期には、サンクトペテルブルクHSEの応用数学および情報学プログラムの1年生全員が、C ++でチームプロジェクトを行います。スマートなTシャツを開発してきました。



この記事で、それが何であるか、そしてプロジェクトの作業中に何ができたかについて読んでください。





私たちDenisTarasovとDenisFilippovは、すでにサンクトペテルブルクHSEの応用数学と情報学の2年生です。私たちはYanFreidkinとIvanChunarevと一緒にプロジェクトに取り組みました。私たちは同じ学校、サンクトペテルブルクGFML No. 30で彼らと一緒に勉強しました。



11年生で、ヤンとイワンはロボットプロジェクト「スマートTシャツ」（最初の写真にあります）を持っていました。アイデアはこれです：Tシャツが取られ、それにさまざまなセンサー（加速度計、ジャイロスコープなど）が取り付けられています。正しい姿勢など、読み取ったデータから判断できる指標もあります。彼らは何とかいくつかの会議に参加し、卒業後もプロジェクトに取り組み続けるつもりでしたが、プログラマーが必要であることに気づきました。実はここにあります。



JanとIvanのTシャツは、ECGを読み取り、正しい姿勢を追跡できました。このために、古いAVRマイクロプロセッサを備えた開発プラットフォームであるArduinoUNOが使用されました。すぐに、彼らはコードメモリを使い果たしました。プロジェクトの作業の新しい段階で、マイクロシステムにさらに厳しい要件を課す必要があることに気づきました。 

• より多くのセンサーを接続するには、より高い周波数、より多くの周辺機器、より高速な周辺機器を備えたプロセッサーが必要でした。
• より多くのフラッシュメモリ、RAM;
• より低いコストで;
• マイクロプロセッサの安定性。

マイクロシステムを変更する必要があると判断しました。 2つのオプションがありました。より強力なAVRシリーズマイクロコントローラー（この場合はArduino）を使用するか、別のシリーズのマイクロコンピューター、つまりARM（この場合はSTM32）に切り替えます。大規模なArduinoコミュニティとこのマイクロシステムの使いやすさにもかかわらず、パフォーマンスとメモリが優れているため、STM32にアップグレードすることにしました。現在、STM32f4 *マイクロシステムを使用しています。





過去の学期では、人の姿勢とその処理に関する情報の受信を実現することを目標に設定しました。プロジェクトの計画は次のとおりです。Tシャツ、加速度計、ジャイロスコープが取り付けられており、それを利用してねじれの角度を取得します。センサーから受信したデータはマイクロコンピューターに送信されます。そこで処理され、必要に応じて振動モーターに電圧が印加され、人がまっすぐになるように刺激します。 Androidアプリケーションを使用して、姿勢処理のオンとオフを切り替え、Tシャツをユーザーにリンクします。ただし、一般的に、Tシャツはスマートフォンにアクセスしなくても機能します。アプリケーションで姿勢処理をオンにし、電話を家に置いたまま、Tシャツを着て散歩することができます。この場合、データはマイクロコンピュータで処理され、位置が正しくないと振動モーターがオンになります。

最初のステップ。LEDが点灯

マイクロシステムのプログラミングの経験はなく、STMでセンサーとピンを初期化して宣言するのは長くて難しいことを読みました。したがって、HALライブラリとSTM32CubeMXを使用して高レベルの抽象化を使用しました。STM32CubeMXは、グラフィカルインターフェイスを使用してマイクロプロセッサポートを構成し、HALライブラリを使用して適切なコードを生成するツールです。まず、マイクロプロセッサプログラミングで最も基本的なこと（「ハローワールド」レベル）を実行することにしました。これにより、LEDが点灯します。





STM32CubeMXインタフェースは、



開発が無料で簡単にクロスプラットフォーム、だろうIDEのための長い検索の後、我々はに落ち着いSTM32CubeIDE。 







インターネット上のSTM32プログラミングに関する情報がかなりあるため（特にArduinoと比較して）、LEDをオンにするタスクは最も簡単なタスクではないことが判明しました。将来的には、この要因もプロジェクトの作業を複雑にしました。

マイクロコントローラーファームウェア

LEDの点灯方法を学び、マイクロシステムの一般的なプログラミング方法を理解した後、マイクロコンピューターのファームウェアの基礎を書き始めました。これに基づいて、将来さまざまな機能を追加できます。まず、センサーを初期化し、センサーから情報を受け取る方法を学ぶ必要がありました。センサーからは、ジャイロスコープと加速度計というIMUセンサーにしか到達できませんでした。MPU-6050センサーがありました。 





マイクロメータとの通信は、I2Cバスを介して行われます。HALライブラリのおかげで、データ転送は簡単です。読み取り/書き込みを行うには関数を呼び出す必要があります。コードから加速度計からデータを読み取る例：

HAL_I2C_Mem_Read(i2c_handle, addres, ACCEL_XOUT_H_REG, 1, buffer, 6, 1000)

この関数は、目的のバスのハンドラー、その上のセンサーのアドレス、読み取る必要のあるレジスター（レジスターはセンサーのドキュメントに書き込まれます）、レジスターのサイズ、書き込み用のバッファー、バッファーのサイズ、およびタイムアウト（応答の待機に費やされる時間）をミリ秒単位で受け取ります。録音機能にも同様の特徴があります。ジャイロスコープの測定範囲の設定例：

HAL_I2C_Mem_Write(i2c_handle, addres, GYRO_CONFIG_RE	G, 1, &Data, 1, 1000)

Bluetoothモジュール（HC-05およびHC-06）もありましたが、特別な操作は必要ありませんでした。接続後、ユニバーサル非同期トランシーバー（UART）を介してデータを送信できます。これは、他のデバイスとの通信を可能にするマイクロコンピューター内の特別なデバイスです。そのために、HALはI2Cと同様の機能を提供します。デバッグ中にメッセージを表示しやすくするために、それらの上に小さなラッパーを作成しました。





HC-06



次に、センサーを初期化し、メインプログラムループを開始し、アプリケーションからの要求を処理するControllerクラスを作成しました。リクエストはキューに保存され、Bluetooth経由で受信され、割り込みメカニズムを使用して受信されます。割り込みは、ソフトウェアまたはハードウェアからの信号であり、即時の対応が必要なイベントの発生についてプロセッサに通知します。割り込みメカニズムは、とりわけ、重要なイベントに対するシステムの迅速な応答のために必要です。 



コントローラは、基本クラスBaseFuncを使用してTシャツ関数のリストも保持します。現時点ではポスチャ処理しかありませんが、将来、新しい機能を追加するときは、子孫クラスを作成して関数のリストに追加するだけで十分です。コントローラは次のようになります。

class Controller {
std::vector<std::unique_ptr<IMU>> IMUSensors;  //  
std::queue<Request> reqQueue; //  
std::vector<std::pair<std::unique_ptr<BaseFunc>, bool>> mithrilFuncs; //   
//< ,   >
Controller();
void Run(); //   
};

また、IMUセンサーからねじれ角を取得するには、特別なフィルターを追加する必要がありました。これは、加速度計とジャイロスコープからのデータに従って、正しい偏向角を提供します。十分に効率的で実装が簡単なため、補完フィルターを使用することにしました。このフィルターを実装するとき、クォータニオンの数学を書きました。ベクトルを使用することは可能でしたが、テストした別のフィルターでクォータニオンが必要だったため、現在はクォータニオンを使用しています。

プロトタイプには何がありますか

マイクロ波のプログラミングを理解し、そのファームウェアの基本を書いた後、姿勢処理を開始できるTシャツのプロトタイプが必要でした。そしてコロナウイルスが介入しました... 



パンデミックのため、私たちは4人でTシャツに会って作業することができなくなり、実際にはJanとIvanに行く機会がなかったので、プロトタイプに問題が発生した場合はすぐに解決できました。JanとIvanは、ワイヤーを引っ張ることでセンサーを配置できるTシャツのプロトタイプを開発しました。これにより、センサーの重量と張力が測定値に影響を与えないようになります。彼らは私とデニスにTシャツのコピーと電気テープ、ワイヤーなどを送ってくれたので、私たち自身が起こりうる故障をなくすことができました。 

Androidアプリ

私たちは、Bluetoothを介してマイクロプロセッサと通信する機能を備えたAndroidアプリケーションを作成するという目標を設定しました。マイクロプロセッサのプログラミングの場合と同様に、Android用のアプリケーションを作成した経験はありませんでしたが、Androidに関する情報を見つけるのはSTM32よりもはるかに簡単であることがわかりました。Stepik.orgのコース（コースは本当に良いです）を使用して基本を学びました  。ここでは、最初にKotlin言語の基本を分析し、次にAndroidのプログラミングについて説明します。 



アプリケーションの最初のバージョンでは、Bluetoothを介してマイクロコントローラーに接続し、それにメッセージを送信することができました。最新バージョンは最初のバージョンと大差ありません（アプリケーションの作成は私たちにとって優先事項ではありませんでした）：キャリブレーションを開始し、正しい姿勢を追跡する機能をオン/オフするためのウィジェットが追加されました。 



アプリケーションの最初の動作バージョンを作成するのに約6時間かかりました。私たちは、理論の研究により多くの時間を費やしました。このような単純なアプリケーションのコードは約400行かかりましたが、これは嬉しい驚きでした。さらに、確かにそれはよりコンパクトに書くことができます。 





ナビゲーションメニュー





 Bluetooth接続用





タブデータ交換用タブ

姿勢治療

姿勢を処理する2つの異なる方法を考え出しました。データ分析方法がある場合とない場合です。

データ分析技術を使用した姿勢治療

以前のバージョンでは、人の正しい姿勢について決定されたデータによると、Tシャツにはセンサーが1つしかありませんでした。それは、センサーの回転角度に依存していました。明らかに、背中の大部分の位置に関するデータがないため、このアプローチでは高精度を提供できません。私たちのバージョンには4つのセンサーがあります。それらの測定値をどのように解釈するかを理解することは非常に困難であったため、データ分析方法に頼ることにしました。プロトタイプの問題により、締め切りまでに多くのことが行われなかった。 



まず、データを自分で取り出しました。各センサーからのねじれ角と加速度計の読み取り値です。約2000回の測定値が得られました。約1000回の正と1000回の負です。センサーの構成は次のとおりです（2つのセンサーが肩甲骨にあり、2つが脊椎にあります）。





 

残念ながら、両方のプロトタイプで、4つのセンサーの1つに問題があったため、センサー番号3は使用されませんでした。それらを直感的に配置しました。肩の刃と首の近くの背骨の位置を追跡したかったのです。







2次元空間へのデータ投影。



ここでは、正しい姿勢の領域が緑色で強調表示され、誤った姿勢の領域が赤色で強調表示されています。三次元空間への投影では、正しい位置と間違った位置が簡単に分離されていることがわかります。 





次に、予測するモデルを選択する必要がありました。線形回帰、またはむしろそのリッジ修正、線形カーネルを備えたサポートベクトルマシン（SVM）、および決定ツリーを試すことにしました。選択は、モデルをマイクロプロセッサに転送するのが簡単であるためです。最初の2つは特定の数の係数で記述され、後者は一連のif-else条件です。モデルはscikit-learnライブラリから取得されました。線形回帰キャリーオーバーの例：

bool isPostureCorrect =
           (a11 * deviceAngles1[0] + a12 * deviceAngles1[1] + a13 * deviceAngles1[2] +
           g11 * deviceGravity1[0] + g12 * deviceGravity1[1] + g13 * deviceGravity1[2] +
           a21 * deviceAngles2[0] + a22 * deviceAngles2[1] + a23 * deviceAngles2[2] +
           g21 * deviceGravity2[0] + g22 * deviceGravity2[1] + g23 * deviceGravity2[2] +
           a41 * deviceAngles3[0] + a42 * deviceAngles3[1] + a43 * deviceAngles3[2] +
           g41 * deviceGravity3[0] + g42 * deviceGravity3[1] + g43 * deviceGravity3[2]) > bias;

値a ??、g ??、バイアスは、トレーニングされたモデルから取得されます。



テストサンプルのさまざまな構成のモデルの精度は、次の表に示されています。





テストサンプルサイズは、すべてのデータの33％でした。予測が適切すぎるため、このような高いレートはデータ量が少ないことが原因である可能性があります。



実際には、テストしたモデル（決定ツリーと一部の線形回帰構成）はあまりうまく機能しなかったため、より適切に動作するように少し調整する必要がありました。最高のリッジはツイストアングルで訓練されたものです。





決定ツリーの例。



パンデミックで、プロトタイプが2つしかないため、さまざまな人から大量のデータを収集できませんでした。これはモデルにとっては悪いことです。また、現在のソリューションでは、正しい姿勢を決定するために1つの測定値のみを使用していますが、これはもちろん十分ではありません。人は物をかがめるだけで、Tシャツが振動し始めます。このような問題を解決するには、一連の入力データから予測を行うモデルを試す必要がありますが、このようなモデルは、現在のソリューションのようにマイクロコンピューターに転送するのがより困難になります。

データ分析方法なしの逆姿勢

MLなしで姿勢を処理するために、姿勢に関する多くの医療記事を最初に研究する必要がありました。測定して標準と比較できる定量的特性に関する情報、つまり「通常の」値の範囲を知ることを本当に望んでいました。



私たちは多くの記事を研究しましたが、それらのほとんどは定量的特性を欠いているか、または特性を私たちが自由に使える手段で測定することができませんでした。私たちにとって有用であることが判明した記事は1つだけでした（ちなみに、人間の姿勢に関連する他の多くの研究がそれを参照しています）。それはさまざまな角度を説明し、その値を使用して正しい姿勢を決定することができます。





J. Canales et al（2010）による治療前（A）および治療後（B）の大うつ病性障害のある人々の姿勢スコア



残りは、これらの角度を測定することだけです。測定するには、いくつかの関数を使用して脊椎の通常の位置を概算し、グラフ上の必要なポイントを取得して、それらからさまざまな角度の値を検索できます。 







センサー構成



センサーは背骨に沿って配置されています。それらが配置されているポイントで、接線の傾斜角を取得できるため、導関数の値（接線の傾斜角の接線に等しい）を見つけることができます。背骨が曲がると、点の座標は常に変化します。このため、例えばエルミート補間を適用することは不可能です。この場合、曲線に沿ったポイント間の距離は既知であり、物理的に測定できます。最初は、このデータを使用して、たとえば多項式などの滑らかな関数を見つけようとしました。しかし、第一に、これは導関数が知られているより多くのポイントを必要とし、第二に、問題は数学的および計算の観点から非常に単純ではありません。したがって、開発のこの段階では、ピースワイズ線形関数を使用して脊椎を近似することが決定されました。





その結果、測定しようとした2つの角度（記事の画像の角度3と4）のうち、1つは正しく測定され、もう1つは正しく測定されませんでした。角度3の値は、記事に示されている通常の値と一致しています。角度4は、設計上の特徴のために測定が不十分でした。おそらく、問題はTシャツが体にぴったりとフィットしない場所があるという事実にあります。そのため、接線の傾斜角度が正しく計算されません。

デモビデオ

Tシャツとアプリの動作のデモビデオは次のとおりです。





姿勢処理が最初に始まり、次に校正が始まり、次に正しい姿勢に関するメッセージが届き始めます。

結論

その結果、姿勢を2つの方法で処理し、Android向けのプログラミングを処理し、Android向けのアプリケーションを作成し、同時にSTM32マイクロコンピューターのプログラミングについて少し理解することができました。



もちろん、私たちのシャツは完成したとは言えませんが、これまでのところ、初年度の1学期に取り組んでいます。やるべきことはまだたくさんあり、来年も続ける予定です！



では、将来の計画について少し説明します。私たちが欲しい：

• 脊椎に関連する角度をより正確に測定する関数を使用して、脊椎の近似を調整します。
• 姿勢処理のためにさらにデータを収集します。現時点では、データは2人からのみ取得されており、プロトタイプはわずかに異なります。 
• 機能を拡張します。たとえば、心電図の記録を追加して、さまざまな病気や異常などを特定するために使用できるようにします。
• アプリケーションを改善する：その機能を拡張します。たとえば、統計を計算し、分析し、グラフを作成します。
• より市場性のある外観を持つTシャツのプロトタイプを作成します。現段階では、プロトタイプは機能のテストのみを目的としています。すぐに使えるTシャツをまとめたいです。

プロジェクトのgithubへのリンク：



github.com/DT6A/Mithrilマイクロプロセッサファームウェア、

github.com / DT6A / MithrilAppーandroidアプリケーション、

github.com / DT6A / MithrilDataーはデータを処理します。