サイクリストのためのスマートグローブ

プロジェクトの作者であるinstructables.comからの翻訳：Matlek



この記事では、サイクリストや道路を移動する他の人々の安全性を高めるように設計された「スマートグローブ」とそのLEDパネルを作成するプロセスについて詳しく説明します。まず、それがどのように機能するかについての小さなデモンストレーションを見ることができます。

使い方

グローブには、ジャイロスコープと加速度計からデータを収集するArduinoボードが含まれています。このコードは、「小さな機械学習」のtinyMLモデルを使用し、ジェスチャーを認識します。手のすべての動きが分析され、信号に変換されます（手は左、右、前、後ろなどに傾けられます）。信号は、Bluetooth（BLE）を介して、LEDマトリックスが接続されている別のマイクロコンピューターに送信されます（たとえば、バックパックに接続できます）。受信した信号に応じて、マトリックスは特定の文字シーケンスを出力します。これにより、他のライダーやサイクリストは、サイクリストが何をしようとしているのかを理解できます（たとえば、左、右、またはテキストへの矢印など）。

プロジェクトの起源

まず、自転車に乗って仕事をし、1日1時間以上サドルで過ごします（約22km走行）。いつも面白いですが、私はフランスで最も人口の多い都市の1つに住んでおり、車やサイクリストが関係する事故が頻繁に発生します。また、マルセイユはフランスでサイクリストにとって最悪の都市です-自転車道が切実に不足しています。したがって、このプロジェクトは、サイクリストの安全性を高めることと、この問題に市当局の注意を引くことの両方に取り組んでいます。



第二に、このプロジェクトは、運動のすべてのメンバーがお互いにコミュニケーションを取り、よりよく理解するのに役立ちます。私の見解では、道路で発生するトラブルのほとんどは、一部の道路利用者が他の人を誤解し、恐怖と攻撃をもたらしたという事実によるものです。このようなデバイスを使用して、トラフィック参加者がお互いをよりよく理解できるようにしたいと思います。矢印は方向を示しており、テキストを文字で表示することもできます（ただし、競合を避けるために、丁寧で建設的な碑文を完全かつ完全に推奨します）。

なぜスマートグローブ？

私は冬にプロジェクトの作業を開始しましたが、寒い天候のためにデバイスをグローブに取り付けるようになりました。しかし、私たちの地域では夏はかなり暑いので、アイデアがあまり良くないことにすぐに気づきました。そこで、デバイスを箱に入れて腕に固定するのが最善だと判断しました。しかし、名前の付け方がわからなかったので、タイトルに「グローブ」という言葉を残すことにしました。



「スマート」は、私がこのプロジェクトで使用した機械学習技術に由来します。

インスピレーション

このプロジェクトは基本的に、他の2つのプロジェクトを組み合わせたものです。私は最初から始めたのではなく、彼らのベストプラクティスを使用し、それをさらに発展させました。開発時に私がインスピレーションを得たものは次のとおりです。

• Arduino Nano 33 BLESENSEによるジェスチャー認識。
• 特定のプロジェクトではなく、サイクリストにLEDアレイを使用するというコンセプトです。そのようなプロジェクトはたくさんあります-統合されたパネルを備えたバックパックを使用するものもあれば、どこにでも配置できる既製のマトリックスを提供するものもあります。いずれにせよ、これらのLEDマトリックスは、ジェスチャー認識ではなく、リモートコントロールによって制御されます。

コンポーネント

3D印刷の場合-3Dプリンターまたは3Dプリンターへのアクセス。

エレクトロニクス

• Arduino Nano 33 BLE SENSE;
• BLEを備えた別のMI（Arduino Nano 33 BLE、Arduino 33 BLE SENSE、Arduino nano 33 IOT、ESP32など）。ESP32ボードを使用することにしました。
• LEDストリップ（WS2812B）。160個のLEDを使用して20x8マトリックスを作成しました。
• 3Vから5Vまでの4レベルバッファー：74AHCT125。
• コンデンサ1000uF。
• SPSTスイッチ、3個
• ブレッドボード。
• ワイヤー。
• バッテリー9V。
• 外部バッテリー。

• 3.
• -.

1: (, )

Arduinoと機械学習に関する記事を 読んだ後、私も試してみることにしました。最近、いくつかの新しいArduino Nanoボードが出てきたので、購入する前に最良の選択をするために比較プレートを作成しました。







すべてのボードは興味深いものですが、ジェスチャー認識に使用できるのはArduino Nano 33 BLESENSEの1つだけです。彼女だけが適切なセンサーとTensorflowLiteをサポートしています。もう1つの興味深い点は、Arduino Nano 33 IOT、BLE、およびBLE SENSEボードには独自のBluetoothがあるため、それらのいずれかをLEDマトリックスで使用してBLE信号を受信できることです。



ボードにロードされたコードは、開発中に見つけたさまざまなArduinoプログラムに基づいています。したがって、作業を開始する前に、見つけた例を使用してテストすることにしました。

BLEで遊ぼう

このプロジェクトでは、Bluetooth通信が重要です。これは、信号がセンサーからLEDアレイに送信される方法であるためです。それまでは、BLEを介して2つのArduinoボードを接続したことはありませんでした。そこで、ArduinoBLEライブラリの次の例を使って練習しました。

• Arduino Nano 33 BLE Senseボードで使用されるLedControlスケッチと、ピン2に接続されたプルアップ抵抗付きのボタン。この例では、UUID 19b10000-e8f2-537e-4f6c-d104768a1214のサービスが見つかるまで、BLEペリフェラルをポーリングします。それを検出して接続を確立した後、ボタンを押すことにより、周辺のBLELEDをリモート制御します。
• LEDおよびArduinoNano 33IoTのスケッチ。

残念ながら、LEDのスケッチには多くの問題がありました。ロード中に3つのボードが「壊れました」。何が問題なのかわかりませんが、ArduinoボードをBLE付きの別のMI（ESP32ボード）に交換することにしました。新しいボードでは、次のものを使用しました。

• BLE ESP32ARDUINOライブラリからのBLE_writeスケッチ。Arduino Nano 33 BLESENSEボードで動作するようにいくつかの変更を追加しました。ステップ10では、BLE_writeスケッチと私が作成してアップロードしたSmartglove_BLE_LED-matrixスケッチを比較できます。

内蔵のRGBLEDで遊んでみましょう

Arduino Nano 33 BLESENSEボードにRGBLEDが組み込まれていることをご存知ですか？このプロジェクトでは、ジェスチャー認識の正しい動作を確認するのに役立ちます。信号がLEDアレイに送信されたことを確認する必要がありますが、パネルはサイクリストの背面にある可能性が高いため、ジェスチャー認識が機能して信号が送信されたことをサイクリストが理解するのは困難です。



ここでは複雑なことは何もありませんでした。Blinkの例を少し調整しただけです。このコードは、赤色のLEDがピン22にあり、緑色がピン23にあり、青色がピン24にあることを示しています。入力信号LOWはLEDをオンにし、HIGH-はLEDをオフにします。

const int LED_BUILTIN_RED = 22;
const int LED_BUILTIN_GREEN = 23;
const int LED_BUILTIN_BLUE = 24;

//  setup        
void setup() {
  // initialize digital pin LED_BUILTIN as an output.
  pinMode(LED_BUILTIN_RED, OUTPUT);
  pinMode(LED_BUILTIN_GREEN, OUTPUT);
  pinMode(LED_BUILTIN_BLUE, OUTPUT);
}

//  loop  
void loop() {
  digitalWrite(LED_BUILTIN_RED, LOW);   //  LED (HIGH –  )
  delay(1000);                       //  
  digitalWrite(LED_BUILTIN_RED, HIGH);    //  LED,    LOW
  delay(1000);                       //   

digitalWrite(LED_BUILTIN_GREEN, LOW);   //  LED (HIGH –  )
  delay(1000);                       //  
  digitalWrite(LED_BUILTIN_GREEN, HIGH);    //  LED,    LOW
  delay(1000);   //  
  
  digitalWrite(LED_BUILTIN_BLUE, LOW);   //  LED (HIGH –  )
  delay(1000);                       //  
  digitalWrite(LED_BUILTIN_BLUE, HIGH);    //  LED,    LOW
  delay(1000);                       //  
}

ジェスチャー認識とtinyMLで遊んでみましょう

最後に、Arduinoでの機械学習の使用に関するチュートリアルを学び、ジェスチャー認識の例を使って練習しました。この例は、3つの主要な部分に分かれています。

• IMU_Captureプログラム（およびArduino Nano 33 BLEセンス）によるデータ認識。
• google colab（コンピューター上）に記録されたデータのモデルトレーニング。
• パターン認識のためにIMU_Classifierを使用してトレーニング済みのArduinoモデルを使用します（これもArduinoボード上で）。

ステップ2：グローブ1/6（電子機器）

ステップ2から7まで、私は同じ図を提供し、グローブを作るプロセスを理解しやすくするためにそのステップを示しています。



グローブの電子回路は非常にシンプルです。

• Arduinoボード。
• 9Vバッテリー（私は充電式バッテリーを使用しています）。
• SPSTスイッチ。

ステップ3：グローブ2 / 6-ボディ

本体はシンプルで、3Dプリンターで印刷された2つの部分のみで構成されています。

• 黄色の部分には、Arduinoボード、バッテリー、スイッチが含まれています。ケースの穴により、ケースを分解することなく、バッテリーを再充電し、Arduinoボードを再プログラムすることができます。
• 黒い部分はバッテリーとボードを保護するカバーです。

ベルクロのストリップで手に取り付けます。



また、ロゴを描き、それをふたに接着しました。上から見たサイクリストを表しており、真っ直ぐ前、左、右の3つの矢印があります。自転車は後退しないため、4番目の矢印は他の3つの矢印から分離されています。

ファイル

content.instructables.com/ORIG/FS2/L3M3/K9N93ZYW/FS2L3M3K9N93ZYW.stl



content.instructables.com/ORIG/F72/21NG/K9N93ZZG/F7221NGK9N93ZZG.stl



content.instructables.com/NORIG9SZFD stl

ステップ4：グローブ3/6：データ記録

デバイスを組み立てたら、データを書き込みます。目標は、各ジェスチャーを複数回記録することです。ジャイロスコープのしきい値を設定しましたが、この値を超えると、Arduinoは記録されたデータをモニターに出力し始めます。



次のジェスチャーを記録しました。

• 手は左を指しています（左に曲がる標準的なサイクリストのジェスチャー）。
• ブレーキング（ブレーキレバーに手を伸ばす指でのジェスチャー）。
• 手は後ろにもたれます。
• 手は前かがみになります。
• 手は左に傾いています。
• 手は右に傾いています。

当然、あなたはあなたのジェスチャーを記録することができます。



データを記録するために、20ストロークごとにLEDの色を切り替えるプログラムを作成しました。それは私がいつ別のジェスチャーに移るべきかを理解するのに役立ちました。Arduinoをコンピューターに接続し、ポート追跡プログラムを開いて、ラップトップをバックパックに入れました。



すべてのジェスチャーを記録した後、最後の段階に進みました。データ出力をプログラムにコピーして、csv形式で保存しました。



content.instructables.com/ORIG/FC7/B0JT/K9UEA78V/FC7B0JTK9UEA78V.ino

ステップ5：グローブ4/6：トレーニング

トレーニングには、次の例を使用して、その中の数行だけを修正しました。トレーニングの前に、ジェスチャーごとに独自のcsvファイルがあり、各ファイルのデータがこの特定のジェスチャーを参照していることを確認する価値があります。



Google Colab Webサイトで、[データのアップロード]セクションのリンクを使用してデータをアップロードします。



[グラフデータ（オプション）]セクションで、いずれかのファイルの名前を追加します。



filename = "Arm_left.csv"



次に、この行を修正して、ジャイロスコープデータのみを出力します。

#index = range(1, len(df['aX']) + 1)
index = range(1, len(df['gX']) + 1)

次の行をコメントアウトします-加速度計のデータは使用しません：

#plt.plot(index, df['aX'], 'g.', label='x', linestyle='solid', marker=',')
#plt.plot(index, df['aY'], 'b.', label='y', linestyle='solid', marker=',')
#plt.plot(index, df['aZ'], 'r.', label='z', linestyle='solid', marker=',')
#plt.title("Acceleration")
#plt.xlabel("Sample #")
#plt.ylabel("Acceleration (G)")
#plt.legend()
#plt.show()

[データの解析と準備]セクションで、すべてのファイル名を追加します。

#GESTURES = ["punch", "flex",]
GESTURES = ["Arm_left", "Brake", "Hand_back-tilt", "Hand_front-tilt", "Hand_left-tilt", "Hand_right-tilt"]

Arduinoコードでサンプルを変更した場合は、1回のジェスチャーでサンプル数を変更します。

#SAMPLES_PER_GESTURE = 119
SAMPLES_PER_GESTURE = 64

加速についてコメントするだけです：

# normalize the input data, between 0 to 1:
# - acceleration is between: -4 to +4
# - gyroscope is between: -2000 to +2000
      tensor += [
          #(df['aX'][index] + 4) / 8,
          #(df['aY'][index] + 4) / 8,
          #(df['aZ'][index] + 4) / 8,
          (df['gX'][index] + 2000) / 4000,
          (df['gY'][index] + 2000) / 4000,
          (df['gZ'][index] + 2000) / 4000
      ]

プログラム全体を実行した後、トレーニング済みモデルをダウンロードできます。

ファイル

content.instructables.com/ORIG/F7A/GLEK/K9UEA8Z5/F7AGLEKK9UEA8Z5.csv



content.instructables.com/ORIG/FV1/853G/K9UEA8Z6/FV1853GK9UEA8Z6.csv



content.instructables.com/ORIG8/FQKD csv



content.instructables.com/ORIG/F7N/P7AG/K9UEA8Z9/F7NP7AGK9UEA8Z9.csv



content.instructables.com/ORIG/FD4/WZRM/K9UEA8ZA/FD4WZRMK9UEA8ZA.csv



content.in7EA8Fstru2.com .csv



ステップ6：グローブ5/6：Arduino







コード私の最後のスマートグローブコードは、次のプログラムを組み合わせたものです。

• 「ArduinoBLE」ライブラリの「LED」の例（[Peripheral]> [LED]）。
• ここから「IMU_Classifier」。

ここでは詳しく説明しません。何が起こっているのかをよりよく理解するために、元のプログラムを読むことをお勧めします。



モデルをコードに追加すると、テストできます。

ファイル

content.instructables.com/ORIG/F9N/4SBK/K9UEA98M/F9N4SBKK9UEA98M.h



content.instructables.com/ORIG/FKZ/ODO9/KB52VXZK/FKZODO9KB52VXZK.ino

ステップ7：グローブ6/6：テスト

ビデオからわかるように、認識されたジェスチャに応じてLEDの点灯が異なります。

ステップ8：1/4 LEDマトリックス：エレクトロニクス

前述したように、Arduino Nano 33 BLE SENSEのLEDのスケッチをArduinoBLEライブラリからアップロードすると、いくつかの問題が発生しました。そこで、このボードの代わりにESP32を使用することにしました。したがって、上の写真では両方のボードを見ることができます。



Arduino Nano 33 BLE SENSEボードとESP32ボードはどちらも3.3Vロジックで動作するため、Adafruitの指示に従って、 3Vから5V（74AHCT125）の4レベルバッファーを追加しました。



また、突然の電圧サージからLEDを保護するために、100uFのコンデンサを追加しました。



回路全体をブレッドボードに組み立てました。



LEDマトリックスに必要な電流が多すぎるのではないかと心配したため、外部電源の両方のコネクタを使用したことがわかります。したがって、マトリックスとMIは、外部電源の異なるコネクタから電力を供給されます。

ステップ9：LEDアレイ2/4：本体

プレハブのLEDマトリックスケースが必要でした。したがって、それはいくつかの部品で構成されており（また、私の3Dプリンターは非常に小さいため）、それらのボルト用の穴を設けました。



もう一度ベルクロを使ってパネルを取り付けました。

ファイル

content.instructables.com/ORIG/FH6/TB4H/K9N93ZZJ/FH6TB4HK9N93ZZJ.stl content.instructables.com/ORIG/FK3/BZPC/K9N93ZZK/FK3BZPCK9N93ZZK.stl



content.instructFLZK9N93ZZK.stl



content.instructFLZZJ STL



content.instructables.com/ORIG/F38/BF1P/K9N93ZZM/F38BF1PK9N93ZZM.stl



content.instructables.com/ORIG/FJC/DQMY/K9N93ZZN/FJCDQMYK9N93ZZN.stl



content.inelqvf9qfr / .stl



content.instructables.com/ORIG/FJE/C5FG/K9N93ZZR/FJEC5FGK9N93ZZR.stl



content.instructables.com/ORIG/F55/1X43/K9N93ZZS/F551X43K9N93ZZS.stl

ステップ10：3/4 LEDマトリックス：Arduinoコード

結果のコードは、次のコード（およびそれらの変更）を組み合わせたものです。

• BLE ESP32ARDUINOライブラリからのBLE_Writeの例。
• FastLEDNeoMatrixライブラリのMatrixGFXDemo64の例。

ここでは詳しく説明しません。何が起こっているのかをよりよく理解するために、元のプログラムを読むことをお勧めします。



content.instructables.com/ORIG/FIR/RETZ/KB52VXP4/FIRRETZKB52VXP4.ino

ステップ11：LEDマトリックス4/4：テスト

すべてをチェックする時が来ました！各ジェスチャーを認識した後、信号がLEDマトリックスに送信され、特定のパターンが表示されます。認識されたジェスチャーに従って、グローブのLEDが点灯していることがわかります。

ステップ12：最終テストと結論

これがライブの様子です。







得られたデバイスに非常に満足しています。プロジェクトのおかげで、tinyMLとBLEにもっと自信を持っています。それ以来、別のArduino Nano 33 IOTを購入し、現在は非常に興味深いプロジェクトに取り組んでいます。これについては後で説明します。説明したデバイスの2番目のバージョンで何を変更しますか？

• «». , . - - , . .
• . , USB . , . .
• . , . , ( 20 ). – , .

プロジェクトを完了してこのテキストを書くのに数ヶ月かかりました。不明な点がある場合、または一部のファイルが欠落している場合は、元の記事にコメントを書き込んでください。

参照：

• 「完全に武装したサイクリングシーズンに突入する方法-スポーツと都市設備で」
• 「バイオメトリックモータースポーツグローブ」
• 「スマートな服：グラフェンベースの温度変調装置」