テクノプロジェクトの春学期の最高の卒業作品

私たちの研究プロジェクトの学生の卒業プロジェクトについての私たちの新しい話は、今年最後の話です。今回はテクノパーク、テクノポリス、テクノスフィアの3作品をご紹介します。これらは2年間の研究の結果に基づいた卒業プロジェクトであり、審査員はそれらを最高の作品として選択しました。また、テクノパーク、テクノポリス、テクノスフィアのトレーニングプログラムには独自の専門分野があり、非常に異なっていることをお知らせします。



前の出版物：1、2、3、4、5。

プロジェクトを擁護した学生がこれらの技術に触れるのはこれが初めてです。プロジェクトは1学期かかります。記事の目的は、教育プロセスと学生の作業の結果を示すことです。

テクノポリス、フェイスピック

顔による写真検索サービス。



大規模なイベント（会議、休日、企業パーティー、結婚式）では、数千とは言わないまでも数百の写真が撮影されます。そして、あなたとあなたの友人や親戚を写した写真を見つけるのに非常に長い時間がかかります。そのため、プロジェクトチームは、特定の顔を含む写真をすばやく見つけるためのサービスを作成することにしました。



このシステムは、ニューラルネットワークを使用して、最初に参照画像内の顔を認識し、次に見つかった人々による写真のベースをクラスター化します。このサービスは、VKontakte、Odnoklassniki、Yandex.Disk、GoogleDriveなどの外部ソースと連携できます。



処理されたアルバムはフォトパックのセットであり、各パックには1人の写真が含まれています。処理されたアルバムのページで、ユーザーは特定のフォトパックの写真を表示したり、デバイスにダウンロードしたり、友達と共有したりできます。人物の写真をアップロードすることで、処理済みのアルバムを検索できます。











このサービスは、RESTAPIを備えたクライアントサーバーアプリケーションです。サーバー部分は、2つの主要なコンポーネントで構成されています。Javaアプリケーション。サービスとのユーザー対話のロジックを実装します。写真の顔を識別し、ニューラルネットワークを使用してそれらの固有の特徴を抽出するためのPythonアプリケーション。



著者はスケーラビリティに重点を置いたため、ロードバランサーを使用してバックエンドの負荷を分散し、Redisメッセージキューを使用してJavaアプリケーションとPythonアプリケーション間の対話を行うと、これらのコンポーネントのインスタンスの数を個別に変更できます。



すべてのサービスは個別のDockerコンテナにデプロイされ、docker-composeを使用してそれらをオーケストレーションします。アプリケーションのクライアント側を実装するために、TypeScriptとReactを使用しました。 PostgreSQLデータベースは永続的なデータストレージとして使用されます。







将来的には、卒業生は認識の精度を向上させ、性別と年齢によるフィルターを追加し、FacebookとGoogleの写真をサポートしたいと考えています。無料の機能を制限し、広告を導入することでサービスを収益化するためのアイデアもあります。



プロジェクトチーム：Vadim Dyachkov、Egor Shakhmin、Nikolay Rubtsov



プロジェクト保護付きのビデオ。

プレイメーカー、テクノパーク

スポーツトレーニングロギング用の ハードウェアおよびソフトウェアソリューション。



プロジェクトチームのすべてのメンバーがスポーツが好きなのは偶然でした。ジムに来て、人々がトレーニングと進捗状況を記録するのを見て、学生はこのプロセスを改善できるかどうか疑問に思いました。調査と調査の結果、チームは、既存のワークアウトアプリのUXが複雑すぎて、市場に出回っているウェアラブルデバイスが、主にカーディオワークアウト（ランニング、楕円など）でうまく機能することに気付きました。その結果、彼らは彼らの仕事の計画を策定しました：





既存のソリューション（MiBandなど）との統合には非常に時間がかかることが判明したため、デバイスは独立して作成されました。時計やブレスレットの場合、開発者は手首の配置に満足できず、動きのパターンに関する情報が少なくなりました。



ESP32-devkit-v1の一部としてESP32-WROOMモジュールを選択しました。特定の要件を満たし、Pythonでコードとファームウェアを生成するためのユーティリティが作成されました。さらに、他のArduinoボードと同様にArduinoIDEからプログラムできます。Amperka IMUモジュールは、加速度計とジャイロスコープを含むセンサーの役割のために選択されました。センサーとのすべての通信は、I2Cプロトコルを使用して実行されます。



プロトタイプ図：







デバイスの次のバージョンでは、ボード印刷とコンポーネントのはんだ付けが中国で注文されました。









次に、さまざまな運動を認識するように神経回路網を訓練する必要がありました。ただし、身体活動中の加速度計とジャイロスコープからの時系列を含むオープンデータセットは多くありません。そして、それらのほとんどはランニングやウォーキングなどをカバーしているだけです。その結果、私たちは自分たちでトレーニングセットを作ることにしました。特別な装備を必要としない3つの主要なエクササイズを選択しました：プッシュアップ、スクワット、ツイスト。



フィルタリング後の加速度計データ。





フィルタリング後のジャイロスコープデータ。



LSTMアーキテクチャを備えた反復ニューラルネットワークは、演習の分類を担当します。時系列を視覚化するために、主成分分析（PCA）を使用しました。





ニューラルネットワークの結果（オレンジ色の線-プッシュアップを行う確率、緑色-スクワット）。



繰り返し回数をカウントするために、ベース信号レベルを考慮して、極大値をカウントする方法が使用されました。満足のいく結果が得られた後、モバイルアプリケーションを採用しました。条件の1つは、スマートフォンとの対話を最小限に抑えるようなインターフェイスの開発でした。デザインパターンとしてMVPを選択しました。



アプリケーションインターフェイス：









クライアントアプリケーションに加えて、著者は、ニューラルネットワークをトレーニングするためのデータの記録とマークアップを容易にするBatcherユーティリティプログラムを開発しました。





さらに、著者は、バッチをデータベースに保存した後にバッチを検証するためのメカニズムを作成しました。



時系列を保存するために、そのようなタスクに適合したInfluxDBデータベースが選択されました。機械学習サービスを実装するために、Python、Django、Celeryから標準スタックを選択しました。タスクキューにより、メインアプリケーションインターフェイスをブロックすることなく、分類タスクを非同期で実行できました。



ユーザーデータを保存するために、彼らはPostgresを採用しました。アプリケーション自体のバックエンドは、Ginフレームワークを使用してGoに実装されました。





一般的なアーキテクチャ。



その結果、チームは目標を達成し、製品のMVPバージョンを開発しました。これにより、ボタン1つでトレーニングのログ記録のタスクを解決できます。現在、学生はデバイスのコストとサイズを削減し、ニューラルネットワークの精度を向上させ、サポートされている一連の演習を拡張するために取り組んでいます。



プロジェクトチーム：Oleg Soloviev、Temirlan Rakhimgaliev、Vladimir Elfimov、Anton Martynov



プロジェクト保護付きのビデオ。

GestureApp、Technosphere

非接触インターフェースのフレームワーク。



使い慣れた触覚インターフェースを使用することが不便または望ましくない場合があります。たとえば、車を運転するときは、ATMや支払い端末を使用するか、手が汚れているだけです。この問題を解決するために、著者は、ジェスチャーでアプリケーションを制御できる非接触インターフェースフレームワークを作成しました。



GestureAppが機能するには、ビデオカメラが必要です。ビデオカメラからの信号は、ユーザーのジェスチャーを認識するためにリアルタイムで処理されます。また、ジェスチャーに応じて、フレームワークはアプリケーションに適切なコマンドを提供します。





計算負荷は比較的低く、フレームワークはかなり弱いデバイスで動作でき、特別な機器を必要としません。



ジェスチャは、ニューラルネットワークMobileNet3Dによって認識されます。ニューラルネットワークは、ジェスチャのクラスの確率と、「ジェスチャなし」の特別なクラスを提供します。このアーキテクチャにより、静的ジェスチャと動的ジェスチャの両方を認識できます。ニューラルネットワークは、Jesterデータセットでトレーニングされました。 F ₁ = 0.92の予測精度が達成されました。



キャプチャストリームはフロントカメラからフレームを受信し、リストの最後に配置します。その長さが32を超える場合、キャプチャスレッドはモデル実行スレッドをウェイクアップします。リストの最初から32フレームかかり、クラスを予測してから、要素が1つ残るまで、最後から要素を削除します。これにより、大量の同期が不要になり、パフォーマンスが大幅に向上します。iPhone11では20 FPS、iPhone XSMaxでは18FPS、iPhoneXRでは15FPSです。また、前処理と後処理のためのスマートパイプラインにより、エネルギー消費が最小限に抑えられます。



これまでのところ、フレームワークはiOSとWindowsでのみ機能します。開発では、PyTorchフレームワーク、TwentyBNプラットフォーム、およびSwift言語を使用しました。



計画には、認識品質の向上、すべてのモデルを再トレーニングせずに新しいジェスチャの認識を追加する、Android用のバージョンを作成する、ボタンジェスチャだけでなく、スライダージェスチャも追加することが含まれます。



プロジェクトチーム：Maxim Matyushin、Boris Konstantinovsky、Miroslav Morozov



プロジェクト保護付きのビデオ。

---

あなたはこのリンクで私たちの教育プロジェクトについてもっと読むことができます。そして、Technostreamチャネルにアクセスすることが多く、プログラミング、開発、その他の分野に関する新しいトレーニングビデオが定期的に表示されます。