こんにちは。プロセスの中から、いわばAIに対する私の見方についてお話します。教育的および科学的プロセスの意味で。



たまたま1998年にロシア国立農業アカデミーの大学院に入学し、科学研究のトピックとしてAI / MLを選びました。これらは、ニューラルネットワークの次の氷河期の厳しい時代でした。ヤン・レクンが、畳み込みネットワークの編成の原則に関する彼の有名な作品「文書認識に適用される勾配ベースの学習」を発表したのはこの時でした。これは、私の意見では、新しい解凍の始まりにすぎませんでした。当時、私が似たような要素のいくつかに取り組んでいたのはおかしいです。なぜなら、その時が来ると、そのアイデアは空中にあると言われているからです。しかし、誰もがそれを実現するために与えられているわけではありません。残念ながら、私は防衛まで仕事を終えることはありませんでしたが、いつかそれを終わらせたいと思っていました。





出典： Hitecher



そして今、20年後、南連邦大学で教師として働き始め、同時に追加教育プログラム「サムスンITスクール」で教え始めたとき、私は2度目のチャンスがありました。サムスンはSFedUに、独身者とマスターのための人工知能に関するトレーニングトラック「サムスンITアカデミー」を最初に立ち上げることを提案しました。カリキュラム全体を完全に実施できるのではないかと心配しましたが、コースを読むという申し出に熱心に応えました。サークルが閉鎖されていることに気づきましたが、かつて失敗したことを行うチャンスがまだ2度ありました。ここで、Samsung AI / MLコースは、Stepikプラットフォーム（https://stepik.org/org/srr）で無料で利用できる現在オープンしているロシア語コースの中で最高のものの1つであることに注意して ください。）。ただし、大学のプログラムの場合、理論/実践コースに加えて、プロジェクト部分が追加されました。つまり、「Samsung IT Academy」の年間カリキュラムは、適切なStepik証明書を取得し、個々のプロジェクトを実施して、「ニューラルネットワークとコンピュータビジョン」、「ニューラルネットワークとテキスト処理」の2つのモジュールを学習する場合に習得されたと見なされました。コースは、専門家が招待された学生のプロジェクトの防御で終了しました。サムスン人工知能モスクワセンターの従業員。



そして2019年9月から、SFedUの高等技術研究所とピエゾテクニクスでコースを開始しました。もちろん、かなりの数の学生がHYIPに来て、その後深刻な脱落がありました。プログラムはそれほど複雑ではありませんでしたが、膨大な量の知識が必要でした。

• 線形代数、
  
  
• 確率論、
  
  
• 微分計算、
  
  
• Pythonプログラミング言語。
  
  

もちろん、必要なすべての知識とスキルは、大学の3年生の学部課程のカリキュラムを超えるものではありません。より複雑な例をいくつか挙げます。

• 双曲線正接の活性化関数の導関数を見つけて、結果を次のように表現します。 $$$th(x)$ ..。 
  
  
• シグモイド活性化関数の導関数を見つけ、その結果をシグモイドで表現し ます$$$σ(x)$ ..。 
  
  
• 図に示す計算のグラフでは。1は複雑な機能を示しています $$$y$ パラメータ付き $$$b1,b2,c1,c2$ ..。便宜上、操作の中間結果を次のように追加しました $$$z_1÷z_9$ ..。導関数が何に等しくなるかを決定する必要があります $$$y$ パラメータ別 $$$b1$
  
  
  
  
  
  

正直なところ、私は急いで何かを、特にニューラルネットワークを操作するための最新のアルゴリズムから学生と一緒に勉強しました。当初は、学生自身がStepikのSamsungオンラインコースのビデオ講義を勉強することを想定しており、教室ではワークショップのみを行いました。しかし、私も理論を読むことにしました。この決定は、先生と一緒に理解できないトピックを整理したり、生じたアイデアについて話し合ったりすることができるという事実によるものです。学生は宿題の形で実践的な仕事を受けました。アプローチは正しいことが判明しました。教室では、活気のある雰囲気が得られ、一般的に学生が資料を習得することに非常に成功していることがわかりました。 



1か月後、ニューロンモデルから最初の単純な完全接続アーキテクチャに、単純な回帰からマルチクラス分類に、単純な勾配計算から勾配降下最適化アルゴリズムSGD、ADAMなどにスムーズに移行しました。コースの前半は、畳み込みネットワークと最新のディープネットワークアーキテクチャで完了しました。最初のコンピュータビジョンモジュールの最後のタスクは、「に参加したクリーン対ダーティ」Kaggle上の競争 の80％の精度限界を克服しています。 



もう1つ、私の意見では、重要な要素は、大学内で閉鎖されていなかったことです。トラック主催者は、サムスン研究所から招待された専門家と一緒にウェビナーとマスタークラスを開催しました。そのような出来事は、正直に言うと、学生と私の意欲を高めました:)。たとえば、興味深いキャリアガイダンスイベントがありました。SFedU、モスクワ州立大学、サムスンの聴衆の間のオンラインブリッジで、モスクワAIセンターサムスンの従業員がAI / ML開発の最新トレンドについて話し、学生の質問に答えました。



テキスト処理に専念するコースの第2部は、言語分析の一般的な理論から始まりました。次に、学生はベクトルとTF-IDFテキストモデルを紹介され、次に配布セマンティクスとword2vecを紹介されました。その結果に基づいて、いくつかの興味深いワークショップが開催されました。word2wec埋め込みの生成、名前とスローガンの生成です。次に、テキスト分析に畳み込みネットワークと反復ネットワークを使用する理論と実践に移りました。



重要なのはそうですが、私はVAKジャーナルに記事を掲載し、次の記事の準備を始め、新しい論文の資料をスムーズに収集しました。私の生徒たちもじっと座っていませんでしたが、最初のプロジェクトに取り組み始めました。学生は自分でトピックを選択し、その結果、ニューラルネットワークのさまざまな応用分野で7つの卒業プロジェクトを取得しました。

1. « » , .
   
   
2. « » .
   
   
3. « » .
   
   
4. « » .
   
   
5. « » .
   
   
6. « » .
   
   
7. « » , .
   
   

すべてのプロジェクトが守られましたが、複雑さと洗練度は異なり、それはプロジェクトの見積もりに反映されていました。防衛の結果に基づいて、毎年恒例のサムスンITアカデミーコンペティションに4つのプロジェクトが選ばれました 。そして、私は、審査員が私たちのプロジェクトの2つをトップの場所に与えたと誇らしげに言うことができます。以下に、私の生徒であるGrateful Alexander、Krikunov Stanislav、Pandov Vyacheslavから提供された資料に基づいて、これらのプロジェクトについて簡単に説明します。彼らが示した解決策は、真剣な研究作業として評価されるかもしれないと私は信じています。

I « » «IT Samsung».

« », ,

このプロジェクトは、携帯電話のセンサーを使用してトレーニング中の身体活動を識別および定量化するモバイルアプリケーションを作成することでした。現在、人の身体活動を認識できるモバイルアプリケーションは数多くあります。GoogleFit、Nike Training Club、MapMyFitnessなどです。ただし、これらのアプリは特定の種類の運動を認識できず、繰り返し回数をカウントできません。

プロジェクトの著者の1人であるGratefulAlexanderは、2015年にSamsung IT Schoolプログラムを卒業しました。私は、誇りを持って、学校でのモバイル開発で得られた知識がこのように適用されたことを喜んでいました。





身体活動はどのように認識されますか？運動のタイミングがどのように決定されるかから始めましょう。演習の開始と終了を検出するために、学生は、軸に沿った加速度の2乗の合計のルートとして計算された加速度モジュールを使用することにしました。現在の加速値と比較される特定のしきい値が選択されました。しきい値を超えた場合（加速度の導関数が正の場合）、演習が開始されたと見なされます。現在の加速度がしきい値を下回っている場合（加速度の導関数が負の場合）、演習は終了したと見なされます。残念ながら、このアプローチではリアルタイム処理はできません。可能な改善は、シフトの各ステップで結果を計算するデータにスライディングウィンドウを使用することです。



データセットは、作成者自身によって収集されました。 7つの異なる演習を実行するとき、3種類のスマートフォンが使用されました（Androidバージョン4.4、9.0、10.0）。スマートフォンは専用ポケットを使って手に取り付けました。 3人のボランティアが合計1800回の繰り返しを行いました。実行中に何らかの理由で技術のエラーが発生する可能性があるため、サンプルのクリーニング手順を実行しました。このために、相互相関の分布がすべてのタイプの演習に対して作成されました。次に、各演習について、相関しきい値が選択されました。このしきい値を下回ると、演習は不適切と見なされ、サンプルから除外されます。   



同じエクササイズは、繰り返しに応じて、実行時間が異なります。これに対抗するために、センサーからのサンプル数に関係なく、固定数のサンプルでデータを補間することが決定されました。受信50-サンプリングレートの2倍、隣接する位置の算術平均として中間位置を計算します。 200を受け取りました-2カウントごとに破棄します。この場合、サンプル数は一定になります。同様に、サンプルの入力数と目的の出力数の任意の比率について。



ニューラルネットワークについては、周波数領域でデータを適用することが決定されました。人の体重は非常に大きいので、ほとんどの標準的な運動では、特徴的な信号周波数がスペクトルの低周波数領域にあると予想できます。この場合、高周波数は、実行中のジッタ、またはセンサーからのノイズのいずれかと見なすことができます。どういう意味ですか？これは、FFTを使用して信号のスペクトルを見つけ、分析にデータの10〜20％しか使用できないことを意味します。なぜそんなに少ないのですか？ 1）スペクトルは対称であるため、コンポーネントの半分をすぐに切り取ることができます。2）基本情報-スペクトルの有益な部分の20〜40％のみ。これらの仮定は、特にスローストレングスのエクササイズをよく表しています。





さまざまな演習の正規化された時系列





さまざまな演習の正規化されたスペクトル



ニューラルネットワークで処理する前に、すべての演習サンプルを0〜1の振幅範囲に合わせるために、データスペクトルは3つの軸間の最大値に正規化されます。この場合、軸間の比率は保持されます。



ニューラルネットワークは、演習を分類するタスクを実行します。これは、トレーニングされたリストからすべての演習の確率のベクトルを生成することを意味します。このベクトルの最大要素のインデックスは、実行された演習の数です。さらに、実行された演習の信頼度が85％未満の場合、どの演習も実行されなかったと見なされます。ネットワークは3つのレイヤーで構成されています。4つは畳み込み、3つは完全に接続されており、出力ニューロンの数は、認識したい演習の数と同じです。アーキテクチャでは、計算リソースを節約するために、コアサイズが3x3の畳み込みのみが使用されます。比較的単純なネットワークアーキテクチャは、スマートフォンの限られたコンピューティングリソースによって正当化されます。私たちのタスクでは、最小限の遅延での認識が必要です。 





ニューラルネットワークアーキテクチャの説明



ニューラルネットワークトレーニング戦略は、トレーニングサンプルの損失関数が最小値に達するまで、トレーニングデータへのバッチ正規化を使用したエポックによるトレーニングです。



結果：多かれ少なかれ高品質の運動パフォーマンスで、ネットワークの信頼性は95-99％です。検証セットでは、精度は99.8％でした。





検証セットでのトレーニング中の





エラーニューラル



ネットワークのエラーマトリックスニューラルネットワークがモバイルアプリケーションに組み込まれ、トレーニングと同様の結果を示しました。



この研究では、分類の問題を解決するために今日使用されている他の機械学習モデル（ロジスティック回帰、ランダムフォレスト、XGブースト）もテストしました。これらのアーキテクチャでは、Tikhonov正規化（L2）、相互検証、およびグリッド検索を使用して、最適なパラメータを見つけました。その結果、精度指標は次のようになりました。

• ロジスティック回帰：99.4％
  
  
• ランダムフォレスト：99.1％
  
  
• XGブースト：97.5％
  
  

サムスンITアカデミーでのトレーニング中に得られた知識は、プロジェクトの作成者が関心の範囲を広げるのに役立ち、スコルコボ科学技術研究所の修士プログラムに参加する際に貴重な貢献をしました。現在、私の生徒たちは通信システムの機械学習の分野で研究を行っています。 



GitHubのコード

II « » «IT Samsung».

« »,

モデルの仕事はこのスライドでよく説明されています：







それはすべて写真から始まります。提示された実装では、Telegramボットからのものです。これを使用して、Dlibfrontal_face_detectorは画像内のすべての顔を検索します。次に、Dlib shape_predictor_68_face_landmarksを使用して、各面の68の主要な2Dポイントが検出されます。各セットは次のように正規化されます：中央揃え（XとYの平均を差し引く）およびスケーリング（XとYの絶対最大値で除算）。正規化された点の各座標は、間隔[-1、+ 1]に属します。



次に、正規化された座標（X、Y）を使用して、顔の各キーポイント（Z座標）の深さを予測するニューラルネットワークが機能します。このモデルは、AFLW2000データセットでトレーニングされました。



さらに、これらの点は互いに接続され、メッシュマスクを形成します。フェイスバイオメトリクスとも呼ばれます。このようなマスクのセグメントの長さは、感情を定義する方法の1つとして使用されます。アイデアは、各ラインセグメントがラインセグメントベクトル内で独自の場所を持ち、感情に応じてそれらのいくつかを持っているということです。そして、理論的には、各感情には限られた数のそのようなベクトルがあります。この仮説は、実験の過程で確認されました。このようなモデルをトレーニングするために、次のデータセットが使用されました：Cohn-Kanade +、JAFFE、RAF-DB。



並行して、別のネットワークが画像自体によって感情を分類することを学んでいます。顔の画像は、Dlibで見つかった長方形から切り取られます。シングルチャンネルの白黒に変換され、48x48に圧縮されます。このモデルをトレーニングするために、バイオメトリクスモデルと同じデータセットが使用されました。ただし、FER2013データセットが追加で使用されました。



結論として、3番目のニューラルネットワークが稼働します。そのアーキテクチャは、以前の2つの凍結および事前トレーニング済みネットワークとトレーニング済みレイヤーを組み合わせたものです。これらのネットワークは、最後に完全に接続されたレイヤーもオーバーライドします。ターゲットクラスを決定できる予想される「確率のベクトル」の代わりに、より多くの「低レベルの機能」が返されるようになりました。そして、統合層は、この情報をターゲットクラスに解釈するようにトレーニングされています。



「類似のソリューション」には、EmoPy、DLP-CNN（RAF-DB）、FER2013、EmotioNetがあります。ただし、次のように比較することは困難です。彼らは異なるデータで訓練されました。 



GitHubのコード

結論

結論として、パイロットコースはその価値を示しており、この2020/21学年度には、ロシアとカザフスタンのサムスンITアカデミーのパートナーである23の大学でプログラムがすでに教えられています。完全なリストはここで見ることができ ます..。今年、マスターと学士のグループがすでに私たちと一緒に勉強しています（グループには1人の博士号があります！）そしてこれまでのところ、大部分で、科学の花崗岩はうまくかじっています。個々のプロジェクトのアイデアはまだ見つかっていませんが、学生は楽観的です。もちろん、次回の個別プロジェクトでは10倍になりますが、今後も生徒の活躍が高く評価されていきたいと思います。そして最も重要なことは、得られた知識と経験が、ITの分野での卒業生のさらなる発展に大いに役立つと確信しています。



2020ロストフオンドン。 SFedU、ITアカデミーサムスン。





ドミトリー・ヤツェンコ

南連邦大学ハイテクノロジー学部情報測定技術学科の上級講師、

サムスンITスクールの

講師、サムスンアカデミーのAIITトラックの講師。