LINKa参照してください。アイトラッカーなどを使用したカード選択システム





私が誰なのか覚えておきましょう。



こんにちはhabr。私はイワン・バカイドフです。何年も前に、重度の身体障害を持つ人々が1つのボタンで入力できるようにするプログラムの学校プロジェクトについて書きました。これがその記事です。



その瞬間から、私がこのプログラムを書い女の子が亡くなり多くの変化あり、プロジェクトはLINKaと呼ばれるようになりました。私は他の形態の運動障害のために多くのプログラムを行ってきました。オープンソースプロジェクトを維持する必要があるため、前回の大騒ぎの間に発生したボランティアの波を失ったことに気づきました。



しかし、私はコミュニケーションのためのプログラムを開発するというトピックを残していません。そして、「Dudya助成金」からのお金で、はあなたが一目でカードを選ぶことを可能にする新しいコミュニケーター開発しました。そして、私はいくつかの機能を追加するのに助けが必要です。スタック:C#、WPF。



一目で?o_O!このような?あなたの頭はけいれんしていますか?



実は、長い間、ハーバーのコメントでアイトラッキングの技術について書いてくれたのですが、高価で頭を振ると動かないと思ったのでスキップしました。私は間違っていた!



2016年以来、Tobii(別名、アイトラッキングの世界のApple)は、ゲーマー市場向けの低コストデバイスの開発を開始しました。これらのデバイスは、「障害者」向けのデバイスよりも10倍安価です(特別なデバイスステッカー法)。数年で、彼らは優れたTobii 4cモデル到達しました。これは、通常の電子機器のハイパーマーケットで購入して、USB2.0に接続できます。







財団の1つが、「試してみてください」という言葉でこのデバイスを投げてくれました。私はそれを「Eytrackingとcerebralpalsy-それは機能しません、そして私はそれをどうにかして見るでしょう」という言葉で棚に置きました。それでもWindowsでのみ動作しますが、私はMacを持っています。しかし、財団は非常に優れた組織であるため、レポートを要求します。



ブートキャンプ、セットアップ、セットアップ、そしてこの世代のアイトラッカーは頭の位置を追跡し、そこから目の位置を追跡することを学んだことに気づきました。非常に高い頻度で。そして、すべてがうまくいきます。好きなだけ頭を振ってください。



このトラッカーの主なソフトウェアはゲームです。Dockでは2人の敵を目でマークできます。すべての組み込みデモはゲーマー機能を示しています。ただし、サードパーティのプログラムで作業するためのオープンAPIがあります。



アイガイドインターフェースを作成する余地があります。これらのインターフェイスは非常にシンプルです。ボタンのグリッドで構成されています。ボタンを注視すると、カチッという音がします。そしてここでは、多くの人がすでに自分たちを区別しています。Windows 10自体には、アイトラッカー用のキーボードとマウスのエミュレーターが組み込まれています(確かに、ローカリゼーションには「X」と「B」の文字はありません。パンを要求しないでください!)。





ありえない!



かなり賢明なキーボードBB2Kがあります、私はそれについて開発者Habréで書きました。私は個人的にOptikeyが本当に好きです、それは英国の開発者からのよくローカライズされたキーボードです。非執筆の子供のための絵文字を含むいくつかのオプションがあります。







さて、あなたがすでに眼鏡技師を持っているなら、なぜあなた自身を書くのですか?



これは当然の質問です。以前の記事で覚えているように、スピーチの人々と協力するスペシャリストにとって、非常に優れたカードが縫い付けられている既製のレンガではなく、病棟が選択したコンテンツを自分で作成できることが非常に重要です。これは、多くの場合、スピーチのない人は書き方を教えるだけでよいという事実、または単にマグカップの描画がそれが飲まれるキッチンのカップそのものを示していることを理解する必要があるという事実によるものです。また、同じOpticianで、PowerPointを使用しカードのセットを作成する必要があります



そのため、リンクは、障害児のための学校で勉強しているときによく学んだ「すべてをカスタマイズできるようにする必要がある」という考えを検討しました。このアイデアに基づいて、非常に単純なタスクが発生しました。カードのグリッドを作成し、そこからカードを目で選択できますが、同時に選択方法、カード、およびグリッドは簡単にカスタマイズできる必要があります。私はこれらすべてをTORで形式化し、WPFを理解しているC#プログラマーを見つけました(私よりも優れています)。このとき、Yura Dudも送金し、一般的にはすべてうまくいきました。



最後に何が起こったのか?







その結果、.linkaファイルのカードのセットがグリッドに表示され、Tobiiアイトラッカー、マウス、キーボード、ゲームジョイスティックを使用してカードを選択できるようになります。カードの選択を一目で確認したり、ボタンで確認したりするモードもあります。







プログラムには、.linkaファイル用のエディターが含まれています。



→こちらから無料でダウンロードできます:linka.su/looks



では、何をする必要がありますか?



プログラムはシンプルで簡潔ですが、その柔軟性がさまざまなケースでコミュニケーションを確立するのに役立つことを願っています。



プログラムを実装したいという小さなアイデアがいくつかあります。これを手伝っていただければ幸いです。これらのタスクはこの説明されていますが、ここにいくつか持ってきて、私が何を意味するのかを説明します。



  • , .



    API Yandex TTS. , . . . , , , . , . .
  • 1つのボタンでカードを選択するシステムを作成します。



    アイトラッカーの魔法にもかかわらず、私はそれが機能しなかった仲間に会いました。そして、古き良きリンクから1つのボタンを使用してカードを選択し、クリックする(そして後者のサポートを停止する)ためのアルゴリズムを転送するために追加したいと思います。
  • サードパーティのプログラムで印刷できるようにします。
  • CIS諸国の言語へのローカリゼーション。


また、プログラムをテストしてアイデアを書いていただければ幸いです。



GitHub

パトレオン



ありがとう!



All Articles