Microsoft Expressive Pixels：Windows10用の新しい無料開発プラットフォーム

あなたが自宅のコンピュータにいて、リモートで作業していると想像してみてください。あなたには同じことをするパートナーがいます。あなたは振り返ることさえしていませんが、あなたの周りの誰もが見ることができるLEDディスプレイに絵文字が表示されています：STOPサイン。今、あなたの家族はあなたが今忙しいことを知っています、そしてあなたはこれについて一言も言う必要はありませんでした。



これは、表現力豊かなピクセルの多くの用途の1つです 。アニメーションレンダリングを作成できるWindows10開発プラットフォームがMicrosoftStoreで無料で利用できるようになりました。アプリケーションに加えて、一連のソフトウェアがあり、視覚効果や絵文字を使用した通信にLEDディスプレイを使用できます。



これらすべてが、非言語的コミュニケーションの可能性を広げ、開発者がオープンソースAPIを介して創造的に使用するための新しい方法を開き、意欲的なプログラマー、デザイナー、研究者の参入の障壁を低くします。





Expressive Pixelsは、愛好家や経験豊富なプログラマーの出発点としても機能し、小さなデバイスでアニメーションや画像をプログラムする方法を理解しなくても、新しい作品を作成できます。そのための専用ライブラリがあります。



Expressive Pixelsは、仕事、勉強、社交の場に関係なく、画像、お土産、さまざまな小物と同じように、空間をパーソナライズして存在感を高めるアニメーションの方法を提供します。



「私たちは基本的な日常の機能に多くの注意を払っていますが、私たちを人間にするものについて考えるとき、それは感情です。感情を表現し、お互いに連絡を取り合いたいと思っています」と、マイクロソフトスモール、ミディアム、コーポレートビジネスの戦略およびプロジェクト担当ゼネラルマネージャーであるバーニスユーは述べています。彼女は表情豊かピクセルプロジェクトチームの一員であるとの2019年のリリースに多くを貢献した 目の最初に使用し、  Windowsの10アイ・コントロール、視覚障害や運動障害を持つ人々のための主要なアクセシビリティ機能を。 「生産的であることは素晴らしいことですが、私たちは皆人間になりたいと思っています。これは不可侵の必要性です。」



表情豊かピクセルはとマイクロソフトとの間に深いと実りあるコラボレーションの年に基づいて構築 有効グループ 重度の視覚障害と可動性を持つ人々。この作業の目的は、そのような人々の好み、他の人々とのコミュニケーションと相互作用、創造的な自己表現と自己識別で生じる彼らのニーズと問題を理解し、新しい拡張および代替コミュニケーション（AAC）デバイスの機能を拡張することです。非言語的コミュニケーション、自己表現、社会的信号の放送、およびデバイスのステータスのための機能。



表現力豊かなピクセル







コミュニケーションの例は、あなたが書いたり言ったりすることだけではありません。これの多くは、話す番がいつになるかを知ることを含む、非言語的なプロセスです。



ハリッシュ・クルカルニ

「このソリューションは、深刻なケースに使用したり、自分自身について何かを伝えるための楽しいクリエイティブな方法として使用したりできます」と、クラウドコンピューティングおよびMicrosoftCloudおよびAIグループのAIフレームワークチームのテクニカルマネージャーであるHarishKulkarniは述べています。彼は数年間Enableチームのメンバーであり、EyeControlをWindows10に統合するために多くのことを行ってきました。



その過程で、チームは最も予期しないイノベーションを受け入れ、テクノロジーが人々にもたらすメリットに触発された新鮮なアイデアで障害を克服しました。



開発者は、部屋のどこからでも、どの照明でも簡単に見られるフォームファクターが必要であることに気付いたとき、Sparkfun、Adafruit、Silicon SquaredDisplayなどのサードパーティメーカーが提供するユーザーフレンドリーなLEDディスプレイに目を向けました。 ExpressivePixelsチームの唯一のエンジニアであるGavinJahnkeによって、解像度、通信、ストレージ、およびアニメーションの問題を解決するように設計されたカスタムオールインワンデバイスです。ただし、Expressive Pixelsは、アニメーションGIFをメールに挿入するだけで、LEDディスプレイやその他のデバイスなしで使用できます。



次に、別の問題が発生しました。ディスプレイにアニメーションを表示しやすくするソフトウェアの開発です。もう一度、Jahnkeは課題に取り組み、開発アプリケーションとともに、複数のデバイスで実行できるプラットフォームを形成するファームウェアを作成しました。このファームウェアを使用すると、メーカーは特定の側面を使用または拡張できます。クリエイターは、アプリのクラウドギャラリーでオリジナルのアニメーションを共有できます。



Jahnkeは、Expressive Pixelsのこれらの重要な要素の開発に尽力しました。すべて、主な仕事以外の空き時間に行われました。



シリコンスクエアディスプレイ：ディスプレイのプロトタイプと進化

     





デバイスの最初のバージョンは、円形に配置された16ピクセルの単純なディスプレイでした。このプロトタイプを作成するために、カッターが使用されました。LEDからの明るい光を拡散するために、ディスプレイを覆う半透明の材料の円形の断片が切り取られました。



「通常、私が何かをしているとき、私はそれから王室の料理を作ります」と、MicrosoftResearchの開発担当ゼネラルマネージャーであるJahnkeは冗談を言います。しかし、彼は真剣になり、「私の使命は、適切なサービスを受けていない人口やコミュニティのセグメントを支援し、技術的能力のために利用できないが、私の技術的能力の範囲内にあるものを提供することです」と付け加えます。



Jahnkeは、このプロジェクトに専念する3年間で、電気工学の分野を含む新しいスキルを習得し、あらゆる業界のジャックです。その過程で、彼は以前よりも高解像度のRGBLEDディスプレイを備えた新しいカテゴリのデバイスを作成しました。彼はまた、Bluetoothテクノロジーと、スイッチやMIDI音楽信号などのアニメーションをトリガーするさまざまなメカニズムを使用してユーザーに最大のモビリティを提供する方法を考え出しました。



「本当に興味深いのは、快適ゾーンから出て新しいことを学ぶことの意図しない結果です」と彼は言います。 「あなたは素晴らしいアイデアと能力を手に入れます。」







TogetherモードのMicrosoftTeamsでのExpressivePixelsチームミーティング。後列（左から右）：Anne Paradiso、Bernice Y.上から2列目（左から右）：Noel Sophie、Gavin Yanke、Jarnael Chaj上から3行目：Duane Lamb、Stacey Stutz下段：クリストファー・オダウド。



Expressive Pixelsの旅は、5年以上前に、医療市場の一部であるため通常は高すぎる拡張および代替通信（AAC）デバイスの改善に対するEnableGroupの関心から始まりました。







デバイス間で表現力豊かなピクセル。



チーフデベロップメントオフィサーのAnneParadisoがこの取り組みを主導し、彼女のエネルギーを他の人々に奉仕することに向けたいと考えました。彼女はEnableGroupに参加する前に、Microsoft ResearchでJahnkeのチームと協力しましたが、Jahnkeは、特にプロジェクトが勢いを増しているため、彼女の支援を拒否しませんでした。



彼らは最初、ALS（筋萎縮性側索硬化症）と診断された後、研究を刺激し刺激した元NFLプレーヤーのスティーブグリーソンと協力しました。グリーソンはアイトラッキングテクノロジーの使用に長けていましたが、技術的な問題が発生したときはコミュニケーションが難しく、コミュニケーションをとろうとしている人ではなく画面を見なければならなかったのです。



「音声デバイスを目で操作するだけの人と話すと、会話のペースが通常の会話に比べてはるかに遅いことに気付くでしょう。予測精度と眼球運動の認識が改善されたとしても、AACを介した会話は12〜25倍遅くなることがよくありますとParadiso氏は言います。 「そのため、対話者が長引く沈黙に耐えられないか、彼らが答えを準備していることを理解できず、話し続け、言語障害のある人が話す機会がないままになっている様子をよく観察します。」



これは、ALSを持つ人々とその家族を含むユーザー中心の研究につながりました。パラディソと彼女のスタッフは定期的に彼らと会い、医師との面会に同行し、神経学者、言語療法士、理学療法士、その他多くの人々との相互作用を観察しました。会議は自宅とマイクロソフトの研究所の両方で開催されました。結果として得られた信頼により、研究者は障害者の周りのエコシステムを真に知り、サポートシステムと家族の態度について学び、機器を調べ、何が機能し、何が機能しないかを見つけることができました。



絵文字ベースの通信用にLEDディスプレイを最適化することは素晴らしい機会であることにすぐに気づきました。



アン・パラディソ

「Emojiは、テキストメッセージング、電子メール、ソーシャルメディアなどのデジタル通信プラットフォームですでに普及しています。彼らは、意図、文脈、または気分を伝えるために、より少ない行動を取ります。単一の絵文字アイコンは、メッセージの認識を大幅に変更または改善できます。顔の表情の原因となる筋肉を話すことも制御することもできない人々のための追加の表現力のあるメディエーターとして使用できると私たちは考えています、とパラディソは言います。 -私たちと一緒に働くALSの人々は、私が知っている中で最も面白く、最も思慮深く、創造的な人々ですが、利用可能な音声デバイスとその基盤となるテクノロジーの障害と欠陥のために、彼らが考えを表現する機会は限られています。私たちは知っています、人々は、単純なフレーズで通信するだけでなく、AACデバイスでより多くのことを表現したいと考えています。私たちは、人々がより積極的に会話に参加し、暗い場所や遠くからでも見えるようにし、また、独特の表現、コミュニケーション、感情の伝達の機会を提供するものを作りたかったのです。」



開発者はさまざまな追加の画面を試しましたが、いくつかの理由でLEDディスプレイに戻りました。それらは安価で、適度に機能し、「クール」です。調査に参加したALSの人々は、ユーザーに意図しない負の社会的影響を与える可能性のあるものは使用したくないことも明らかにしました。



「ALSと一緒に暮らす人々を観察し、力を与えて、彼らが望んでいないことを実行できるようにすることは、一生懸命働くのに十分な動機です」と、2017年初めにEnableGroupに参加した開発者であるDuaneLambは述べています。ユーザーインターフェイスとユーザーインターフェイス。 -多くの場合、自分の目でしかコミュニケーションできない人と話しているとき、その人は自分の前にあるデバイスのキーボードを見ながらテキストを入力します。そして、あなたは、これは悪い形ですが、社会的エチケットの観点から、通常、対話者が何を入力しているかを確認するために、対話者の肩越しに見ます。」



表現力豊かなピクセルの出現は、この問題を解決したいという願望に部分的に起因しています。





ExpressivePixelsアプリの絵文字



プロジェクトのハードウェアギャップを埋めるのを手伝ったクリストファーオダウド氏は、表現力豊かなピクセルを使用して、最大64x64ピクセルのさまざまなディスプレイサイズをアニメーション化できると述べています。 O'Dowdは、LEDディスプレイは、Maker Faireや、休暇中の家などに遍在していると述べました。 LEDディスプレイは非常に用途が広いため、ファブリック（マスク、キャップ、バックパックなど）やバナーにもよく見られます。



Expressive PixelsチームによるLEDディスプレイの最初のアプリケーションの1つは、 受賞歴のあるSXSW Music withoutHandsプロジェクトでした。



このプロジェクトでは、midiサポートと音楽同期を備えた特別に設計されたLEDマトリックスが使用されました。これは、ALSと一緒に暮らすシアトルのミュージシャンであるExpressivePixelsメンバーの1人のために設計された目で制御される物理ドラムキットのオプションの視覚化ツールでした。 2018 SXSW Interactive Innovation Award：Music and Audio Innovationを受賞したこのプロジェクトには、音楽の作曲と演奏、コラボレーションのための一連の新しいアイガイドアプリケーションが含まれています。



「話すことも動くこともできない人が、音楽を作曲したり演奏したり、ステージで何が起こっているのかを指揮したり、ライブの聴衆に連絡したりするにはどうすればよいでしょうか。リハーサルや即興で他のミュージシャンと一緒に演奏するのはどうですか？障害のある子供たちの参加を分離したり最小限に抑えたりせずに、学校の音楽プログラムをより包括的にするための障壁をどのように下げることができますか？私たちは、これらの基本的な質問に対する答えを見つけたいという願望に駆り立てられました-パラディソは回想します。 「私たちは、その人の創造的な目標と実際の状況に合うように、そしてその逆ではないように、私たちの技術とデザインを適応させたかったのです。」



Lambは、Musical Instrument Digital Interface（MIDI）のサポートを追加して、さまざまな信号をさまざまな楽器に送信するというアイデアを持っていました。このアイデアは、後にExpressivePixelsに引き継がれました。







「新しい目標に取り組むたびに、プラットフォームをさらに推し進めました」とParadiso氏は言います。



Expressive Pixelsプラットフォームは、幅広いクリエイティブな人々に開放されています。これは開発者コミュニティであるだけでなく、他の人々を助け、MicrosoftMakeCodeを使用してJavaScriptを学ぶためのプロジェクトを開発できる学生でもあり ます。 Jahnkeによると、MakeCodesには通常非常に少数のLEDがあるため、完全な表示機能により、MakeCodeガジェットに接続されたSilicon Squaredディスプレイなどを使用して、学生が作成、実験、およびプログラミングするための多くの範囲が開かれます。



「ExpressivePixelsを使用すると、最小限の労力でアプリ内アニメーションをMakeCodeプログラムやハードウェアの作成に簡単に統合できます」とJahnke氏は言います。



アプリケーション自体がデバイスに保存されているアニメーションを認識しているため、コマンドが異なるとそれに応じて反応します。



Paradisoでのこのおよび他のEnableプロジェクトは、彼女が20年近く一緒にいた会社に対する彼女の情熱を再燃させました。



「非常に多くの人々が集まり、多くの人々が私たち一人一人よりも大きな何かのために働くために個人的な時間を費やしています-それは私たちの会社の価値観と使命に刺激を与え、調和し、それは私を幸せにし、与えますすべての人にとって、より包括的で創造的な未来を望んでいます」とパラディソは述べています。



 Expressive Pixels.