ML + HCI：機械学習と人間とコンピューターの相互作用の交差点で調査されているもの

多くの人は、ヒューマンコンピュータインタラクション（HCIまたはヒューマンコンピュータインタラクション）の分野はサイトまたはアプリケーションの設計に限定されており、専門家の主なタスクは、いいねボタンを数ピクセル増やすことでユーザーを満足させることであると確信しています。この記事では、これがまったく当てはまらないことを示し、機械学習と人工知能の研究とのインターフェースでHCIで何が起こっているかを説明します。おそらくこれにより、読者はこの領域を新しい視点から見ることができます。 



概要については、「CHI：コンピューティングシステムにおけるヒューマンファクターに関する会議」の議事録を10年間取り上げ、NLPとソーシャルネットワーク分析の助けを借りて、分野が交差するトピックと領域を調べました。





 



ロシアでは、UXデザインの応用問題に特に重点が置かれています。海外でのHCIの成長に貢献したイベントの多くは、私たちの国では発生しませんでした：iSchoolsは現れませんでした、工学心理学の関連する側面に関与した多くの専門家は科学を去りました。この結果の1つは今でも見ることができます。これは、主要な会議でのロシアのHCI作業の非常に低い代表です。 



しかし、ロシア以外では、HCIはさまざまなトピックや分野に重点を置いて、非常に異なる方法で発展してきました。修士課程「情報システムと人間とコンピュータの相互作用について「サンクトペテルブルグHSEでは、特に、学生、同僚、ヨーロッパの大学の同様の専門分野の卒業生、プログラムの開発を支援するパートナーと、人間とコンピュータの相互作用の分野について話し合います。そして、これらの議論は、各スペシャリストが独自の不完全な分野の写真を持っている方向の異質性を示しています。 



この方向が機械学習およびデータ分析とどのように関連しているか（およびそれがまったく関連していないか）についての質問を時々耳にします。それらに答えるために、私たちはCHI会議で発表された最近の研究に目を向けました。



最初に、xAIやiML（説明可能な人工知能や解釈可能な機械学習）などの領域で何が起こっているかを説明します。 インターフェイスとユーザーの側から、またHCIでデータサイエンティストの作業の認知面をどのように研究するか、そして各分野での近年の興味深い作業の例を示します。

xAIとiML

機械学習技術は集中的に開発されており、さらに重要なのは、議論されている領域の観点から、自動意思決定に積極的に実装されていることです。したがって、研究者は次の質問についてますます議論しています：非機械学習のユーザーは、同様のアルゴリズムが使用されているシステムとどのように相互作用するのですか？この相互作用の重要な質問の1つ：モデルによって行われた決定をユーザーに信頼させる方法は？そのため、インタープリター型機械学習（インタープリタブル機械学習-iML）および説明可能な人工知能（eXplainable Artificial Intelligence-XAI）のトピックは、ますます熱くなっています。 



同時に、NeurIPS、ICML、IJCAI、KDDなどの会議でiMLとXAIのアルゴリズムと手段が議論される場合、CHIはこれらのシステムを使用する設計機能と経験に関連するいくつかのトピックに焦点を当てます。たとえば、CHI-2020では、「AI / MLとブラックボックスの透視」や「AIへの対処：agAInではない！」など、いくつかのセクションが一度にこのトピックに費やされました。しかし、別のセクションが現れる前でさえ、そのような作品はたくさんありました。その中で4つの領域を特定しました。

応用問題を解くための解釈システムの設計

最初の方向は、医療、社会などのさまざまな応用問題における解釈可能性アルゴリズムに基づくシステムの設計です。そのような作業は、非常に異なる領域で発生します。たとえば、CHI-2020 CheXplainでの作業：医師がデータ駆動型のAI対応医療画像分析を探索および理解できるようにする 医師が胸部X線の結果を調べて説明するのに役立つシステムについて説明しています。彼女は、追加のテキストおよび視覚的な説明だけでなく、同じで反対の結果（サポートおよび矛盾する例）の写真も提供しています。X線で病気が見えるとシステムが予測した場合、2つの例が表示されます。最初の支持例は、同じ疾患を確認した別の患者の肺のスナップショットです。2番目の矛盾する例は、疾患がないスナップショット、つまり健康な人の肺のスナップショットです。主なアイデアは、明白なエラーを減らし、診断をより速くするために簡単なケースでの外部相談の数を減らすことです。

CheXpert：自動化された領域選択+例（可能性が低いvs間違いなく） 

機械学習モデルを研究するためのシステムの開発

2番目の方向は、いくつかの方法とアルゴリズムをインタラクティブに比較または組み合わせるのに役立つシステムの開発です。たとえば、CHI-2020 のSilva：因果関係を使用した機械学習の公平性のインタラクティブな評価の作業では、ユーザーデータにいくつかの機械学習モデルを構築し、その後の分析の可能性を提供するシステムが提示されました。分析には、変数間の因果関係のグラフの作成と、精度だけでなくモデルの公平性（統計的パリティ差、機会均等差、平均オッズ差、異なる影響、テイルインデックス）も評価するいくつかのメトリックの計算が含まれ、バイアスの特定に役立ちます予測で。





Silva：変数間の関係のグラフ+公平性メトリックを比較するためのグラフ+各グループの影響力のある変数のカラーハイライト 

モデルの解釈可能性の一般的な問題

3番目の領域は、モデル一般の解釈可能性の問題に対するアプローチの説明です。ほとんどの場合、これらはレビュー、アプローチの批評、未解決の質問です。たとえば、「解釈可能性」が意味するものなどです。ここで、CHI-2018の傾向と軌道での説明可能な、説明責任のある、わかりやすいシステムのレビュー：HCI研究アジェンダに注目します、著者は人工知能の説明に関する289の主要な論文とそれらを引用する12,412の出版物をレビューしました。彼らは、ネットワーク分析とテーマ別モデリングを使用して、4つの主要な研究領域を特定しました。説明：因果関係と認知心理学、4）双方向性と学習可能性。さらに、著者らは主な研究動向、つまりインタラクティブな学習とシステムとの相互作用について説明しました。

ユーザー調査 

最後に、4番目の領域は、機械学習モデルを解釈するアルゴリズムとシステムに関するユーザー調査です。言い換えると、これらは実際に新しいシステムがより明確かつ透明になってきているかどうか、元のモデルではなく解釈モデルを使用するときにユーザーが直面する困難、システムが計画どおりに使用されているかどうかを判断する方法（または新しいアプリケーションが見つかった）の研究です-おそらく間違っている）、ユーザーのニーズは何か、開発者が本当に必要なものを開発者に提供するかどうか。



解釈ツールとアルゴリズムはたくさんあるので、問題が発生します。どのアルゴリズムを選択するかを理解するにはどうすればよいですか。ではEXPLAIN可能AIのユーザーエクスペリエンスのために知らせるデザインプラクティス：AIを問います説明アルゴリズムを使用する動機の問題が議論され、さまざまな方法のすべてではまだ十分に解決されていない問題が識別されます。著者は予想外の結論に達しました。既存のメソッドのほとんどは、「なぜ」（「なぜ私はそのような結果が出たのか」​​）の質問に答えるように構築されていますが、ユーザーは「なぜ（なぜ）ない」（「なぜ別の "）ではなく、時々-"結果を変更するために何をすべきか " 



また、ユーザーはメソッドの適用範囲の限界とは何か、それらにはどのような限界があるのか​​を理解する必要があると述べています。これは提案されたツールに明示的に実装する必要があります。この問題は記事でより明確に示されています解釈可能性の解釈：データサイエンティストによる機械学習のための解釈可能性ツールの使用について理解します。著者は、機械学習の分野のスペシャリストと小規模な実験を行いました。彼らは、機械学習モデルを解釈するためのいくつかの一般的なツールの結果を示し、これらの結果に基づいて意思決定に関する質問に答えるように求めました。専門家でさえ、そのようなモデルを過度に信頼し、結果を批判的に受け取らないことがわかりました。他のツールと同様に、説明モデルは誤用される可能性があります。ツールキットを開発する場合、潜在的なユーザーの特性とニーズを考慮に入れるために、人間とコンピューターの相互作用の分野で蓄積された知識（または専門家）を使用して、これを考慮に入れることが重要です。 

Data Science, Notebooks, Visualization 

HCIのもう1つの興味深い領域は、データの操作の認知的側面の分析です。最近、科学は研究者の「自由度」（データ収集、実験計画、分析方法の選択の特徴）が研究結果とその再現性にどのように影響するかという問題を提起しています。議論と批判の多くは心理学と社会科学に関連していますが、多くの問題は、一般にデータ分析者の仕事における結論の信頼性と、これらの調査結果を分析消費者に伝達することの困難さに関係しています。



したがって、このHCI領域の主題は、モデル予測の不確実性を視覚化する新しい方法の開発、さまざまな方法で実行された分析を比較するためのシステムの作成、Jupyterノートブックなどのツールを使用したアナリストの作業の分析です。

不確実性の視覚化

不確実性の視覚化は、科学的グラフィックをプレゼンテーションやビジネスの視覚化と区別する機能の1つです。かなり長い間、ミニマリズムの原則と主要なトレンドに焦点を当てることは、後者の鍵と考えられていました。ただし、これは、マグニチュードまたは予測のポイント推定におけるユーザーの過剰な信頼につながります。これは、特に予測をさまざまな程度の不確実性と比較する必要がある場合に重要になる可能性があります。分位点ドプロットまたはCDFを使用したジョブの不確かさの表示は、通過の意思決定を改善しますは、散布図と累積分布関数の予測における不確実性の可視化が、モバイルアプリケーションのデータからバスの到着時間を推定する問題の例を使用して、ユーザーがより合理的な決定を行うのにどのように役立つかを調べます。特に素晴らしいのは、著者の1人がR のggdistパッケージを、不確実性を視覚化するためのさまざまなオプションで管理していることです。 





不確実性の視覚化の例（https://mjskay.github.io/ggdist/）



ただし、たとえば、Web分析やアプリケーション分析でのユーザーアクションシーケンスなど、可能な選択肢を視覚化する際に問題が発生することがよくあります。Event Sequence Predictionsで不確実性と代替案を視覚化する作業では、モデルのTime-Aware Recurrent Neural Network（TRNN ）に基づいて代替案のグラフィカル表現が専門家が決定を行い、それらを信頼するのにどのように役立つかを分析します。

モデルの比較

不確実性を視覚化するのと同様に、アナリストの作業の側面は、すべての段階でモデリングへの研究者の異なるアプローチの選択がどのように異なる分析結果につながるかを比較することです。心理学と社会科学では、研究デザインの事前登録と探索的研究と確認的研究の明確な分離が人気を集めています。ただし、研究がよりデータ駆動型であるタスクでは、モデルを比較することによって分析の隠れたリスクを評価できるツールを代替手段とすることができます。調査可能なマルチバース分析で研究論文の透明性を高める作業記事の分析に対するいくつかのアプローチのインタラクティブな視覚化の使用を提案しています。本質的に、この記事はインタラクティブなアプリケーションに変わり、読者は、異なるアプローチが適用された場合に結果と結論で何が変わるかを評価できます。これは、実用的な分析にも役立つようです。

データを整理および分析するためのツールの操作

作業の最後のブロックは、データ分析を整理するための一般的なツールとなったJupyter Notebooksなどのシステムをアナリストがどのように使用するかに関する研究に関連しています。計算ノートの記事の探索と説明は、Githubインタラクティブドキュメントにある学習の目的の説明と説明の矛盾、および計算ノートのメッセの管理を分析します。著者は、ノート、コードの一部、および視覚化が反復的なアナリストワークフローでどのように進化するかを分析し、このプロセスをサポートするツールへの可能な追加を提案します。最後に、すでにCHI 2020では、データのロードからモデルの本番への転送までのすべての作業ステージにおけるアナリストの主な問題、およびツールの改善に関するアイデアが、「計算ノートの問題点」にまとめられています。課題、ニーズ、設計の機会。





実行ログに基づくレポート構造の変換（https://microsoft.github.io/gather/）

まとめ

「HCIは何をするのか」と「HCIスペシャリストはなぜ機械学習を知っているのか」という議論の一部を終えて、これらの研究の動機と結果から一般的な結論を繰り返し述べたいと思います。人がシステムに現れるとすぐに、これは多くの追加の質問にすぐにつながります：システムとの対話を簡素化してエラーを回避する方法、ユーザーがシステムを変更する方法、実際の使用が計画されたものと異なるかどうか。その結果、人工知能を使用したシステムの設計プロセスがどのように機能するかを理解し、人的要因を考慮する方法を知っている人が必要です。 



私たちは修士課程でこれらすべてを教えます " 情報システムと人間とコンピュータの相互作用」HCIの研究に興味がある場合は、ライトをチェックしてください（入学キャンペーンが始まったばかりです）。または、私たちのブログをフォローしてください。学生が今年取り組んでいるプロジェクトについて詳しくお伝えします。