対話評価の受賞者-問題、言語モデル、ML、そしてあなた自身について

計算言語学とインテリジェント技術に関する国際科学会議であるDialogue 2020は、最近終了しました。MIPTのPhystech School of Applied Mathematics and Informatics（FPMI）が初めて会議のパートナーになりました。従来、Dialogueの主要なイベントの1つはDialogue Evaluationです。これは、言語テキスト分析の自動システムの開発者間の競争です。コンテストの参加者が昨年解決した課題について、たとえば見出しを生成したり、テキストで欠落している単語を見つけたりすることについて、Habréについてはすでに話しました。。今日、私たちは今年の対話評価の2つのトラックの受賞者であるVladislav KorzunとDaniil Anastasyevと、テクノロジーコンペティションに参加することにした理由、どのような問題、どのような方法で解決したか、みんなが興味を持っていること、彼らがどこで勉強し、将来何をするかについて話し合いました。猫へようこそ！

対話評価RuREBus-2020トラックの勝者であるウラジスラフコルズン

職業はなんですか？

私はABBYYのNLP Advanced Research Groupの開発者です。現在、エンティティを抽出するためのワンショット学習タスクを解決しています。つまり、小さなトレーニングサンプル（5〜10のドキュメント）がある場合、類似のドキュメントから特定のエンティティを抽出する方法を学ぶ必要があります。このため、この問題を解決するための機能として、標準エンティティタイプ（Person、Location、Organization）でトレーニングされたNERモデルの出力を使用します。また、私たちのタスクと同様の内容のドキュメントでトレーニングされた特別な言語モデルを使用する予定です。

ダイアログ評価で解決したタスクは何ですか？

ダイアログでは、経済開発省のコーパスの特定のドキュメントからエンティティと関係を抽出することを目的としたRuREBusコンテストに参加しました。このケースは、たとえばConllコンテストで使用されたケースとは大きく異なりました。まず、エンティティ自体のタイプは標準ではありませんでした（人、場所、組織）。その中には、名前のない、実質的なアクションさえありました。第二に、テキスト自体は一連の検証済みの文章ではなく、実際のドキュメントであり、さまざまなリスト、見出し、さらには表に至りました。その結果、主な困難はデータ処理で正確に発生し、問題の解決では発生しませんでした。実際、これらは古典的な名前付きエンティティの認識と関係抽出のタスクです。



コンテスト自体には、3つのトラックがありました。NER、特定のエンティティーとのRE、およびエンドツーエンドのREです。最初の2つを解決しようとしました。最初のタスクでは、古典的なアプローチを使用しました。最初に、リカレントネットワークをモデルとして使用し、高速テキストの単語の埋め込み、大文字のパターン、記号の埋め込み、POSタグを機能として使用しました[1]。次に、すでにさまざまな事前トレーニング済みBERTを使用しました[2]。これは、以前のアプローチよりもはるかに優れています。しかし、これはこのトラックで1位になるには不十分でした。





しかし、2番目のトラックでは成功しました。リレーションの抽出の問題を解決するために、SemEval 2010タスク8と同様に、リレーションを分類する問題に限定しました。この問題では、各文に対して、1組のエンティティが与えられ、その関係を分類する必要があります。また、トラックでは、各文に必要な数のエンティティを含めることができますが、エンティティのペアごとに文をサンプリングすることにより、前のエンティティに単純に削減されます。また、訓練中は、訓練サンプルを減らすために、正の数の2倍を超えないサイズで、各文についてランダムに負の例を採用しました。



関係を分類する問題を解決する方法として、BERT-eに基づく2つのモデルを使用しました。最初の例では、BERT出力をNER埋め込みと連結し、自己注意を使用して各トークンの機能を平均化しました[3]。 SemEval 2010タスク8-R-BERT [4]の最良のソリューションの1つが2番目のモデルとして採用されました。このアプローチの本質は次のとおりです。各エンティティの前後に特別なトークンを挿入し、各エンティティのトークンのBERT出力を平均し、結果のベクトルをCLSトークンに対応する出力と組み合わせて、結果の特徴ベクトルを分類します。その結果、このモデルはトラックで1位になりました。コンテストの結果はこちらからご覧いただけます。





[4] Wu、S.、He、Y。（2019年11月）。関係分類のためのエンティティ情報を使用して、事前トレーニング済みの言語モデルを強化します。情報と知識の管理に関する第28回ACM国際会議の議事録（pp。2361-2364）。

これらのタスクで一番難しかったことは何ですか？

最も問題だったのは、ケース処理でした。タスク自体は可能な限りクラシックであり、それらのソリューションには、AllenNLPなどの既製のフレームワークがすでにあります。しかし、答えはトークンスパンの節約で与える必要があるため、追加のコードを大量に記述せずに既成のパイプラインを使用することはできませんでした。したがって、何も見落とさないように、パイプライン全体を純粋なPyTorchで記述することにしました。私はまだAllenNLPからいくつかのモジュールを使用しましたが。



また、コーパスにはかなり長い文が多く含まれていたため、BERTなどの大きなトランスフォーマーを教えるときに不便が生じました。彼らは文の長さが長くなるにつれてビデオメモリを要求するようになります。ただし、これらの文のほとんどはセミコロンで区切られた列挙であり、その文字で区切ることができます。残りのオファーをトークンの最大数で割っただけです。

これまでにダイアログやトラックに参加したことがありますか？

昨年は学生セッションで修士号を取得しました。

なぜ今年、コンテストに参加することにしたのですか？

現時点では、関係を抽出する問題を解決するだけでしたが、別の軍団のためでした。解析ツリーに基づいて別のアプローチを使用しようとしました。あるエンティティから別のエンティティへのツリー内のパスが入力として使用されました。しかし、残念ながら、このアプローチは、トークンからルートまたは構文ツリー内のエンティティの1つへのパスの長さなどのトークンの埋め込みやその他の機能を記号として使用する、リカレントネットワークに基づくアプローチと同じレベルでしたが、強い結果を示しませんでした。構文解析、およびエンティティの相対位置。



このコンテストには、同様の問題を解決するための基礎がすでにあるので、参加することにしました。そして、なぜそれらを競争に適用して公開されませんか？思ったほど簡単ではありませんでしたが、船体との相互作用に関する問題が原因です。結果として、私にとってそれは研究よりも工学的な仕事でした。

他のコンテストに参加したことがありますか？

同時に、私たちのチームはSemEvalに参加しました。イリヤ・ディモフは主にこの仕事に関与していました、私はちょうどいくつかのアイデアを提案しました。プロパガンダを分類するタスクがありました：テキストのスパンが選択され、それを分類する必要がありました。 R-BERTアプローチを使用することを提案しました。つまり、このエンティティをトークンで選択し、その前と後に特殊なトークンを挿入して、出力を平均化します。その結果、これは少し増加しました。これは科学的な価値です。問題を解決するために、まったく異なる何かのために設計されたモデルを使用しました。



また、最初の数年間はスポーツプログラミングのコンテストであるACM icpcのABBYYハッカソンにも参加しました。あんまり遠くないけど、楽しかったです。そのような競争は、いくつかのアプローチを落ち着いて実装し、テストする十分な時間があるダイアログで提示されたものとは大きく異なります。ハッカソンでは、すべてをすばやく行う必要があります。リラックスする時間はありません。お茶はありません。しかし、これはそのようなイベントの美しさです-彼らは特定の雰囲気を持っています。

競技会や職場で解決した最も興味深い問題は何ですか？

GENEAのジェスチャー生成コンテストが間もなく開催されるので、私はそこに行きます。面白いと思います。これは、インテリジェント仮想エージェントに関する ACM- International Conferenceのワークショップです。このコンテストでは、音声に基づいて3D人間モデルのジェスチャーを生成することが提案されています。私は今年のダイアログで同様のトピックについて話し、顔の表情とジェスチャーを音声から自動生成する問題へのアプローチの概要を少し述べました。私は経験を積む必要があります。これは、同様のトピックについて自分の論文を守る必要があるためです。表情、ジェスチャー、そしてもちろん音声を使って、読書の仮想エージェントを作成してみたいと思います。音声合成への現在のアプローチでは、テキストからかなりリアルな音声を生成でき、ジェスチャー生成アプローチでは、音声からジェスチャーを生成できます。では、これらのアプローチを組み合わせてみませんか。

さて、今どこで勉強していますか？

私はMIPTのPhystech応用数学と情報学部の ABBYYの計算言語学科の大学院生です。私は2年後に論文を擁護します。

大学で習得した知識やスキルは、現在どのように役立ちますか

奇妙なことに、数学。私は毎日統合せず、頭の中で行列を掛けませんが、数学は分析的思考と何かを理解する能力を教えます。結局のところ、どの試験にも定理の証明が含まれており、それらを学習しようとしても役に立たないのですが、自分自身を理解して証明し、アイデアだけを思い出すことは可能です。また、優れたプログラミングコースもあり、すべてがどのように機能するかを理解するために低レベルから学び、さまざまなアルゴリズムとデータ構造を分析しました。そして今、新しいフレームワークやプログラミング言語を扱うことは問題になりません。もちろん、もちろん機械学習、特にNLPのコースがありましたが、それでも基本的なスキルのほうが重要だと思います。

ダイアログ評価GramEval-2020トラックの優勝者、Daniil Anastasyev

職業はなんですか？

音声アシスタント「アリス」を開発しており、意味グループの検索に取り組んでいます。アリスに寄せられたリクエストを分析します。クエリの標準的な例は、「明日のモスクワの天気は？」です。これは天候に関するリクエストであり、リクエストは場所（モスクワ）について尋ね、時間（明日）の表示があることを理解する必要があります。

ダイアログ評価トラックの1つで、今年解決した問題について教えてください。

私はABBYYがしていることに非常に近い仕事をしていた。文を分析し、形態学的および構文分析を行い、補題を定義するモデルを構築する必要がありました。これは、彼らが学校で行うこととよく似ています。モデルを作成するのに約5日かかりました。







モデルは通常のロシア語で研究されましたが、ご覧のように、問題のあった言語でも機能します。

これはあなたが仕事でしていることのように聞こえますか？

おそらく違います。ここでは、このタスク自体にはあまり意味がないことを理解する必要があります。重要なビジネス上の問題を解決するフレームワーク内のサブタスクとして解決されます。たとえば、私がかつて働いていたABBYYでは、形態素構文解析が情報抽出の問題を解決する最初の段階です。私の現在のタスクのフレームワーク内では、そのような分析は必要ありません。ただし、BERTなどの事前トレーニング済みの言語モデルを使用した追加の経験は、確かに私の仕事に役立つと感じています。一般的に、これが参加の主な動機でした-私は勝ちたくはありませんでしたが、練習していくつかの有用なスキルを身につけたいと思っていました。さらに、私の卒業証書は、問題のトピックに部分的に関連していました。

以前にダイアログ評価に参加したことがありますか？

5年目のMorphoRuEval-2017トラックに参加し、その後1位を獲得。次に、構文関係ではなく、形態と補題のみを定義する必要がありました。

現在、モデルを他のタスクに適用することは現実的ですか？

はい、モデルを他のタスクに使用できます-すべてのソースコードを投稿しました。軽量で高速ですが精度の低いモデルを使用してコードを投稿する予定です。理論的には、誰かが望めば、現在のモデルを使用できます。問題は、ほとんどの場合、大きすぎて遅くなることです。競争では、誰もスピードを気にしません。可能な限り最高の品質を達成することは興味深いですが、実際のアプリケーションでは、すべてが通常逆です。したがって、そのような大きなモデルの主な利点は、何を犠牲にしているのかを理解するために、どの品質が最も達成可能かを知ることです。

なぜダイアログ評価や他の同様のコンテストに参加するのですか？

ハッカソンやそのようなコンテストは私の仕事とは直接関係ありませんが、それでもやりがいのある経験です。たとえば、昨年AIジャーニーハッカソンに参加したとき、自分の仕事で使用するいくつかのことを学びました。課題は、ロシア語で試験に合格する方法、つまりテストを解いてエッセイを書く方法を学ぶことでした。これらすべてが仕事とはほとんど関係がないことは明らかです。しかし、いくつかの問題を解決するモデルをすばやく思いついてトレーニングする機能は非常に便利です。ちなみに、僕のチームと僕が優勝した。

大学ではどのような教育を受け、何をしましたか？

彼はモスクワ物理工学研究所の計算言語学部ABBYYの学士号と修士号を卒業し、2018年に卒業しました。彼はまた、データ分析学部（SHAD）で学びました。2年目で基本的な部門を選択するとき、ほとんどのグループはABBYYの部門に行きました-計算言語学または画像認識とテキスト処理。学部課程では、上手にプログラムするように教えられました-非常に役立つコースがありました。4年目からABBYYで2。5年間働きました。まず、形態グループでは、ABBYY FineReaderでのテキスト認識を改善するために、言語モデルに関連するタスクに従事しました。私はコードを書き、訓練されたモデルを作りましたが、今は同じことをしていますが、製品はまったく異なります。

余暇はどのように過ごしますか

私は本を​​読むのが大好きです。季節によっては、走ったり、スキーをしたりしています。旅行中の写真撮影が好きです。

次の5年間の計画や目標はありますか？

5年間は計画範囲が遠すぎます。5年の実務経験すらありません。過去5年間で多くの変化があり、今では明らかに人生とは異なる感覚があります。他に何が変わるかは想像もできませんが、海外で博士号を取得することを考えています。

計算言語学に従事し、旅の始まりにいる若い開発者にどのようなアドバイスをすることができますか？

練習して、試して、競うのが一番です。完全な初心者は、多くのコースのいずれかを受講できます。たとえば、SHAD、DeepPavlov、または私自身のコースで、ABBYYでかつて教えていました。

---

, ABBYY : () (). 15 brains@abbyy.com , , GPA 5- 10- .



, ABBYY – .