FlexiNLP：ABBYYで使用されている自然言語分析のテクノロジー

私たちは、ABBYYにされてい扱う自然言語処理（NLP）の問題に長い時間のために 。自然言語処理テクノロジーは、データを検索および抽出するためのABBYYのNLPソリューションの多くの中心です。彼らの助けを借りて、我々は、産業巨人NPOエネゴマシュが助けた 文書によると、検索を行うために、ほぼ100年間、企業に蓄積され、大きなバンクの一つ の用途巨大なニュースの流れを監視し、リスクを管理する当社のテクノロジー。この投稿では、ソリッドテキストから情報を抽出するためにNLPテクノロジーが内部でどのように機能するかを説明します。表のテキストや委託書などの明確に構造化された形式については説明しませんが、複数ページの非構造化文書（賃貸契約、医療記録など）について説明します。



次に、これが実際にどのように機能するかを示します。たとえば、200ページの銀行契約からXエンティティをX分で抽出する方法。法的な契約が正しいことを確認するか、医療記事のコレクションからまれな副作用に関する情報をすばやく入手してください。私たちの経験では、企業と人々の両方の幸福はデータに依存しているため、企業はそのようなデータをエラーなしで迅速に取得する必要があることが示されています。



投稿の最後に、そのようなプロジェクトを実施する際に遭遇したいくつかの問題に言及し、それらをどのように解決したかについての経験を共有します。さて、猫へようこそ。

では、私たちは何をしているのでしょうか？

一般に、自然言語処理および分析テクノロジーでは、電子メール内のスパムのフィルタリング、機械翻訳システムの作成、音声の認識、チャットボットの開発とトレーニングなど、多くのことが可能です。 ABBYYのNLPテクノロジーは、銀行、産業、その他の組織がビジネスドキュメントから大量の情報をすばやく抽出して構造化するのに役立ちます。大企業は長い間、手動の日常的な操作の数を自動化するか、少なくとも削減しようと努めてきました。紙の文書で日付、氏名、金額、TIN、請求書番号を検索することについて話しています。データを企業の情報システムに再印刷し、すべてが正しく入力されているかどうかを確認します。



最初は、幾何学的特徴、特に線とフィールドの構造と配置に基づいてドキュメントからテキストを抽出できたことを思い出してください。したがって、構造化された質問票、厳密なフォーム、質問票、申請書、国勢調査フォームなどからの情報を処理することは依然として便利です。ちなみに、私たちはそのようなケースについてハブレについて話しました-バングラデシュ保健省は 、ABBYY FlexiCaptureの助けを借りて 、共和国の住民が記入した国勢調査の質問票を処理しました。



重要な情報がフォームだけでなく保存されていることは明らかであるため、構造がまったくないか非常に複雑なドキュメントからデータを「抽出」するようにNLPソリューションをトレーニングしました。おそらく多くの人が覚えています 自然言語の分析と理解のためのABBYYCompreno。私たちはこの技術を開発および改善し、その後、それが多くのNLPソリューションの基礎を形成しました。NLPを使用するケースの1つは、ロシアのいくつかの大手銀行でニュースを監視するプロジェクトです。要するに、私たちのエンジンは、銀行の引受人、つまり膨大な情報の流れからカウンターパーティに関するイベントをキャッチし、リスクを評価する人の仕事を実行することができます。詳細については、 こちらをご覧ください。



以下では、別の側面について説明します。契約書、医療記録、さまざまなソースからのニュースなどの非構造化ドキュメントからの情報の抽出です。

NLPテクノロジーの仕組み

概念的には、ABBYY FlexiCaptureにロードされてから必要なフィールドが抽出されるまでのドキュメント処理は、次のようになり





ます。50ページの契約から、署名の日付と場所、および参加企業の名前を抽出する必要があるとします。 。50ページ、カール！そして、たくさんの日付があります！クライアントが探しているページを見つけるにはどうすればよいですか？テクノロジーは、これをいくつかの段階で行うのに役立ちます。

セグメンテーション段階

次に、ドキュメントが セグメント化されます。つまり、情報を検索する領域を絞り込み、50ページすべてではなく、たとえば、必要な日付が含まれる段落ごとに5つのセグメントのみを処理します。そのため、アルゴリズムが機能し、必要な日付を他の日付と区別するのがはるかに簡単になります。



図のセグメンテーションの右側にあるすべての段階では、NLPアルゴリズムの 操作、つまりテキストの詳細な調査、読み取り、理解について説明しています。これらのプロセスは、分類とセグメンテーションよりも10〜20倍長くかかるため、複数ページのドキュメント全体で実行することは完全には正しくありません。少量のテキストにそれらを「扇動」する方が簡単です。

NLPパーサー+ Bi-LSTMのしくみ

彼らの助けを借りて、記号（特徴）がテキストの各文から抽出されます。これは、FlexiCaptureの一部として機能するABBYYComprenoテクノロジーです。エンジンはテキストを詳細に読み取り、そこから多くの一般化機能を抽出します。彼は、この文で具体的に何が定式化されているかだけでなく、その意味、つまり実際に何を意味しているのかも理解しています。



特徴抽出は長いステップです。高レベルの兆候があります。大まかに言えば、このフラグメントでは、名前のようなものが、あるセマンティッククラスのオブジェクトを使用したアクションのようなものを実行することを示しています。次に、抽出された高レベルの特徴に、かなり単純で古典的なML-GBM法が適用されます。これは、一般的なソリューションを提供し、抽出されたフィールドを強調表示する決定木のアンサンブルです。GBMが迅速に学習し、質の高い情報を抽出するには、トレーニングに十分な数のドキュメントを用意することが重要です。それらが少ないと、情報抽出の品質が低下する可能性があります。これは、ケースのコアが小さくなり、したがって、個々のケースを頻繁なケースと区別するために、「マシン」の一般化が悪くなるという事実によるものです。

どこで使われていますか？

これが私たちの実践からのいくつかの例です-実装されたプロジェクト、パイロットまたはコンセプトケース。



金融機関向けNLP





お客様から、請求書（請求書）や発注書の処理を依頼されることがよくあります。一部のデータ（またはフィールド）、テキストまたはアドレスを含むブロックは、キーワードに依存して、従来の方法を使用して抽出できます。ただし、テキストブロックの内部を調べる必要がある場合は、NLPが必要です。また、住所を含むブロック全体ではなく、この住所の一部（番地、州、市、郵便番号、国）のみを「取得」する必要がある場合もあります。または、請求書で特定の日付より前に支払いが必要な場合は、日付と割引率を解析する必要があります。当社のテクノロジーは、このような変数を考慮に入れるのに役立ちます。前払いまたは一括払いの場合の注文の費用と、後払いの場合の費用です。



また、大企業の法務部門がサービス契約、進捗レポート、NDA（非開示文書）から重要なデータを抽出するのを支援します。商業賃貸契約を扱う私たちのプロジェクトの1つを例として取り上げましょう。これらは30ページのドキュメントであり、顧客が以前に情報システムに手動で入力した各ページのフィールドからのデータです。これは通常、1つのドキュメントに1時間かかりました。 FlexiCaptureは2分でタスクを完了し、クライアントの計算によれば、年間5000人時間を節約しました。



またはローン契約を取ります。ローンは人だけでなく大企業も受けています。これを行うために、彼らは銀行に大量の文書パッケージを提供します。利用可能な商業ローンについての情報を考えてみましょう。そして、これは600万ルーブルの住宅ローンではなく、1億ドルの住宅ローンです（建物、オフィス用）。そして、銀行はそのような250ページのドキュメントから50〜70のエンティティまたは条件を抽出する必要があります。お客様の計算によると、手動で処理するのに長い時間がかかりました-ドキュメントごとに2〜3時間。 FlexiCaptureを使用すると、すべてが9分で準備が整いました。すぐにではなく、私たちは理解しています。その理由は、ドキュメントのデザインにあります。通常、ドキュメントには高密度のテキストがあり、多数の異なるエンティティを抽出する必要があります。二番目ではない:)



ローン申請も頻繁に処理されます。これは、銀行がクライアントに送信する質問を含む予備文書です。融資額が多ければ多いほど、そのような質問票には多くの質問があります。たとえば、勤務先の情報で、銀行はIDと正式な住所を示すように要求する場合があります。銀行は、多くの場合、結婚状況、ローンの利用可能性、公益事業の債務、扶養手当、およびローンの返済を妨げる可能性のあるその他の事項に関する情報の明確化を要求します。ローン申請書の質問は非常に複雑な場合があるため、一部の企業は、顧客がクライアントに求めるものを人間的な方法で理解して説明するために、顧客が法定言語から公用語に翻訳するのを支援しています。



このような完成したドキュメントを処理する際の主な問題は、フィールドの数が多いことです（この場合、105個ありました）。銀行員が混乱するのは簡単ですが、これでテクノロジーがダウンすることはありません。 FlexiCaptureは、従業員のすべてに5分を費やします（最大2〜3時間）。彼らが言うように、違いを感じてください。 ABBYYのプロジェクトの



ヘルスケア



部分は、医療文書からの情報の抽出に関連しています。





たとえば、NLPを使用すると、科学的な医療記事の要約を処理できます。薬理学にはそのような方向性があります-ファーマコビジランス。まだ説明されていない患者に新薬が引き起こす可能性のある副作用を調査しています。医療機関は、患者からそのような重大な症例に関する情報を収集し、それらに関する詳細なレポートを作成します-個別症例安全性レポート（ICSR）。新しいピルが人に害を及ぼす場合、製造業者はこれを規制機関に迅速に報告する必要があります。そうしないと、多額の罰金が科せられる可能性があります。このような結果を回避するために、製薬会社の優秀な従業員はICSRを大量に読んでいます。かなり退屈な作業です。



これらを使ってテクノロジーをパズルするのははるかに簡単です。ファーマコビジランスパイロットの一環として、当社の技術は、患者の性別や年齢、患者に起こった出来事に関する情報、薬の名前などの医療記事からデータを抽出しました。最後のものを除くすべてが機械学習を使用して抽出されました。しかし、薬の名前については、より簡単な方法、つまり辞書を使用しました。肝心なのは、クライアントが記事からすべての可能な薬を抽出するのではなく、80の名前のリストから薬を抽出するように要求したということです。この場合、辞書の照合は問題なく機能しました。辞書もFlexiCaptureNLPの一部です。形態学は、薬の名前を見つけるために使用されます。単語がどのような形式または登録で書かれているかは関係ありません。特に英語では、それほど多くはありません。



通過する情報が多いため、ケース履歴の処理も自動化されます。これらは、表、領収書、および保険会社の決定の説明です。たとえば、米国の規制当局の1つは、保険に関する患者からの苦情を受け入れています。保険会社が治療費の支払いを拒否することがあります。理由は異なる場合がありますが、患者はそれを理解して政府機関に申請する権利があります。そして、規制当局は情報を分析して評決を下さなければなりません、拒否は本当に正当化されましたか？



FlexiLayoutを使用してテーブルを簡単に処理できる場合は、保険で処理しないことを決定したテキスト。 NLPを使用して、ソリューション自体とその理論的根拠をテキストから抽出しました。



患者が1つの病院から別の病院に転院するときは、病歴を注意深く分析する必要があります。私たちがコロナウイルスの時代に生きていることを考えると、そのような患者が多いこともあり、病院のスタッフがあまりにも多くの事務処理に対処することは困難です。私たちが参加した事件は王冠とは何の関係もありませんでしたが、潜在的に私たちの経験はまだ貴重です。



不動産



-私たちの潜在的なクライアントの1つは、建設やオフィスのために多くの土地を借りています。したがって、同社は 多くの賃貸借契約を締結している..。彼女はそのようなドキュメントを自動的に処理する必要があります。日付と期限をドキュメントから抽出して、後で支払いを逃したかどうか、リースが終了したとき、契約が自動的に更新された場所、すべての費用を追跡できるようにします。



-建設会社には、ポートフォリオアナリストなどのスペシャリストもいます。 ..。彼らは契約を分析し、特定の不動産の費用を調べ、それがどれだけ良いか、そしてそれが所有者にどれだけの収入をもたらすことができるかを評価するのに役立ちます。銀行の得点のように。ちなみに、米国では住宅ローンのパッケージを販売または部分的に購入することができます。これはセキュリティであり、価格が上下することもあります。たとえば、不動産価格が上昇した場合、より安価な住宅ローンを借り換えることができます。そして、すべてが安くなると、クライアントはこの紙を捨てようとします。



このような契約には、NLPを使用する場合と使用しない場合の両方で取得される情報があります。表形式のデータ-FlexiLayoutを使用します（これは以前に実行できたことです）。また、他のすべてのフィールドは、セグメンターによって抽出される段落、または抽出モデルによって抽出される段落内のフィールドです。



NLPテクノロジの利点は、より多くの種類のフィールドとドキュメントを処理できる別のメカニズムであるということです。





-私たちのクライアントの1つは、条件付きで私たちのSNTである 住宅所有者協会です。新しい参加者がそのようなSNTを締結すると、9種類のドキュメントのパッケージが提供されます-証書（これは売買契約の場合があります）。次に、これらの完成したドキュメントのデータを処理、検証し、情報システムに入力する必要があります。それらのうちの8つは、FlexiLayoutによって構造化および処理されます。しかし、キャッチで9日。このプロジェクトを完了するために、当社は構造化されていない行為も処理する必要がありました。



これは、NLPを使用して行ったことです。一方で、ドキュメント自体はそれほど大量ではありません。1〜2ページです。一方、それらは非常に多様で質が悪い。それにもかかわらず、私たちのソリューションは必要な情報を抽出することができました。このプロジェクトは、NLP部分が非常に小さい可能性があるという点で興味深いものですが、それなしではプロジェクトを完了できないため、同時に重要です。



-NLPは、契約承認のプロセスを自動化する必要があります （契約承認自動化）。多くの場合、企業は基本契約を締結します。これは、将来の多くの業務の一般条件を定めたフレームワーク（マスター）契約です。たとえば、クライアントが何を実行する必要があるか、どの時間枠で、どのような遅延に対する制裁、いつサービスに支払うかなどです。



契約を自動的に承認するプロセスは次のようになります。ドキュメントから特定の数のフィールドと条件（句）を抽出します。フィールドは1つ以上の単語であり、句は長い説明を含めることができる1つ以上の段落です。企業は、フィールドのドキュメントにインデックスを付け、電子ストレージに入れて検索するために、フィールドを抽出する必要があります。条項では、承認が発生します-条件が正しいかどうかを確認します。抽出された技術用語は、基本契約の用語と比較されます。すべてが一致すれば、会社にリスクはありません。契約を自動的に承認（レビュー）してデータベースに送信できます。これにより、弁護士の生活がはるかに楽になります。同じ種類の契約を処理する代わりに、より重要なタスクに切り替えることができます。契約は、システムがドキュメントでメインの契約との不一致を明らかにした場合にのみレビューする必要があります。

すべてのNLPプロジェクトを統合するもの

金額と住所を認識する構造化された請求書では、必須フィールドがどこにあるかがすぐにわかり、ドキュメント自体が1ページまたは数ページを占めます。非構造化ドキュメントの場合、どのデータとどこから抽出するかをすばやく決定できるとは限りません。これがNLPプロジェクトの主な機能です。さらに、ドキュメント自体は1ページではなく、100〜200ページを占めます。したがって、要件を作成する段階で、最初に、取得する必要のある数十のフィールドのリストを作成するようにお客様に依頼します。このようなプロジェクトでは、対象分野の専門家、つまりこの分野の専門家の参加が必要です。専門家は、ドキュメントから何をどのような場合に抽出する必要があり、どのようなニュアンスに注意を払う必要があるかという質問に答えます。



顧客は、ドキュメントから一度に数百のフィールドを抽出するように要求することがあります。このアプローチは建設的なものではなく、プロジェクトの要件について話し合うのに1か月以上かかるという事実につながります。そのため、原則として、数百のフィールドから始めるのではなく、10から始めて、要件を明確にし、すべてがどのように機能するかを示します。その結果、私たちとお客様の両方が、プロジェクトのさらなる段階とマイルストーンを理解しています。



また、NLPを含む機械学習のMLプロジェクトには、代表的なサンプルが必要です。これは、システムがトレーニングされる顧客ドキュメントのサンプルです。多いほど良いです。

結論

これらの例を使用して、テクノロジーが主要なリソースである時間を節約するのにどのように役立つかを示しました。英語では、このスキームはwin-winと呼ばれます。ロボットは反復的なタスクを実行し、従業員はよりインテリジェントで興味深いプロジェクトに従事するために手を解放します。専門家ではなく機械が日常業務に従事している企業は、顧客とのやり取りをより効率的に構築し、特定のドキュメントの処理におけるエラーを回避し、収益性をより早く向上させることができます。