100年近く蓄積されたドキュメントを検索する方法。NPOEnergomashとABB​​YYの経験

多くの人は、ABBYYがさまざまなドキュメントからデータを処理および抽出することを知っています。しかし、当社の製品には他にも興味深い可能性があります。特に、ABBYYインテリジェント検索ソリューションを使用すると、企業システムの電子ドキュメントで意味のある情報をすばやく便利に検索できます。これは、ロケットエンジンメーカーのNPO Energomashなど、ロシアの大手企業ですでに使用されています。



長期的な慣行では、宇宙エンジンを市場に投入するのにかかる時間は、作業開始から5〜7年であることが示されています。同時に、主導的地位を維持するためには、開発・製造期間を3〜4年に短縮する必要があります。さらに、競争の激化により、製造されたエンジンのコストを30〜50％大幅に削減する必要が生じています。



これらの指標は、最新のデジタル技術の導入なしには達成できません。最先端の企業は、生産のすべての段階だけでなく、製品のライフサイクルのすべての段階でも革新的なアプローチを使用しています。デジタル化する企業が増えるほど、問題はより深刻になります。ビッグデータを最大限に活用するにはどうすればよいのでしょうか。



NPO Energomashは、90年以上の作業で、テスターとデザイナーの開発に関する貴重な情報を含む1世紀前のドキュメント（紙と電子の両方）を蓄積してきました。ほとんどのドキュメントは、すでに会社の情報システム（IS）に保存されています。IDCの調査によると、平均して、大規模な組織の従業員は5〜6の内部ISを使用します。平均して、時間の約36％が情報の検索に費やされています。大企業では、これは1日あたり数千時間の労働時間です。



本日は、NPO EnergomashがABBYYインテリジェント検索に基づく企業インテリジェント情報検索システム（KIIPS）の作成をどのように支援したかを説明します。これは、人気のある検索エンジンと同じくらい便利で高速です。

Energomashは何をし、Gagarinはそれと何の関係がありますか

Energomashは、設立の日から1929年5月15日まで、ロシアだけでなく海外でも発射車両用に12,000を超えるエンジンを製造してきました。これらの「モーター」は、最初の人工地球衛星を発射するために使用され、最初の宇宙飛行士ユーリ・ガガーリンを乗せて宇宙「Vostok-1」に入り、宇宙飛行機「ブラン」を飛行し、アメリカの発射車アトラスとアンタレスはまだ発射されています。例えば、2020年3月26日ロケットアトラスVは、ロシアのエンジンを搭載したもたらした米軍の戦略的な衛星通信システム軌道に。 2020年の前半、Energomashによって開発されたエンジンは、11回の宇宙打ち上げで成功しました。これは、世界のすべての打ち上げの24.4％です。



今日、Energomashは国営企業Roscosmosの一部であり、この業界の主要企業を含むロケット推進の統合構造を率いています。



近年、同社はデータ分析、機械学習、および自然言語処理技術のすべての機能を幅広く活用する大規模なITソリューションを積極的に導入しています。同社は2021年までに完全デジタル製造の戦略目標を設定しました。



たとえば、プロジェクト「デジタル設計および生産技術」の枠組みの中で»重要なタスクの1つは、PLMシステム（自動化された製品ライフサイクル管理システム）の実装でした。その目標は、NPO Energomashの技術部門と生産部門でのエンジンの動作とその他の作業プロセス、および業界企業間のECDの交換の準備に基づいて、電子設計文書（ECD）の作成とモデリングを確実にすることです。

Energomashの宇宙を検索する必要があったのはなぜですか

デジタルプロダクションを作成するという戦略的目標を達成するために、同社は大量のデータを使用した作業に基づいてさまざまなプロジェクトを実施しています。そのひとつが、企業のインテリジェントな情報検索システムを構築するプロジェクトです。



このプロジェクトの目標は、何十年にもわたって蓄積された企業の知識と能力を維持し、増加させ、デジタル制作のサービスに投入することです。



プロジェクトの枠組みの中で、2つのタスクが解決されました：



1）。設計者やエンジニアが過去数年間のドキュメントで有用な情報を簡単に見つけられるようにします。



USSRで多くの開発が作成されましたが、投資が常に割り当てられているとは限らないか、技術開発のレベルによって計画を完了できなかったため、すべてが実装されたわけではありません。私たちの時代では、そのような発展は第二の人生を見つけることができます。これを行うために、同社は経験豊富なデザイナーに、まだ紙に残っている研究作業と図面を共有するように依頼しています。これは、貴重なデータをデジタル化し、それを何年も保存し、知識を若い世代の科学者やエンジニアに伝達するのに役立ちます。



もちろん、電子システムでのドキュメントの検索は以前はEnergomashにありましたが、従業員が仕事に必要な情報を見つけるのは簡単ではありませんでした。





2）。サービス部門（会計部門、弁護士、および会計システムのドキュメントを作成、編集、調整し、情報を交換するその他の専門家）のデータ検索を簡素化および高速化します。



同社は、従業員が1つの検索文字列にクエリを入力するだけで、さまざまな企業システムから仕事を遂行するために必要な財務、製造、およびその他の関連情報を収集および分析できるようにしたいと考えていました。会社の情報システムに保存されているデータへの単一のアクセスポイントを作成する必要があり、各システムでのユーザーの権限に応じて情報へのアクセスを制限する必要がありました。



どうしてそれが重要ですか？ 7年間で、世界のすべてのデータの半分以上が企業システムに保存されます。SeagateおよびIDCデータの年齢レポート。必要な情報を常に手元に置くには、それをすばやく見つける必要があります。したがって、IDCとABBYYの「ロシアの人工知能市場」の調査によると、IT（48％）とビジネスユニット（33％）の代表者は、今後2年間で企業検索とドキュメント分類にAIを使用する大きなチャンスを見出しています。



これらのタスクに対処するために、同社は多数のIPにわたる便利なエンドツーエンドの検索を必要としていました。Energomashはいくつかの検索エンジンを検討しましたが、最終的にABBYYインテリジェント検索を試すことにしました。選択は、第一に、キーワードだけでなく、意味によって検索クエリに関連するドキュメントを見つけることができる自然言語処理テクノロジーの可用性に影響されました。次に、検索結果に対するユーザーアクセス権を区別する機能。これについては少し後で、そして今、私たちがどのように始めたかについて詳しく説明します。

検索への最初の「出口」

Energomashは、研究、設計、および計算作業の情報データベース（IDB）から3000のドキュメントに対するインテリジェント検索の作業をチェックすることを決定しました。

このために、ABBYYは、ABBYYインテリジェント検索をドキュメントベースにリンクするIDBへのコネクタのプロトタイプを開発しました。コネクタは、ドキュメントをインデックスにロードするために使用されるJavaプログラムです。使い方？

1）。まず、フルテキスト検索インデックスを作成します

フルテキストインデックスは、大まかに言えば、ドキュメント内のすべての単語とそのメタデータ（ドキュメント番号、タイトル、作成日）のリストです。フルテキストインデックスは非常に迅速に作成され、キーワード（テキスト内にあるもの）で必要な情報を検索できます。









フルテキストインデックスを作成するには、コネクタが必要です。検索ソリューションを特定の情報システムに接続し、各ドキュメントの特性を収集（「インデックス」）します。次に例を示します。

• ファイルが保存されているIPの名前。
• ドキュメントの最終変更日、
• ソース内のドキュメントのバージョン、
• ドキュメント形式、
• ドキュメントが作成されている言語のコード、
• IS内のドキュメントへのパス、
• ドキュメントの最後のインデックス作成の日付
• や。。など。

将来的には、これらの特性により、ドキュメントの検索が高速化されるだけでなく、コネクタでそれらを操作するロジックが簡素化されます。特に、コネクタは同じドキュメントの異なるバージョンを分析して、最後のバージョンのみをインデックスに入れます。コネクタは、ソースから削除されたドキュメントに関する情報も受け取ります。



ABBYYインテリジェント検索に組み込まれているクローラー（検索ロボット）は、検索インデックスの作成に役立ちます。彼は定期的にコネクタをポーリングし、ISに新しいドキュメントが表示されているかどうか、どのドキュメントが削除されているか、ドキュメントへのアクセス権がどのように変更されているかを確認します。したがって、インデックスは特定の頻度で更新されます。



テキストドキュメントだけでなく、グラフィックファイルにもインデックスが付けられます。たとえば、テキストレイヤーなしでJPEGまたはPDFの図面のコピーをスキャンできます。画像を操作する場合、検索ソリューションは最初にテキストを自動的に認識し、検索インデックスに追加します。



さらに、システムは、ZIP、RAR、TARアーカイブファイルを処理できます（パスワードで保護されていない場合）。アーカイブが解凍され、アーカイブからの画像が認識され、テキストにインデックスが付けられます。







検索インデックスには任意のフィールドセットが含まれており、検索結果（ドキュメントの作成者、作成日、製品番号など）のフィルタリングにも使用できます。

2）。次に、自然言語処理技術を適用します

バックグラウンドでは、検索インデックスはセマンティック情報で強化されています。これを行うために、私たちはすでに持っている意味論的言語オントロジーを使用しました-言い換えれば、現実世界のオブジェクトと現象の記述。このモデルをHabréでどのように作成したかについては、こことここですでに説明しました。



機械学習と自然言語処理技術を使用して、各ドキュメントは、テキスト内の文字通りすべての単語の文の構文、形態、および意味の意味を分析します。この情報は検索インデックスを補足し、キーワードではなく、同義語、hyponymsによる検索を可能にします。および同じ意味を異なる表現で伝える他の構成。したがって、検索エンジンは企業ソース内の情報をより正確に検索します。







これは、私たちの同僚が自分の言葉で検索クエリを作成し、40年前にドキュメントを検索したい場合に非常に便利です。おそらく、彼が必要とした主題は他の用語で呼ばれていました。たとえば、クエリ「フレームの欠陥」の場合、システムはこの用語に関連するすべての可能な意味表現を選択します。結果には、「たわみ」、「穴」、「よじれ」、または「設計技術文書の違反の事実」が含まれる場合があります。



ここで別の例です：





「の検索結果推力変動は、」また、句「含まれたテキストが表示されます推力変動を」。



自然言語処理テクノロジーは、検索エンジンがクエリのテキストのスペルミスを自動的に修正するのにも役立ちます。たとえば、システムは「ベアリング」という単語にエラーがあることを認識し、「ベアリング」に言及しているドキュメントをすぐに検索します。

最初の打ち上げの結果

インテリジェント検索エンジンの動作を評価するために、Energomashスペシャリストは、IDBに組み込まれている検索エンジンとABBYYインテリジェント検索を使用してIDBドキュメントの約30のクエリを完了しました。次に、検索結果を比較しました。両方のシステムで見つかったドキュメント、スニペットで強調表示されたフレーズです。その結果、IDBに組み込まれている検索では、関連する単語ではなくキーワードのみを検出できるため、一部のクエリの結果が返されませんでした。 ABBYY Intelligent Searchは、すべてのクエリに関連するドキュメントを返しました。



速度に関しては、ハードウェアプラットフォームの要件を満たしながら人気のある検索エンジンのように、検索応答はほんの一瞬を超えませんでした。最も複雑なクエリは最大3秒かかりました。



パイロットプロジェクトが成功した後、Energomashは、企業インテリジェント情報検索システムの中心にあるABBYYインテリジェント検索ソリューションを使用することを決定しました。

さらに進みましょう

Energomashは、LanDocs電子ドキュメント管理システム、ファイルストレージ、IDB、TeamCenter製品ライフサイクルサポートシステム、Galaxy ERPおよびAMMリソース管理システム、プロジェクト管理情報システムの7つの企業ソースを検索に接続しました。情報システムごとに個別のインデックスが作成されています。これにより、検索エンジンの管理が柔軟になり、システムごとに個別にインデックスを再構築して、新しい条件を設定できるようになります。企業検索システムへのアクセスは、メインページにある企業の内部ポータルを通じて整理されます。このプロジェクトは、ロシア最大のIT企業の多様なグループであるパートナーであるLANITと共同で実施されました。



企業検索システムの主なモジュール：

• 検索クエリと検索結果のメインページ。
• 管理パネル（各情報システムのインデックス、フィルター、メタデータの設定）;
• ドキュメント数の統計（期間中の各情報システムのインデックス内のドキュメント数を表示します）。

企業検索システムは、2020年7月1日から運用を開始しました。発売時には、50万件のドキュメントがインデックスに登録されていました。システムの積極的な利用と新しい情報源の接続により、年末までに、インデックス内のドキュメントの数は100万を超えると予想されます。

安全を確保する方法

他の大企業と同様に、NPO Energomashには、すべての従業員がアクセスすることを目的としていないドキュメントがあります。プロジェクトを立ち上げる際の重要なセキュリティ要件は、各情報システムの役割モデルに従ってドキュメントへのアクセスを提供することでした。これが行われたため：

1）。情報のローカルストレージ

ABBYY検索ソリューションは、NPOEnergomashの内部回路内の別のサーバーに展開されます。すべての検索インデックスと、紛失した場合のバックアップとその設定がそこに保存されます。

2）。情報システムの役割モデル

セキュリティのために、各情報システムの検索結果に対するユーザーアクセス権の区別が整理されています。ABBYYインテリジェント検索に接続されているすべての企業システムは、ドメイン認証をサポートしています。ユーザーはドメインアカウントでシステムにログインし、リクエストを実行して、各情報システムのドキュメントプレビュー設定と企業検索システム自体で直接行われたアクセスレベルを考慮し、ソース情報システム自体のドキュメントへのアクセスを考慮して、検索結果にドキュメントを表示します。 ..。ユーザーがソースシステムでドキュメントを操作する権限を持っている場合は、リンクをクリックして、企業検索システムから直接元のドキュメントに移行できます。

今後の計画

Energomashのアイデアによると、インテリジェントな情報検索は、企業のビジネスプロセスを簡素化および高速化するのに役立ちます。たとえば、新製品の市場への参入を間接的に加速し、品質を向上させ、コストを削減します。古い文書に保存されているアイデアやプロジェクトは、企業の最新の開発に使用できます。たとえば、開発に基づいてまったく新しいものを作成し、世界市場で競合他社に先んじてください。



また、将来の計画についても触れておきましょう。

• 将来的には、Energomash構造の一部である他の企業の情報ソースを企業検索システムに接続することが計画されています。この場合、検索インデックスは200万ドキュメントに拡張できます。
• , , – . , - . , , : , - , . , , . , , .
• Energomashは、検索機能を使用して複雑な分析レポートを作成する可能性についても調査する予定です。

---

あなたの意見では、企業検索を使用して他にどのようなタスクを解決できますか？