さあ、グループ化するか、猫の写真を光熱費から分離する方法

パスポート、同僚の名刺、銀行との契約書、レストランの小切手などからスマートフォンでページを撮影すると便利です。重要なドキュメントは常に手元にあり、印刷または送信できます。しかし、携帯電話のギャラリーで必要なファイルをすばやく見つけることはますます困難になっています。原則として、ユーザーは猫と電気代、SNILSなどの写真を混ぜ合わせたミームや写真のコレクション全体を蓄積します。銀行や法律事務所のフィールドマネージャーなどの企業の従業員も同様の状況にあります。猫の写真の代わりに-クライアントの合意や他の文書の何百もの写真。オフィスの同僚に送るために必要なコピーを見つける方法、またはA4全体ではなく、正しい縮尺で運転免許証の写真を印刷する方法は？いじくり回す必要があります。



これらすべてのタスクを1つのアプリケーションで実行する方がはるかに簡単です。そのため、ABBYY FineScannerAIを更新しました 。現在、彼はスマートフォンギャラリーの写真を7つのドキュメントグループに自動的に並べ替え、テキストクエリで必要な写真をすばやく検索できるようになりました。



今日は、これらの各機能をどのように作成したか、どのテクノロジーを使用したか、そしてABBYYNeoMLフレームワークがこれにどのように役立ったかについて詳しく説明します。また、アプリケーションでどのように機能するかについても説明します。そして最後に、FineScannerの開発計画を共有し、いくつか質問をします。

すべてをパパの棚に置く

Appsflyerの調査によると 、モバイルデバイスの使用と非ゲームを含むアプリのダウンロードは2020年に急増しました。リモートで共同作業を行うには、従業員は企業のメッセンジャーだけでなく、効率的な情報処理、印刷、リモートワークフロー、およびデータストレージのための便利なモバイルツールも必要です。



FineScannerユーザーの世論調査とユーザーへのインタビューによると、ほとんどの場合、1ページおよび複数ページのA4ページ（契約書、請求書、公式書簡など）、パスポート、運転免許証、書籍、小切手、名刺がアプリケーションを使用してスキャンされます。回答者の40％が月に1回程度、20％が週に1回ドキュメントの写真を撮ります。統計に基づいて、ユーザーがカメラで撮影し、自分自身または仕事のためにスマートフォンギャラリーに保存することが最も多いタイプのドキュメントのリストをまとめました。次に、FineScannerに写真をグループに分割するように教えました。このプロセスは2つの段階で構成され、完全にバックグラウンドで実行され、インターネット接続は必要ありません。

1）。FineScannerは、最初にユーザーのギャラリーから写真を分類します

アプリケーションの最初の起動とユーザーからのすべてのアクセス許可の受信後、組み込みのニューラルネットワークはスマートフォン上の写真を自動的に分析し、A4形式、書籍、名刺、IDカード、領収書、手書きテキスト、および7つのカテゴリに配布します。 「その他」（ポスター、ポストカードはこのフォルダに保存され、カラーマガジンなど）。 Habréで詳細に説明 したABBYYNeoMLエンジンの







ニューラルネットワークは、画像のインテリジェントな分類に取り組んでいます 。このメカニズムは2つのニューラルネットワークで構成されています。1つ目は画像内のテキストの存在を検出し、2つ目はドキュメントの種類を決定します。ネットワークアーキテクチャは、MobilenetV3ブロックに基づいています。



手書きのドキュメントを印刷されたドキュメントから分離することが重要だったため、最初のグリッドはファイルを3つのクラスに分割します。

• 手書きテキスト付きの画像、
• 印刷されたテキストの画像、
• テキストのない画像（猫、自撮り写真、環境）。

最初のグリッドでは、中央のトリミング（中央からの画像の一部、高解像度でトリミング）に関する情報を追加で使用して、画像内のテキストの存在を判断しました。すべての写真のサンプル（これについては後で説明します）では、テキストが主に中央部分にあったため、このような切り抜きを取りました。この画像はサムネイルとともにネットワークの別のブランチに送られ、画像にテキストがあるかどうかを判断するのに役立ちます。



2番目のグリッドは、ドキュメントのタイプを定義します。

• A4ドキュメント（いくつかの図面付き）、
• 4 ( , — , ),
• ( - ),
• ( , , ),
• ,
• ID (, .) – , ,
• ( . ).

ニューラルネットワークをトレーニングするためのデータセットは、従業員によって収集され、マークが付けられました。サンプルは、スマートフォンで撮影した約4万枚の写真（名刺、チラシ、銀行カード、証明書、保険など）で構成されています。



ニューラルネットワークのおかげで、アプリケーションの重量はわずか3MBしか増加していません。具体的には、ニューラルネットワークをコンパクトにすることを試みました。このような「実験的な」機能のために、アプリケーションを過度に肥大化させたくありませんでした。

2）。分類後、見つかったドキュメントの写真でテキストが認識されます。

これを行うには、ABBYY Mobile Capture SDKテクノロジーを使用します。これは、 OCRまたはビデオシーケンス用のTextGrabberと、名刺処理用の名刺リーダーの両方で 機能し ます。 FineScannerは、以前にこのSDKを使用してオフラインドキュメントを高速に認識していました。今回はそれを最大限に活用しました。何千もの写真のテキストを認識できます。もちろん、プロセスがデバイスに負荷をかけたり、バッテリーを消耗したりしないように、慎重に慎重に行うようにしています。さらに、現時点ではクラウドにアップロードされたユーザーの写真をダウンロードせず、デバイスでローカルに利用可能な写真のみを処理することにしました。



ギャラリーのすべての処理にかかる合計時間は、写真やドキュメントの数、および電話の世代によって異なり、初めて平均10〜30分です。将来的には、新しい写真のみがスキャンされ、数千枚ではなく、すでにはるかに少なくなります。

テキストでドキュメントを検索する

画像を種類別に並べ替えるのは良いことですが、Booksフォルダーに何百もの画像がある場合はどうでしょうか。たとえば、珍しい料理の百科事典から撮影したスパイシーなシャクシューカのレシピを見つける必要があります。または、2年前に署名された賃貸契約をA4フォルダーで見つけますか？



そのような場合、FineScannerにドキュメントのテキストを検索する方法を教えました。さらに、正確なクエリを単語ごとに検索するオプションはすぐに破棄されました。原則として、よく撮られたドキュメントのテキストを検索することは難しくありませんが、スマートフォンのギャラリーには、強く回転した写真やぼやけた写真など、何でもあります。それらに従っていわゆる「明確な検索」を整理することは難しいことではありませんが、結果は悲しいでしょう。もちろん、大文字の使用（大文字を使用）は無視できますし、無視する必要がありますが、たとえば、リクエストを作成するときにユーザーがスペルを間違えることがあります。



アプリケーションがこのスペクトルのエラーを飲み込むために、「あいまい検索」を実行しました。彼らは独自の本格的な検索エンジンを書くつもりはなかったので、既存のアプローチとライブラリを調べました。その結果、私たちの問題を解決するために、優れた diffアルゴリズムEugene Myers（Myerのdiffアルゴリズム）が登場しました。

差分アルゴリズムは検索には使用されませんが、同じドキュメントの2つのテキストまたは2つのバージョンを比較するために使用されます。

彼らはここから完成した実装を取りました 。確かに、検索クエリと見つかった部分文字列の間のレーベンシュタイン距離の計算を追加し 、完全にワイルドなオプションがないようにしきい値を選択する必要がありました。その結果、私たちのテキスト検索は明確に、迅速に、そしてリアルタイムで機能します。

iOS版のAR定規、またはタンバリンで踊らずにドキュメントのサイズを決定する方法

FineScannerで新機能を開発する際、ユーザーの要望を考慮しました。たとえば、通常のサイズ（A4、A5、A6、名刺）だけでなく、リーフレット、チラシ、SNILSなどの非標準のドキュメントも印刷する必要があることがよくあります。このようなファイルの印刷では、問題が発生します。発生：たとえば、元の比率は異なりますが、写真はA4全体に引き伸ばされます。



最も一般的なドキュメントサイズは、付録の既製のリストから選択できます。8種類あります。その他-はがき、ビザなど。-自動的に測定できるようになりました。これを行うために、ARKit（拡張現実のライン）をiOS用のFineScannerの新しいバージョンに統合しました。その開発では、AppleAPIをクロップモジュールABBYYMobile Capture SDKと組み合わせて使用​​しました。これにより、白い背景でもドキュメントの境界を定義し、手で閉じた場合にそれらを完成させることができます。ルーラーは、プロパティでドキュメントを指定し、プリンターで印刷したときに用紙に正しく表示されるように、ドキュメントの物理的なサイズを決定します。



これがその仕組みです：

ビジネス顧客がFineScannerをどのように使用するか

私たちのB2Cクライアントが最初に新しい機能を試し、企業は少し遅れてアプリケーションの使用を開始します。これは主に、厳格な企業セキュリティポリシーによるものです。



大企業のお客様は、さまざまなMDMプラットフォーム（モバイルデバイス管理、つまり、不正アクセスや不正配布からの企業情報の保護レベルを構成できるソリューション）の制御下で、ABBYYFineScannerのバージョンを使用しています。モバイルデバイスに保存されている情報は、サードパーティのアプリケーションで利用できます）。たとえば、 PwC監査またはビジネスコンサルティングスタッフはモバイルスキャナーを使用しますあらゆるドキュメントの高速デジタル化。監査中に、契約や注文などの写真を数秒で撮影し、検索可能なPDFに変換して、追加の検証とデータ分析のために企業リポジトリに送信します。



お客様の便宜のために、現在、最も人気のあるMDMシステム（Microsoft InTune、Mobile Iron、Workspace Oneなど）をサポートするバージョンのFineScannerをリリースする準備をしています。

将来のために

更新されたFineScannerが、スマートフォンでドキュメントや書籍をデジタル化して認識するタスクを簡素化し、ギャラリーで必要なファイルをすばやく見つけて印刷するのに役立つことを願っています。



製品をさらに開発する方法を理解するために、FineScannerに対するユーザーリクエストを定期的に収集しています。前回の調査によると、ユーザーの半数が写真付きのドキュメントを自分のメールまたは別のメールに送信し、印刷や保存などのコンピューターで作業を続けています。さらに、70％以上が、FineScannerがABBYY FineReaderPDFと統合されることを期待してい ます。Khabrovitesがそれについてどう思っているかを知ることは私たちにとって興味深いものになりました。