リモートメンテナンスと機器修理のためのARプラットフォームの作り方

こんにちは！



私の名前はアントン・フェドセエフです。私はビデオ会議用のARプラットフォームの開発者であり、私たちの制作施設で使用されています。従業員が他の地域の同僚とビデオでコミュニケーションを取り、専門家（他の地域の機器メーカー）からオンライン相談を受けることができるサービスを開始しました。同社は1回のビデオ通話で50万ルーブルから数百万ルーブルを節約できます。







この節約はどこから来たのか、産業施設でこのようなサービスを使用することの特徴、市場にある既存のアナログを管理しなかった理由、および製品の製造方法について説明します。

ちょっとした歴史

ARプロジェクトは、2018年1月にSIBURで開始され、同時に、Industry4.0コンセプトを工場のさまざまな生産シナリオに統合するための活発な作業が開始されました。その時までに、SIBURはすでに産業機器の修理に関連する多くの事例を分析しており、同社はこの機器やサービス会社のサプライヤーから外部の専門家を引き付けるコストを削減する方法を考えていました。



同じ年に、ARガラスを使用したリモートメンテナンスの技術を、市場で入手可能な多数のソリューションを使用してテストし、そのような技術を適用するための基本的なシナリオを作成し、その実装の経済効果を計算しました。このようなプロジェクトは、技術的な観点からも便利であり、実行可能であることがわかりました。そして、私たちのTobolsk企業がテストサイトになりました。



当社の製品を「ARRemoteExpert」と名付けました。2019年には、パートナーの一時的なソフトウェアに取り組んでいる「リモートエキスパート」の助けを借りて、300を超えるビデオ通話が行われました。これらはすべて、機器サプライヤー、内部エキスパート、建設会社の代表者がARサービスを通じて必要なすべての情報を転送または受信した場合です。私たちの生産に来ることなく。そして2020年6月、SIBURは、産業機器のリモート保守および修理のための独自のARプラットフォームの積極的な展開を開始しました。

ARリモートメンテナンスおよび修理サービスとは何ですか？

当社のARサービスは使いやすく、一般的に2つの主要コンポーネントが含まれています。拡張リアリティグラスRealWearとEpson（環境条件によって異なりますが、後で詳しく説明します）と、それらと統合されたAndroidオペレーティングシステムに基づくSIBUR独自のモバイルメディアプラットフォームです。 G-CoreLabsと共同で開発されました。このプラットフォームでは、WebRTCと本格的な通信プラットフォームを使用して、メンテナンスと修理のプロセス全体を完全にデジタル化し、HDブロードキャストを整理して、現場のスペシャリストとリモートのエキスパートを効果的にやり取りできます。すべての制御は音声で実行され、インスタレーションで作業する人の手は完全に自由なままです。







産業機器サプライヤーの代表者または社内のSIBUR専門家が工場の専門家と連絡を取ります。工場の専門家は、個人の電子メールへのリンクを受信し、任意のデバイスの任意のブラウザー（Chrome、Edge、Mozilla、Safariなど）でビデオ会議を開始します。含むタブレットとスマートフォン。



特別なアプリケーションやプログラムをインストールする必要はありません。



SIBURは地理的に分散した企業であり、当社の企業は、国のヨーロッパ地域からシベリアや極東まで、ロシア全土の20を超える地域で事業を展開しています。工場と特定の機器の保守または修理を管理できる資格のある専門家との間には、数千キロメートルの距離がある場合があります。たとえば、モスクワの企業センターからシベリアにあるオブジェクトに到達するには7〜9時間かかります。この間、すべてが良くも悪くも変化する可能性があります。そして、専門家がモスクワではなく、別の国にいる場合はどうなりますか？工場は、ロシアの設備とアメリカ、日本、ヨーロッパ、アジアのメーカーの設備の両方を運営しています。また、出張の手配が必要な場合もあります。ビザを取得することもあります。ここで注意する必要があります専門家との直接の相談は安くはありません。これらは、旅費、専門家の1営業日の支払い費用、または数日です（時間単位の請求は対面形式では機能しません）。そのような相談の1つは、会社に数十万から百万ルーブルの費用がかかる可能性があります。また、検疫の制限、国境の閉鎖、国際便の停止が再び発生した場合はどうなりますか？そのため、リモートコンサルティング用のARプラットフォームの立ち上げは私たちにとって非常に重要でした。国境の閉鎖と国際便の停止？そのため、リモートコンサルティング用のARプラットフォームの立ち上げは私たちにとって非常に重要でした。国境の閉鎖と国際便の停止？そのため、リモートコンサルティング用のARプラットフォームの立ち上げは私たちにとって非常に重要でした。

ARサービス：必要な機能とその実装方法

当社のサービスを使用するための主なシナリオは、グループビデオ通話です。ネットワークの負荷を軽減し、送信されるビデオの品質を向上させるために、メディアサーバーを使用しています。プロジェクトで使用されるメディアサーバーを使用すると、複数のクライアントの着信メディアストリームを複製して、各クライアントの通信チャネルに適合させることができます。また、ユーザーのライブプレビューを作成できるため、他のクライアントのフルサイズのビデオをクライアントに転送する必要がありません。メディアサーバーに基づくクライアントのグループ作業のために、ズームや記録などのツールが実装されています。

彼らが「ビデオ会議」と言うとき、誰もがスカイプまたはズームを表します。ただし、インターフェイスとドキュメントを使用し、本番環境では機器を使用するため、プロセスをデモンストレーションするためにフリーハンドが必要です。環境自体も異なります-通信ツールは火花を引き起こしてはなりません。



「現場」の専門家の手を解放するために、プラットフォームはARガラスの完全な音声制御を提供します。コマンドで、ARガラスがアクティブになり、リモートブロードキャストを開始し、ビデオを録画し、高解像度の写真を撮ります。セッションが終了すると、コンサルテーションレコードがエンタープライズサーバーに保存されます。セッションの開始時に、接続された専門家の名前とレガリア、ネットワーク接続の品質の指標、およびバッテリーレベルがガラスのマイクロディスプレイに表示されます。



厳しい霜の中で、グラスは2時間スムーズに機能します。そして、ここで火花のトピックに戻ります。生産現場では、ガスの危険な環境で動作するように設計された機器を使用しています。これがRealWearです。修理工場での作業では、産業設計で防塵・防湿装置を使用することができます。ここでは、Epson機器を使用します。

写真について

G-Core Labsは、メディアプラットフォームの開発を支援してくれました。安定した鮮明な画像、機器の細部まで見る能力-これはすべて私たちにとって非常に重要でした。これに関連して、WebRTCライブラリの標準動作を変更しました。この動作では、ネットワークへの接続速度が低下すると画質は低下しますが、フレームレートは維持されます。私たちの場合、ビデオストリームの配信に遅延があったとしても、重要なのは画像の品質です。さて、接続が完全に失敗した場合、私たちのプラットフォームはオペレーターとの音声接続を維持することを優先します。



高品質の画像に加えて、プロンプト、通知などの拡張された現実も必要でした。眼鏡のマイクロディスプレイに表示される仮想ポインターの助けを借りて、機器サプライヤーの従業員は、工場の専門家の行動を指示し、どこを見る必要があるか、何を向けるか、どこを制御するかを示すことができます。また、チャットと送信ステッカーはARプラットフォームの機能に組み込まれています。後者は、たとえば、接続に問題がある場合に必要です。この場合、リモートエキスパートは信号ステッカーを送信します。たとえば、すべてが正しく行われた場合は「ティック」、アクションを停止する必要がある場合は「停止」します。

私たちのサービスがユニークな理由は何ですか？

SIBURのソリューションが市場に出回っている他の類似品と異なる主な特徴は、企業の実際の生産タスクおよびプロセスへの統合の深さ、修理プロセスの包括的なデジタル化、およびさまざまな生産サイトでのサービスの展開を可能にする汎用性です。



私たちのソリューションでは、プロダクションマネージャー、サイトマネージャー、メカニック、テクニカルカスタマーサービスマネージャーなどのビジネス顧客に焦点を当てた本格的なロールモデルを作成しました。 ARサービスは、ビデオ通信の可能性だけでなく、リモートコンサルティングを実施するためのビジネスプロセスの本格的なデジタル化を意味するチケットシステムを提供します。このチケットシステムの助けを借りて、必要な情報の完全性のチェックから作業コスト、外部または内部の専門家の必要な能力と資格の評価まで、発生した問題を解決するための全パスに沿ってお客様をガイドし、情報のセキュリティを確保し、誰が、いつ、誰と一緒に質問に答えますグラスを取る必要があります、このシステムがどのように維持され、サービスまたは修理が正常に完了するまで、このすべての相互作用がどのように正確に行われるか。



もちろん、ロシア、ヨーロッパ、アジア、アメリカには、拡張リアリティグラスを使用してビデオ通信を整理できるシステムがあります。ただし、これまでのところ、産業企業でのこのようなプロジェクトの実装の成功は、内部プロセスへの統合の品質と、産業プロセスおよびタスク用にカスタマイズされた使用済みITプラットフォームに大きく依存しています。

制限と課題：いいえ-プラグインとWiFi、はい-LTEとマイクロサービスアーキテクチャ

プラットフォームを作成する際の要件の1つは、ユーザーのコンピューターに何も（プラグインまたはプログラム）インストールしないことでした。 Webクライアントと最新のブラウザを使用してこの要件を満たしています。最新のブラウザ（デスクトップとモバイルの両方）のほとんどすべてがWebRTCテクノロジをサポートしています。私たちのサービスはそれに基づいています。つまり、WebRTCを使用すると、RTPプロトコルを使用して参加者間のストリーミングオーディオおよびビデオ通信を確立できます。RTPプロトコルはUDP上で実行されます。参加者間の接続を確立するためのパスを選択するメカニズム（ICE）、メディアストリームの形式をネゴシエートするメカニズム（SDP）、通信チャネルの帯域幅を推定するアルゴリズム、メディアストリームの圧縮を適応させるアルゴリズム、エコーキャンセルなどのメディア処理アルゴリズムなどがあります。最近、WebRTCはブラウザと開発で大きな広がりを見せています。ファイアウォール、アンチウイルス、ルーター、NATが存在するため、参加者間のデータ転送にUDPを使用できるとは限りません。これらの問題を解決するために、STUNとTURNが発明されました。 UDPが利用できない場合、ICEにTCPを使用できるようになりました。 TCPサポートもSTUNとTURNに追加されました。



TCPは、NAT、ファイアウォール、企業ファイアウォール、およびその他のさまざまなネットワーク制限の背後にある可能性のある外部クライアントに対するサービスの可用性を向上させます。ただし、UDPの代わりにTCPプロトコルを使用すると、WebRTCの動作が変更されました。 UDPプロトコルを介したメディアデータの転送中に、パケットの損失、複製、並べ替え、わずかな遅延が発生する可能性があります。これらの状況はすべてWebRTCによって正しく処理されます。画像のアーティファクトや音の歪みが短期的に発生する可能性があります。 TCPを使用する場合、パケットの損失、重複、および並べ替えはありません。これは、プロトコルに組み込まれているアルゴリズムによって監視されます。しかし、これはすべて、パケットを受信するときに大きな遅延とジッタにつながります。視覚的には、フレームがフリーズし、ビデオソースと別のクライアントのディスプレイの間で遅延が徐々に蓄積されているように見えました。メディアサーバーに変更を加えた後、実質的に遅延の蓄積を取り除くことができましたが、フレームのフリーズは克服されませんでした。パケットの受信に長い遅延が発生した場合に備えて、メディアサーバーからのビデオ送信を一時的に無効にすることが決定されました。このソリューションにより、ネットワークの状態が悪い場合でも、参加者間の音声通信を維持することが可能になりました。このソリューションにより、ネットワークの状態が悪い場合でも、参加者間の音声通信を維持することが可能になりました。このソリューションにより、ネットワークの状態が悪い場合でも、参加者間の音声通信を維持することが可能になりました。



市場に出回っているすべての産業用スマートグラスは、WiFi経由でネットワークに接続します。これにより、SIBUR工場の広大な地域でのガラスの操作に一定の困難が生じます。工場や設備の規模を考えると、スマートグラスを使用して作業を行うことになっている工場内のすべての場所に安定したWiFi接続を提供することはかなり難しい作業です。オープンスペースでLTEワイヤレスネットワークを使用する方が効率的で安価です。ただし、このようなソリューションでは、従業員が追加の機器（LTEモデム）を用意する必要があります。 LTEネットワークは、ワークショップの強化コンクリート構造とその内部の金属製機器ケースによっても十分に保護されています。建物内をカバーするために、固定LTEモデムとWiFiトランスレータのネットワークが使用されます。スマートグラスを使用する場合、サーバーへの接続の品質が不安定になります。時々途切れます。従業員が眼鏡を使って何をしていたか、そしてどのように行ったかについての情報を失わないために、眼鏡は内部メディアにビデオを記録します。このビデオはHD品質で記録されており、ネットワークの状態に依存しません。ガラス上のデータをリモートで消去したり、ルートが検出された場合にデータを削除したりすることができます。



すべてのSIBURサービスは、マイクロサービスアーキテクチャを使用して構築されています。私たちのプラットフォームも例外ではありません。実際、BPMマイクロサービスとビデオコールマイクロサービスの2つのマイクロサービスで構成されています。また、他のチームによって展開または開発されたマイクロサービス（ユーザーと連携するための認証マイクロサービス、メールおよびSMSメーリング用の通知マイクロサービスなど）も使用します。マイクロサービスは、gRPCを使用して相互に通信します。クライアントは、スマートグラスとWebクライアントの場合と同じ方法で当社のサービスと通信します。ただし、gRPCはWebクライアントによって直接サポートされていません。 gRPCと互換性のないgRPC-webを操作するためのライブラリがあります。サービスにアクセスするには、gRPCゲートウェイを使用します。gRPCゲートウェイは、gRPC-webをgRPCに、またはその逆に変換します。







現在、安定した高品質（ネットワークが許す限り）のビデオおよびオーディオ通信を提供するモジュラープラットフォームを構築しており、新しいモジュールや機器を追加することでその機能を拡張することもできます。まだまだ多くの作業があります。SIBURの他の情報サービスとの緊密な統合、新世代のスマートグラスとARおよびVRヘルメットの研究、拡張現実ツールの実装、同僚やサードパーティパートナーの効果的なコラボレーションが計画されています。