隔離されたロボット

ここ最近、Habréのメンバーがフリッパーとビデオ通信を介したオシロスコープでのデバッグについて話しました。



そして、これはもちろん、競争からの勝利です！しかし、ノルウェー沿岸のボートガレージで私たちから2000km離れた場所にあるロボットをデバッグするという興味深い経験もありました。カットの下で、リモートでの検疫中に、どのようにビジョンを作成し、ロボットに「クラウドブレイン」を支配したかについてのストーリー：







春に、両手でYuMiを使ってロボットによる3Dストリーミングとトレーニング用のリモートコントロールシステム全体のプロトタイプを作成し、Realsenseカメラの3Dストリームをブロードキャストするのに非常に役立つソリューションを提供しているノルウェーの会社Aiveroに会いました。それで、困難な作業期間の後、計画は雲ひとつないように見えました：私の家族と一緒に冬の1か月間イタリアに飛んで、そこからヨーロッパのロボット工学の展示会に旅行し、近くに美しいフィヨルドがある都市で数週間停止してすべてを終える-スタヴァンガー、3D統合について話し合うコーデックをシステムに組み込んで、Aiveroに2台のロボットをまとめるように説得してみてください。



この素晴らしい計画で何がうまくいかなかったのか...



イタリアの封鎖から戻った後（何事もなく）2週間隔離されたまま、私は話し言葉と書き言葉の英語からほこりを吹き飛ばし、フィヨルドの側近ではなく、すでにズームで計画の2番目の部分を実行しなければなりませんでした。



ただし、これが見方です。検疫により、多くの人が、人の交代が難しくない場合に自動化するための可能な方法に真剣に取り組み始めることを余儀なくされました。特に、最低賃金が1500ユーロを超える西側諸国では、現在の疫学的状況がなくても、単純な手作業のロボット化が関係しています。

異なるロボットを接続します

リモートコントロールの記録を使用してロボットをトレーニングしたことを思い出させてください。それら。ロボットはインターネット、クラウドに接続し、3D画像とセンサー読み取り値の送信を開始します。コマンドを受信して​​実行します。このロジックでは、私たちのタスクは、MLプロセッサにオペレーターのように動作するように教えることです。オペレーターが仮想現実でシーンをレンダリングするには、3Dが必要です。これは便利であり、深度マップがある場合にオブジェクトを把握するときにMLがはるかに正確になります。



計画どおり、さまざまなロボットをクラウドに接続できますが、さまざまなロボットをすべて自分で作成することは非常に厄介な道です。私たちは彼らの頭脳、学習に焦点を合わせています。

その結果、Aiveroと合意し、その力で3Dの目を持つユニバーサルな片腕ロボットを作成し、それを「ユニット」と呼びましょう。これで、すべてのクラウドロボティクスを実行できるようになります。



優先事項は、エンドカスタマー向けのソリューションのシンプルさとコストでした。そして、もちろん、汎用性。簡単な手作業を自動化するために、エントリのしきい値を最小限に抑えたいと考えています。理想的には、特別なスキルを持たない中小企業の所有者でさえ、私たちの「ユニット」を購入またはレンタルし、職場に置いて実行することができます。



私たちは数週間考え、数ヶ月間仮説をテストしました、そしてこれが起こったのです（ベースにJetson AGXがあり、タイトルのものとは異なる概観カメラを備えたバージョン）：







そしてより近いサーチライト：







構成：

• Jetson NX
• 2つの3DRealsenseカメラ（1つは概要、もう1つは作業領域用）
• スポットライト
• 必要に応じて真空ポンプ
• 真空または機械的グリップを備えたロボットアーム（Eva / UR / ABB YuMi）
• WiFiインターネットまたは有線

計算機とベースに真空ポンプを備えたこのような伸縮式スタンドは、ロボットの作業領域の隣に配置され、インターネットに接続し（たとえば、WiFiへのQRコードを介して）、実質的に構成なしですぐにタスクの解決を開始します。



ここですぐにコストを見積もることができます。最も手頃なEvaロボットアームは8000ユーロ（ロシアでは供給されていません）で、UR10の価格は約50000ユーロですが、ここでURははるかに高い信頼性を主張しているため、長期的にはそれほど高価ではない可能性があることに注意してください。そして、彼らは最近安くなっています。キットの残りの部分は約2000ユーロです。

ABB YuMi IRB 14050

以前は両手でYuMiを扱っていましたが、ここでは、基本的に片手で切断されたIRB14050の新しいバージョンを試しました。





簡単に私が好きなもの：

• 精密で機械的な技量
• ジョイントの衝突やダンパーに対する高感度

そしてそれが気に入らなかった：

• 衝突や緊急事態をリモートで解決するのは難しい
• 一部の関節の小さな角度の動きは、他の6座標アームの運動学にとっては難しくない、一見単純な動きに対しては軌道をかなり難しくします。
• アナログと比較して低い運搬能力
• さらに、コンピューターからのTCPコマンドを処理するABBから独自のプログラミング言語でプログラムをアップロード（場合によってはデバッグ）する必要があります。

そして、簡単ではありません。



これが私たちが最も時間を費やした場所です。起動方法のレシピはまったく単純ではありません。

1. Windowsマシンを使用する理由は そうしないと、ABBのRobotStudioをインストールできません。
2. https://github.com/BerkeleyAutomation/yumipy RAPID ( ABB) ( , ), python API YuMi IRB 14050 IRB 14000.
3. , IRB14000 urdf ROS moveit. IRB14000, IRB14050.
   
   
4. ROS moveit Python API .
5. FlexPendant for OmniCore, .

しかし、もちろん、これは、YuMiを従わせる方法の可能な軌道にすぎません。もちろん、つまずく可能性のあるすべての小さなことは、ここでは言うまでもありません。

エヴァ

簡単に私たちが好きなもの：

• もちろん価格
• シンプルで簡潔なAPI

そして短所：

• 衝突検出なし（秋のリリースで発表）
• 位置決め精度-メーカーはまだそれに取り組む必要がありますが、十分にあります
  
  

もちろん、管理のしやすさには次のような魅力があります。

pip install evasdk 

そして

import evasdk
eva = evasdk.Eva(host_ip, token)

with eva.lock():
    eva.control_wait_for_ready()
    eva.control_go_to([0, 0, 0, 0, 0, 0])

そして、ロボットアームが出ました！と実行します。



いいえ、もちろん、ハンドコントローラーのログをオーバーフローさせることができた後、リスニングを停止しました。しかし、私たちはメーカーに敬意を表する必要があります-彼らのgitaに問題を作成することは、彼らが理由を理解するのに十分でした（そして私たちの問題について評議会全体に2、3の電話をかけました）。



そして、一般的に、Automata（Evaのプロデューサー）は素晴らしいです！彼らがロボティクス市場でさらに成長し発展し、ロボットを現在よりもはるかに手頃な価格で簡単にすることができるようになることを願っています。

あなたは

気に入った：

• 優れた機構と高精度
  
  
• 広範囲のジョイント角度により、軌道の計画がはるかに簡単になります
  
  
• 衝突は、ロボットのコンピューターに接続することにより、VNCビューアーで解決できます
  
  
• ROSインフラストラクチャで適切にデバッグ

マイナス：

• URコントローラー上の古いOS、約1年半の間セキュリティ更新がありません
• 利用可能なオープンライブラリで十分にカバーされていますが、まだ最新の通信方法ではありません

pythonから、ロボットアームは2つの主要なシナリオで利用できます。

1. https://github.com/SintefManufacturing/python-urxをインストールしてお楽しみください。リストはevasdkの場合より少し長いので、私はそれを与えません。問題トラッカーから判断すると、新しいロボットアームとの互換性の問題も知られています。あなた自身のためにも修正しなければならなかった何か、tk。すべての移動モードがライブラリに実装されているわけではありませんが、これらは微妙です。
   
   
2. “ROS-” (https://github.com/ros-industrial/universal_robot). , ROS , : UR moveit ( ROS, , , ).
   
   

ROSを避けようとしているのはその機能の一部（メッセージブローカー）は、システム内のrabbitmqによって実行され、使用されるテクノロジースタックには深刻な問題があります。そのため、障害を回避する必要がある場合は、ROSをサーバー側のマイクロサービスにカプセル化します。



今トリック！



あなたが理解するために、URは次のとおり







です。ロボットのタッチパネルでは、あらゆるスニーズが許可されています。そして、私たちの同僚を1日5回ではなく、アイベロからボートガレージまで運転して拷問するには、どういうわけかリモートでそこに入る必要があります。



URコントローラーにはlinuxがインストールされていることが判明しました（ちなみに、最も弱いx86プロセッサーではありません）。

ssh IPと入力します...ユーザー：root、パスワード：easybot。



そして、あなたはDebianWheezyを使用しています。



したがって、VNCサーバーを取得してインストールし、ロボットの完全なマスターを見つけます。（ここでは、Wheezyがまだ2年間更新されておらず、登録が廃止されたためにvncサーバーを単純に取得してインストールすることはできません。ただし、これを実行できる「マジックファイル」へのリンクがあります）。



ちなみに、Universal Robotsは、デモを見せたときに、そのようなリモートコントロールには新しいセキュリティ認証手順が必要だと言っていました。けっこうだ。SmartRoboticsがこれを一般的にどのように行っているのか非常に興味深いです。コンピュータービジョンからのターゲティング変数が他の人にとって100％安全であるとは想像できません。

ロボットに箱をつかむように教える時が来ました

ロボットがVRで何をすべきかを示していることを思い出させてください。





それら。動きごとに、シーンがどのように見え、どのようなコマンドであったかを記録しました。たとえば、次のようになります。

{“op": "pickup_putdown_box", 
"pos1": [441.1884, -112.833069, 151.29303],
"pos2": [388.1267, 91.0179138, 114.847595],
"rot1": [[0.9954941, 0.06585537, -0.06822499], [0.0917332, -0.851038456, 0.517028868], [-0.0240128487, -0.52095747, -0.85324496]],
"rot2": [[0.992139041, 0.102700718, -0.07150351], [0.100485876, -0.99436, -0.0339238755], [-0.0745842, 0.026472155, -0.996863365]],
"calibration": [[-0.01462146, 0.9814359, -0.191232175, 551.115051], [0.9987302, 0.0051134224, -0.0501191653, -6.613386], [-0.0482108966, -0.191722155, -0.9802644, 771.933167]],
"box": [[474.331482, -180.079529, 114.765076], [471.436157, -48.88102, 188.729553], [411.868164, -180.27713, 112.670532], [476.105164, -148.54512, 58.89856]],
"source": "operator"}

一般に、これは、グリッドをトレーニングして、空間内のオブジェクトの境界ボックスとそれをつかむ場所を決定するのに十分です。



それで、30分座って、ロボットに4種類のボックスをジャグリングする方法を示します。約100の例があります。マジックボタンを押します...まあ、より正確には、sudo docker run -e INPUT_S3_FOLDER = ... OUTPUT_S3_FOLDER = ... rembrain / train_all_stages：dev。そして、眠りに行きましょう。午前中、ドッカーはMLプロセッサにメッセージを送信して重みを更新し、息を切らして（ロボットはメーカーから無料のテストを受けましたが、かなりの費用がかかります）、起動して...







おっと...



デバッグ中に被害を受けたロボットは1つもなかったと言わなければなりません。運が良かったからだと思います。



ある日、2歳の息子がやって来て、VRトラッカーで遊ぶことにしました。彼は椅子に登り、窓辺からそれを取り出しました...そして、想像を絶する旅にUR10を送り、カメラバーを脇に押し出し、ロボットアームをかなりトリッキーな位置に置きました。そのため、コントロールにいくつかのヒューズを追加する必要がありました。そして2番目の観測カメラ、tk。そうしないと、手がどこに行ったのか、それを動かすことができるかどうかが単に見えないことがあります。



そして、それが冗談ではない場合、私たちのテストでのそのような単純なボックスの検出精度は、数百の例の小さなトレーニングサンプルでも99.5％を超えました。ここでの問題の主な原因は、もはやコンピュータビジョンではなく、付随する問題です。たとえば、オブジェクトの初期配置の異常や、フレーム内の意図しない干渉などです。しかし、その後、オペレーターをループに入れて学習システムを作成し、その場で生きている人々を巻き込むことなく問題を解決します。

次は何ですか

ロボットの設置とセットアップのビデオを2分で撮影し、いくつかのタイプのタスクのプロモーション用の資料を準備します。



同時に、理解しやすく人気のあるビンピッキングに加えて、新しい実用的なアプリケーションを探しています（私は個人的に建設現場でロボットを使用することを夢見ています）。



数か月以内に、私たちはより良い服装になり、ソリューションを最も多様なアプリケーションに販売することを学び、ロボットをスマートにする企業の非常に競争の激しい環境で、クラウドブレインをレンガごとに構築することになると思います。これは朗報です。



だから検疫は良かったです！