こんにちは、Habr！Harmony OSとともに、Huaweiエコシステムのアプリケーションを開発するために使用できるツールのセットであるHMSCoreの5番目のバージョンを導入しました。コンテンツを操作するための新しい可能性を追加し、データセキュリティ、デバイス間の相互作用に焦点を当て、AIツールの可能性を拡大しました。HDC.Togetherカンファレンスでこれらすべてについて詳しく話しました。この記事では、新しいHMS機能の概要を説明します。
MLおよびAIを操作するためのツール
AIを操作するための主なサービスはMLキットに含まれており、テキスト、音声、写真、AR / VRテクノロジーを操作できます。 HMS Core 5.0では、サポートされる言語の数を50に増やし、20の言語間で翻訳できますが、テキストと音声の両方の録音が入力として受け入れられます。また、ML Kitを使用して、スパムやわいせつな画像を除外することもできます。
ML Kitを使用すると、音声録音をテキスト形式に、またはその逆に変換することができます。この機能は、Video CourseCreatorで拡張されています。、教育コースを自動的に作成します。入力として、教育プログラム、教師のコメント、事前設定されたオーディオとビデオのパラメータが必要です。放送中に、教師は必要な資料を参照でき、記録されたすべての資料が1つのコースにまとめられます。
顔の認識、ジェスチャー、ポーズに特に重点を置いています。このおかげで、MLキットを顔認証に使用できます。システムはAPIを介して接続されており、追加のアクションなしでアプリケーションにすばやくアクセスするために使用できます。
さまざまなレベルでAIおよびMLツールを使用できます。
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
当社のARエンジンは、照明、平面、オブジェクトの形状、表面の種類に関する情報を分析し、空間内の指定されたオブジェクトを検索できます。これとは別に、システムはアンカーポイントを使用して3Dスキームを構築し、人間の動き、ジェスチャー、顔の表情を追跡できます。たとえば、手の位置を決定するために21ポイントが割り当てられ、体の位置に23ポイントが割り当てられます。これで、システムは6つのポーズを認識し、一度に2人を分析できます。
5番目のバージョンでは、HMS Core CameraKitは、ワイドアパーチャ、ポートレートモード、HDR、背景ブラー、スーパーナイトモードなど、さまざまな撮影モードを提供します。また、フィルターの事前選択や色補正のために、写真やビデオの撮影にAIを使用することも可能になりました。
デバイスのコラボレーション
HMS Coreの新しいバージョンには、異なるデバイス間のコラボレーションのためのいくつかの新しいエンジンがあります。DeviceVirtualizationエンジンを使用して、デバイスとスマートなものの間の相互作用を簡素化しました。周辺機器を仮想オブジェクトに変換し、電話が通常の機能と同じようにそれらを操作できるようにします。
同じ方向で、Cast Engineを開発しました。これにより、電話をマルチスクリーンモードで動作させ、画像を高解像度でTVに送信できます。また、他のアプリケーションを介してCastEngineと連携する機能を追加する予定です。
別の新しいOneHopキットエンジンNFCと連携し、ワンタッチでデバイス間でデータを安全に転送できます。これを使用すると、Huaweiデバイスを相互に同期したり、ファイルを転送したり、メインデバイスと同じ設定で他のデバイスでアプリケーションを開いたりすることができます。これまでのところ、Huaweiの電話とタブレットの間でのみ機能するため、他のデバイスと通信するための共有エンジンを提供し、Bluetooth経由で最大80 Mb / sの速度を提供します。
ビデオとオーディオ
新しいバージョンでは、オーディオとビデオを操作するためのいくつかの新しいSDKツールを開発しました。オーディオキットとビデオキットは主要なファイル形式とコーデックをサポートしており、アプリケーションに簡単に統合して、リストの読み取り、保存、削除、シーケンスの再生、再生速度の調整を行うことができます。すべてのオーディオとビデオは暗号化アルゴリズムによって保護されています。
オーディオキットには、機器の遅延やその他の機能を最適化して、高品質でサウンドを録音するためのオーディオエンジンが搭載されています。次に、ビデオエンジンは、HTTP、HTTPS、HLS、DASHの主要プロトコルをサポートします。また、Video Kit WisePlayer SDKを使用して、サードパーティサービスからのストリーミングを整理することもできます。
私たちのサービスに基づくHuawei社MeetimeはいCAASキットを発売しても不安定な接続でHD映像の再生や伝送を提供してビデオ通話のために。このエンジンを使用すると、画面を共有したり、落書きを描いたり、仮想化テクノロジーを使用して、ビジネス会議に使用できる他のデバイスに画像を転送したりすることもできます。
写真と3Dレンダリング
Image Kitは 、画像処理用に登場しました。レンダリング付きのアニメーションを含む、20を超えるフィルターと視覚効果を提供します。：それは2つのSDKに含まれる画像のビジョンSDKをカラーフィルタとを操作するためのSDKをレンダリングイメージのアニメーション効果を使用します。
Scene Kitは、3Dオブジェクトで動作するように設計されています。物理的に正しいレンダリング（PBR）の方法を使用し、アプリケーションがAPIを介して接続し、複雑なオブジェクトの3Dモデルを受信できるようにします。エンジンは、共有シーン（非AR）用のSceneView、共有ARシーン用のARView、およびARシーンの顔を操作するためのFaceViewの3つのシナリオを提供します。
分析とセキュリティ
Huawei Core 5.0では、ユーザーのマーケティング活動を追跡するためにDynamic Tag Manager（DTM）タグ付けシステムを立ち上げました。これは、Huaweiサービス自体と、データの送信および処理のためのサードパーティプラットフォームの両方と統合されます。 DTMを使用すると、Webユーザーインターフェイスでタグを動的に更新し、特定のイベントを追跡し、サードパーティの分析プラットフォームにデータを送信できます。当社のシステムはセキュリティに重点を置いているため、DTMエンジンは疑わしいアクティビティを追跡するための不正防止システムとしても使用されます。
新しいバージョンのHMSの機能の1つは、LocalAuthenticationEngineを使用した顔認証です。..。基準点からモデルを構築し、MLキットで認証する赤外線カメラで動作します。
最後に、コンテンツの保護に注意を払いました。オーディオファイルにはキャッシュ暗号化が使用され、ビデオには再生中のアンチリティックシステムと認証が使用され、カメラの操作にはエンドツーエンドの暗号化が使用されます。すべてのデータHMSは、暗号化が実行される信頼できるTEE環境に格納されます。
詳細はどこで確認できますか？
HDC.Together会議のすべての録音はここから入手できます。ここでは、プラットフォームの更新に関するレポート、HMSツールを使用するための主なシナリオを聞いたり、Huawei DeveloperForumまたはStackoverflowでhuawei-mobile-servicesタグを使用して技術的な質問をしたりできます。