ロシアでのIntelDevelopmentCenterプロジェクト。Intel統合パフォーマンスプリミティブ

ロシアで行われた別のIntelプロジェクトについての私たちの話。これは、Intel Integrated Performance Primitivesライブラリです。すぐに使用でき、さまざまなIntelアーキテクチャ用に高度に最適化され、画像、信号、および任意のデータを操作するための完全に無料の基本機能のセットです。このプロジェクトがどのように始まったのか、どのように発展したのか、現在IntelIPPで何が起こっているのか-カット中の記事で。そして、要約で慣例となっているように、現在から始めます。



KDPVで-NizhnyNovgorodのIntelオフィスのIPPフロアへの入り口

現在のIntelIPPとは

したがって、Intel IPPは、特定のマイクロアーキテクチャとIntelプラットフォームに固有の最適化、およびすべてのバージョンのIntelSSEとIntelAVXのベクトル命令のセットの可能な限り幅広い使用により、メディアとデータを処理するソフトウェアの操作を大幅に高速化できる機能プリミティブのビルディングブロックです。

IPP機能は、次の4つの大きなドメインをカバーします。

• 画像処理;
• データ圧縮;
• 信号処理;
• 暗号化。

現在のIntelIPP 2020 Update 2には、2,500を超える画像処理プリミティブ、1,300の信号処理プリミティブ、500のコンピュータービジョン、および300の暗号化が含まれています。



ライブラリは絶えず改善されています-新しいプラットフォーム用に最適化され、新しい機能が追加され、古くてほとんど使用されていないものは必然的に削除されます。

Intel IPPは、Linux、macOS、Windows、およびAndroidを実行しているすべてのx86デバイスで実行されます。つまり、Intelだけでなく他のメーカーのプロセッサもサポートされています。さらに、IPPは、Intelデバイスほど高速ではありませんが、迅速に動作します。



同時に、IPPユーザーは、IPPを使用したコードの実行プラットフォーム、および関連するアクションについての深い知識を必要としません。必要なバージョンの最適化が自動的に呼び出されます。



IPPは、いわゆる組み込みコンパイラ関数を使用してCで記述されています。ライブラリを使用するさまざまなモデルには、さまざまなバージョンがあります。外部アプリケーションのさまざまなスレッドからの呼び出し用のシングルスレッドと、効率的な内部並列化を使用したマルチスレッドです。



IntelXeonとCoreでの作業速度に関心のある人のために-いくつかのベンチマーク。



IPPは現在、Intel Parallel Studio XE、Intel System Studioの一部として、および単独で利用できます。..。そして-個人的および商業的使用のために完全に無料です。



興味深いことに、私たちの生活の中で最も「閉じた」領域は暗号化です。IPPの場合、現在最も開かれています。これは、Githubで利用可能なオープンソースプロジェクトです。



IPPが信号および画像処理に最初に登場したときにもたらした基礎、アプローチ、およびAPIは、今では暗黙の標準と呼ぶことができます。同じことが暗号化にも当てはまります。



すべてのライブラリコンポーネントは、世界中の数十万のアプリケーションで数百万のユーザーによって使用されています。社内を含む-Intelのさまざまな部門。 Intel IPPは、OpenCVライブラリの大幅な高速化を提供します。ちなみに、カスタムビルドのIntel IPP2015年にリリースされたOpenCVで使用される機能を備えた、IPPの最初の無料の無料バージョンになりました。



Intel IPPは、医学を含むすべての分野の画像認識および拡張アプリケーションで見つけることができます。3Dを含むプリンター。デジタルビデオ監視; 自律車両; 音声認識と合成; データ圧縮; 電気通信とゲーム。IPPは、サーバーからウェアラブルまで、あらゆる場所で機能します。タイムマシンが発明された場合、そのソフトウェアは確かにIntelIPPを使用すると主張することができます。

IPPの歴史

それはすべて、サロフのVNIIEF連邦核センターでのIntelの命令によって開発されたIntelの信号処理（SPL）および画像処理（IPL）ライブラリから始まりました（これについては、OpenCVに関する記事で説明しました）。



1996年（または1997年、さまざまな目撃者によると）、Intel Santa Clara本社で、アメリカのプロジェクトキュレーターと、将来のアーキテクト、インスピレーション、IPPチームBorisの責任者を含むSarovの専門家を招待して、SPLとIPLの開発計画に関する会議が開催されました。 Sabaninと、現在IPP暗号化の作業を主導しているSergeyKirillov。



Sarovチームは提案のリストを持ち込み、そのうちの1つは、低レベルのIPLおよびSPL機能のインターフェイスをユーザーに公開することでした。これらはすでに実装および最適化されていたため、一部のユーザーはIPLデータ形式に慣れていませんでしたが、すでに確立された画像フォーマット。 IPL / ISLと比較してより単純な構造を使用したIPPインターフェースの提案されたプロトタイプは、文字通りナプキンに関する議論の間にBorisSabaninによって作成されました。しかし、当時、ロシア側の提案は却下されなかったものの、あまり支持されておらず、優先度の低いリストの真ん中にありました。しかし、数年後、Intelの誰かがこれを思い出し（おそらく、後にIntel IPPの「伝道者」になったShinLi）、計画が変更されました。





歴史的なIPP会議の参加者であるStewartTaylorによる2004年のIntelIPPブック（当時、Intelから新しく採用されたStanford学士）



これが、後にIntegrated PerformancePrimitivesと改名されたIntelPerformancePrimitivesの作業が始まった方法です。



IPPの内部バージョン（1.0と呼びましょう）は1999年に作成されました。それは概念の証明であり、概念の実行可能性を証明するためのプロトタイプでした。製品としてはリリースされませんでしたが、IPPの概念、アーキテクチャ、および仕様を定義および改良することができました。最初の公開バージョンはすぐに2.0の番号を付け、2002年4月にリリースされました。



2009年まで、IPPライブラリに関する作業のほとんどは、IPPの名付け親であり魂であると正当に見なすことができるBorisSabaninのリーダーシップの下で実行されていました。彼はプロジェクトに多大な努力を払い、多才なスペシャリストのチームを作りましたが、残念ながら、IntelIPPの20周年まで生きていませんでした。





IPPだけでなく知られているボリス・サバニンによる「サロフの塔への橋」の絵画（ここでは、彼の自画像を含むサバニンの他の絵画を見ることができます）



しかし、IPL / ISLの遺産はそれに限定されませんでした。暗号化とデータ圧縮のプリミティブはほとんどすぐに現れました。実験はコンピュータビジョンの分野で始まり、後にippCVドメインのプリミティブを使用したアルゴリズムの高速化を使用してOpenCVを使用したプロジェクトに成長しました。



もちろん、これはライブラリ作成の歴史における唯一の実験と派生物ではありませんでした。 IPPはすべてのIntelと歩調を合わせました。したがって、たとえば、x86に加えて5番目のバージョンのIPPは、Intel XScaleプロセッサ（ARMアーキテクチャ）とIntel Itanium（IA-64）をサポートしていました。長年にわたり、IPPには、リアルなレンダリング、小さなマトリックス操作、データの整合性、ビデオおよびオーディオコーデックなどのコンポーネントが含まれています。



この機能は、必要に応じて、ダウンロード可能なIPP LegacyLibrariesパッケージを使用して使用できるようになりました。



-また、IPPのビデオコーデックは、後で別のよく知られているインテル製品の基礎を務めたインテルメディアSDK、およびレイトレースはオープンソースのIntelEmbreeプロジェクトに実装されました。



IPP構造の分野での興味深い技術実験には、カーネルモードでのIPPの可能性を示すWindowsドライバーの例と、C forMetalで記述された統合IntelGPUで実行するためのIPPのバージョンが含まれます。



IPPのバージョン番号が最初に1から9の順になり、その後、リリース年（2017-2020）までに指定され始めたのは不思議です。





2003年のIntelIPP開発チーム



IPPファミリーの図書館が存在する間、サロフ、ニジニーノヴゴロド、モスクワで100人以上が彼らの仕事に参加しました。現在、IPP本部はNizhny Novgorodにあり、非常に魅力的に見えます。





IntelのIPPフロアデコレーション

IPPは基本的なライブラリではありません。

Intel IPPの名前には「プリミティブ」という言葉が含まれていますが、一見したところ、生産的なプログラムを作成するための一連の「デザイナーパーツ」、つまり実際にはIPPに根本的な問題はありませんが、これらのライブラリの構造は決して簡単ではありません。IPPの最大のパフォーマンスと使いやすさを確保するために、興味深い技術ソリューションが適用されています。



すでに述べたように、IPPには数千の関数が含まれ（各関数には特定のアーキテクチャ用に最適化されたいくつかのバージョンがあります）、IPPユーザーのメリットのリストにはまったく含まれていない、膨大なサイズの既製のライブラリになります。

したがって、IPPは特別な方法で収集されます。多数の単純な関数を含むソースファイルは、コンパイル前に特別なスクリプトによって多数の小さなファイルにカットされます（ファイルごとに1つの関数）。そして、これらのミニファイルがコンパイルされます。さらに、それらは1回ではなく、数回コンパイルされます-対応するフラグを持つさまざまなアーキテクチャ用に。その結果、IPPドメインごとにいくつかの巨大な静的ライブラリが作成されます。しかし、これらの静的ライブラリは、非常に小さなオブジェクトファイルから結合されています。したがって、IPPがアプリケーションに静的にリンクされている場合、アプリケーションのサイズは、バイト数ではなく、IPPから使用される関数のサイズによってほぼ正確に増加します。



IPPには、ユーザーにソースコードを開かなくても、既存のツールに基づいてカスタムライブラリを生成するメカニズムもあります。つまり、ユーザーはヘッダーファイルから目的の関数のリストを選択します。その後、必要な関数とその依存関係のみを含む小さな動的ライブラリが、巨大な静的ライブラリからのスクリプトによって自動的に作成されます。さらに、サイズをさらに縮小するために、この動的ライブラリには、すべてのハードウェアオプションではなく、ユーザー指定のプラットフォームリスト専用のこれらの関数のアセンブリオプションが含まれる場合があります。



IPPライブラリのパフォーマンスの各追加パーセンテージが重要な状況では、コードを並列化するレベルを決定することが非常に重要になります。ライブラリ関数の内部は1つのユーザースレッドからのIPP呼び出しに適していますが、外部はユーザーアプリケーションのレベルに適しています。 IPPの作業とデータを独立して分離するマルチスレッドアプリケーション。



アプリケーションが異なり、IPPも異なるためです。つまり、IPPパッケージには32ビットバージョンと64ビットバージョンの2セットのライブラリが含まれています。1つは内部で純粋にシングルスレッドであり、もう1つはOpenMPを使用した多数の関数の内部並列化です（関数の正確なリストは添付のドキュメントに添付されています）。さらに、画像処理ライブラリにはもう1つのバージョンがあります。これは、シングルスレッドIPPのアドオンであり、OpenMPまたはIntel TBBを使用して、画像の作業を外部で並列化するためのフラグメント（タイル）に分割された「スレッドレイヤー」です。 ..。 IPPスレッドレイヤーのソースコードは、コードの同時実行方法を最大限に制御したい人のために、IPPパッケージで入手できます。



IPPの開始以来、開発者は、個々のIPP機能で構成される画像および信号処理パイプラインの実行速度が思ったよりも遅いという問題を心配する必要がありました。説明は簡単です。IPP関数を呼び出すと、原則として、キャッシュまたはメモリからのロードとアンロードが発生し、この操作は実際の計算よりもはるかにコストがかかることが判明する場合があります。この効果は、ビッグデータ（ビッグデータと呼ばれるものではなく、FullHD画像（4Kは言うまでもなく）など）を処理するときに特に顕著です。



この場合、IPP内の複数の機能を1つに結合するという決定は適切ではありません。その場合、プリミティブブリックの代わりに、ゲーム「Tetris」から派手な詳細を取得します。これは、ユーザーアプリケーションに挿入するのに問題があり、そのような可能な関連付けの多様性は、すべての合理的な制限を超えます。



その結果、IPPを介したC ++アドオンが実装され、パイプライングラフを作成し、画像を細かく切り分けてから、各スレッドで1つの操作ではなく、IPPパイプライン全体を個別のタイルで実行する並列ループを起動しました。もちろん、結局のところ、結果はくっついていました。最初にプロトタイプが作成され、それはまともな加速を示しました。次に、DMIP（遅延モード画像処理）と呼ばれる設定が作成されました。さらに、2011年にクロノスで開催されたOpenVX標準化委員会の最初の会議の1つで、ハードウェア開発者の間でグラフが人気を博していることから、DMIPが言及され、委員会によって温かくサポートされました。そのため、OpenVX標準はグラフテクノロジに基づいていることが判明しました。さまざまな理由から、OpenVX標準は十分な人気を得ていませんが、現在、グラフパラダイムはIntel GraphAPIチームによってサポートおよび開発されています。また、Graph APIはOpenCV、OpenVINO、Movidius SDKに含まれているため、IPPテクノロジーがコンピュータービジョン標準と最新のAPIに直接影響します。

IPP-便利なリンク

繰り返しになりますが、この記事からの最も重要なリンクは次のとおりです。

• IntelIPPページ
• Intel Parallel Studio XE
• Intel System Studio
• IPPCrypto-オープンソースプロジェクト
• IPPレガシーライブラリ

IntelIPPファーストパーソン

さまざまな年にIntelPerformancePrimitivesの運命で重要な役割を果たしてきた人々に発言権を与えましょう。



ウラジミール・ダドニック、2009〜 2011年のIntelIPPチームの責任者

-, IPP – , . , - , .. IPP - , - .

, , , , SIMD . , , MKL, IPP .

, OpenCV, IPPCV 2006-2008

IPP , , , . FFT. — ! , IPP , , .

IPP , , OCaml, Spiral, FFT — IPP. IPP. , , , , 13-14 , .

, IPP QA 2011-2015 , IPP 2017-2020

IPP QA 2000. , , .

17 IPP. Intel . waterfall & development agile & DevOps. . , .

– . , , . , , , . , , , .

, Image & Signal Processing Intel IPP, 2020 –

IPP SW 2011 , . , . IPP , , , Resize, WarpAffine, WarpPerspective . . C 2017 , , , 2018 IPP Crypto GitHub. 2018 , 2020 IPP, Image & Signal Processing . , , IPP Intel, .