ソフトウェアエコシステム：構築原則

この記事は苦労しています。数か月前、さまざまなアーキテクチャのソフトウェアエコシステムを構築するというテーマについてレビューを書くように依頼されました。最初、私は生態系は生物学ではないという精神で拒絶し、冗談を言った。それはテクノロジーでさえありません。これはもっぱらお金についてです。そして時々政治について。それから彼は自分の意志をこぶしに集め、山のように考え、座って、文字通り1日ですべてを書きました。英語で。その後、レビューは中国語に翻訳され、公開されました。 「途中」翻訳者はテキストを大幅に改善し、いくつかの興味深い考えを追加しました。それから私は、そのテキストがHabrの聴衆にとって興味深く、将来それを参照するのにも役立つかもしれないと判断しました。そして彼は、英語の原文と中国語の翻訳で武装したロシア語版の彫刻を始めました。それは特定の英語の用語との同じ闘争でした（SWエコシステム？=ソフトウェアエコシステム、有効化？=プロモーション、アプリケーションエンジニア？=アプリケーションエンジニア）、それでも不明瞭な象形文字。その結果、ロシア語のテキストは英語と中国語を合わせたものよりも時間がかかりました...それは起こります。

過去40年から50年にわたって、新しいプロセッサとマイクロプロセッサのアーキテクチャを市場に投入するための多くの努力が見られました。これらのうち、長期的に成功することが証明されているものはほとんどありません。最もわかりやすい2つの例は、サーバーとPC用のx86アーキテクチャと、携帯電話とマイクロプロセッサ用のARMです。残りは小さなニッチを占める（占める）か、長く存在しませんでした。もちろん、コンピューティングアーキテクチャ全体の成功の重要な要素の1つは、そのセグメントで最も重要な顧客のニーズを満たす能力です。サーバーの場合、この要求はパフォーマンスです。モバイルデバイスの場合、低消費電力/長いバッテリー寿命です。しかし、もう1つの重要な要素は、豊富なソフトウェアエコシステムの存在です。これにより、既存のソフトウェアを移植するだけでなく、新しいソフトウェアを効果的に開発できます。必要なすべてのアプリケーションソフトウェアを開発する必要があるため、エコシステムの作成は非常に時間と費用のかかるプロセスです。しかし、この方法でのみ、アーキテクチャがターゲット市場セグメントを占めることができます。ただし、エコシステムが開発されると、それは自然の防御メカニズムとして機能し、競合するアーキテクチャが市場に参入するのを防ぎます。この記事では、サーバー市場セグメントでARMエコシステムを構築するタスクに適用される経験から学んだ重要な教訓を要約します。しかし、この方法でのみ、アーキテクチャがターゲット市場セグメントを占めることができます。ただし、エコシステムが開発されると、それは自然の防御メカニズムとして機能し、競合するアーキテクチャが市場に参入するのを防ぎます。この記事では、サーバー市場セグメントでARMエコシステムを構築するタスクに適用される経験から学んだ重要な教訓を要約します。しかし、この方法でのみ、アーキテクチャがターゲット市場セグメントを占めることができます。ただし、エコシステムが開発されると、それは自然の防御メカニズムとして機能し、競合するアーキテクチャが市場に参入するのを防ぎます。この記事では、サーバー市場セグメントでARMエコシステムを構築するタスクに適用される経験から学んだ重要な教訓を要約します。

今日の挑戦

今日、私たちはマイクロエレクトリック市場で最も興味深い時期を目の当たりにしています。5年前とは異なり、Intelが企業市場の95％を支配していたとき、今日ではこれまで以上に多くのアーキテクチャの革新があります。インテルと真剣に競合するRyzenシリーズチップについて最初に言及しました 。ただし、この革新はアーキテクチャの革新ではありません。AMDプロセッサは開発されたx86エコシステムを使用します。それらの利点は、効率的な実装にあります。他のイノベーションは、新しいソフトウェアエコシステムを構築する必要があるため、より興味深いものです。



NVidiaによって開拓され主導された「人工知能革命」は、サーバー市場の展望に革命をもたらしました。彼女はまったく新しいセグメントを作成し、その作成者によってほぼ独占的に管理されていました。これは、CUDA並列プログラミングプラットフォームに基づいて います。 CUDA（2007年に最初に導入された）は、エコシステムを構築する興味深い例の1つです。これについては、後で詳しく説明します。次に、Intelは、人工知能の分野で競争するために、独自のGPU（一部はGenグラフィックシステムに基づく）を導入しようとしています 。 Intelがプログラミング環境を作成するためのOneAPIツールキットを導入 ..。これは、アクセラレータ（GPU、AI、FPGAなど）をプログラミングするための普遍的な方法の野心的な概念です。さらに、IntelはOneAPIにオープンソースを使用しているため、クローズドソースモデルよりもインターフェイスが魅力的です。Data Parallel C ++は、OneAPIの概念において中心的な役割を果たし ます。これは、CYCL標準に基づくC ++拡張機能のセットです。この興味深い試みが成功するかどうかは、将来のC ++標準にこれらの拡張機能が含まれるかどうかにかかっているように思われます。また、IntelのGPUの効果的な実装からも。最新の例は、ARMアーキテクチャの浸透 です。人工知能、クラウド、高性能コンピューティングの分野に。 ARMアーキテクチャは、低電力市場での成功で知られており、重要なソフトウェアエコシステムを備えています。したがって、より高い市場セグメントに浸透しようとする試みは自然に見えます。これは私たちにとって最も興味深いケースであり、さまざまな観点からより詳細に検討します。



技術 ここで紹介した



技術的背景 。 経済







AMDからIntelへの競争の激化は、プロセッサの巨人の間で重大な「価格戦争」を引き起こしました。これにより、プロデューサーの収益は削減されますが、エンドユーザーの生活は楽になります。それどころか、人工知能の分野では、市場への価格を決定するNVidiaの優位性が見られます。そしてここで、消費者はより積極的に代替システムを探しています。



政治



地政学的緊張の高まりに関連して、中国とロシアは100％独立したエコシステムの開発のためのコースを設定しました。ただし、これはハードウェアの独立性以上のものを意味します。ソフトウェアも同様に重要な役割を果たします。多くのアプリケーションは、真の独立性のために移行または交換する必要があります。下の写真はロシアの状況を示しています。







政治的要因により、ソフトウェアのギャップを埋めるためのリソースと、これらの取り組みに対する長期的なサポートに対する強い需要が生まれます。 ARMエコシステムの作成の背後にはいくつかの強力な力があります。しかし、非常に深刻な問題もあります。それらのいくつかを挙げさせてください。



典型的な初期段階の鶏肉と卵の問題



いくつかの商用クローズドソースアプリケーションは、重要なセグメントの事実上の標準になりつつあります。たとえば、SAP-Hana、 Oracle for database、 VMWare仮想化などに。通常、開発者は、十分な市場シェアを持たないアーキテクチャで製品を移植および保守することに関心がありません。一方、エンドユーザーは、ソフトウェアがサポートしていないハードウェアを購入しません。この悪循環を断ち切るにはいくつかの方法があります。 1つ目は、移植のためにソフトウェア会社に（巨額の）お金を支払うことです。 2つ目は、製品を市場から追い出すか、目的の移植を強制する競争力のあるソリューションを作成することです。 3つ目は、大手カスタム開発者の1人に彼を「プッシュ」するよう説得することです。ただし、どちらのルートも簡単でも安価でもありません。



レガシーソフトウェア



サーバー市場のほとんどのアプリケーションは、主要なx86アーキテクチャ用に何十年にもわたって作成および最適化されてきました。明示的または暗黙的に、大規模な並列処理よりもシングルスレッドのパフォーマンスに重点が置かれました。したがって、ソースコードが利用可能な場合でも、ARMサーバーで正常に実行するには、大幅なやり直しと最適化が必要になる場合があります。



地平線上には多くの問題があり、それらを解決するには研究する必要があります

過去からの教訓

さまざまなアーキテクチャとソフトウェアエコシステムの歴史は、彼らにとってかなり興味深いトピックですが、最小限のカバレッジでさえ、この記事の量を大幅に超えています（いくつかの論文には十分です）。したがって、現在の状況をナビゲートするのに役立つ可能性のあるいくつかの注目すべきケースについて説明します。



初期の



頃、Intelが最初の8ビット8080プロセッサを70年代半ばにリリースしたとき 、競合他社のMotorola6800または ZilogZ80に比べてアーキテクチャ上の利点はほとんどありませんでした 。..。それでも、Intelは、ハードウェアの宣伝におけるソフトウェアの重要性を最初に認識しました。彼女はまた、ソフトウェア開発のスピードアップ、簡素化、およびコスト削減のために独自のコンパイラーを最初に導入しました。これは、Intelに重要な競争上の優位性をもたらし、早い段階で成功させるためのツールでした。 Intelは後に線形代数VTune用のMKLを 導入しました プログラムの最適化や、x86エコシステムの形成に重要な役割を果たしてきた他の多くのツール。さらに、Intelはツールの互換性を保証しています。その後、Intelは、ハードウェアの動作を制御するOSの重要性を認識しました。マイクロソフト（Wintel）との連携は、約30年間、PC市場で支配的な勢力になりました。ただし、サーバー市場の発展に伴い、Linuxとオープンソース全般が非常に重要になっています。したがって、IntelはLinuxカーネルの主な貢献者になり、依然として1位にいます（2位は誰だと思いますか？）。最も重要なことは、Intelは常にプラットフォームのバイナリ互換性（後方互換性）を厳守してきました。前世代のアーキテクチャ用に作成されたバイナリが後の世代ですぐに機能するという事実は、そしてx86が支配的な力になることを可能にしました。エコシステムの構築には時間がかかりますが、それだけの価値はあります。



日の出と日没



これは、開発されたエコシステムがその作成者と対戦した唯一の反例です。 2000年代初頭には、 Sun MicrosystemsがSPARCサーバ市場における重要なニッチを持っていました。同社はJavaエコシステムを開始および開発しました 。ただし、問題は、Javaマシンがコンパイラではなくインタプリタに基づいていることです。したがって、状況によってSunがJavaを開くことを余儀なくされたとき、それは終わりの始まりでした。 x86用のJavaインタープリターを実装することにより、Intelは徐々にSunをサーバー市場から追い出しました。学ぶべき教訓は、解釈された言語（今日非常に人気があります）は効果的な市場シェアの擁護者ではないということです。



低電力市場でのARMの成功



ワークステーションアーキテクチャは、2000年代初頭以来、携帯電話やタブレットの市場をリードしてきました。その優位性の性質は、PCやサーバーのx86とは大きく異なります。 ARMはオープンコミュニティです。ライセンスは比較的安価であるため、多数のプレーヤーがゲームに参加するための前提条件が作成されます。また、オープンなAndroidオペレーティングシステム により、参入の障壁がさらに軽減されます。また、主要なプレーヤー（Samsung、Qualcomm、Huaweiなど）がエコシステムを作成するための産業同盟の必要性を認識したときにも役割を果たしました。これにより、非常に短時間で構築することが可能になりました。



モバイル市場に侵入するインテルの試み



2007年頃、Intel（または少し前）は携帯電話とタブレット市場の可能性を認識し、それを征服しようとしました。このプロジェクトは、Atomアーキテクチャ（低消費電力のx86）とARMからx86（Houdini）へのバイナリ変換に基づいていました 。このメカニズムは、既存のソフトウェアエコシステムを活用します。アプリケーションは、記録的な速さでIntelデバイス上で起動されました。しかし、2つの事実がIntelと対戦しました。 1つ目は、電力消費の観点からARMに追いつくことができないことです。 2つ目は、RISCからより複雑なCISC命令セットへの バイナリ変換の複雑さです。 ..。この変換には、一部のクラスのアプリケーションでは受け入れられない可能性のある大きなオーバーヘッドが含まれます。このように、バイナリ放送は市場参入ツールと見なすことができますが、長期的な解決策としてはほとんど役立ちません。



エコシステムCUDA



AIセグメントでのNvidiaの成功は否定できませんが、独自のCUDAエコシステムの開発は依然として私の疑問を提起します。たとえば、高性能コンピューティングの分野では、CUDAを使用するアプリケーションの割合はまだ低いです。その理由は、そのようなアプリケーションの移植と保守に高いコストがかかるためです。一部の開発者は（NVidiaエンジニアの多大な支援を受けて）コードを移植しましたが、サポートのコストのために後でそれらを放棄しました。それどころか、人工知能の分野では、Nidiaの立場は非常に強いです。ただし、研究者は主に高レベルのフレームワークを使用します（ TensorFlow、 PyTorchなど）、CUDAで直接プログラミングしないでください。これにより、「ソフトウェアハーネス」に適切なレベルの抽象化を選択することが、ハードウェアの進歩にとって非常に重要であるという結論に至ります。

バック・トゥ・ザ・フューチャー

それでは、過去の教訓を武器に、私たちの仕事に戻りましょう。



業界アライアンス



モバイルとは対照的に、サーバーセグメントのARMエコシステムの最大の問題は、それがまだ非常に断片化されていることです。努力を調整するために、ある種の魅力の中心が必要です。サーバー市場におけるすべてのARMベンダーのシェアが約1％であることを考えると、この提携は非常に自然なことのように思われます。彼らは単に競争する理由がありません。共同でエコシステムを構築するタスクは、それらの間の差別化よりも優先されるべきです。そのような同盟を作るために多くの試みがなされてきました。 オープングリーンコンピューティングコンソーシアム



について言及することができ ます（openGCC-プログラマーがもっと風変わりな名前を考えるのは難しいです）、そしてAPCIT内のARM Advanced TechnologyCommitteeの下での最近の取り組み 。これは良いスタートかもしれませんが、どちらも地元の同盟です。 Open GCCは中国の組織であり、APKITはロシアの組織です。業界は、複数の目的に役立つことができるグローバルアライアンスの必要性を指示しています：



同期と規制当局への影響



まず、ソフトウェアが異なるベンダーのプラットフォーム間で移植可能であることを保証するために、ARMベンダー自体の間で何らかの合意が必要です。第二に、国際および国内の基準機関と協力する機会を提供します。第三に、新しいARMエコシステムが既存のエコシステムの実行可能な代替手段として機能できるという強力なシグナルを政府や社会に送信します。この事実は完全には実現されていませんが。



オペレーティングシステムおよびアプリケーションのサプライヤとの連携



経験からわかるように、オペレーティングシステムはソフトウェアエコシステムの構築において中心的な役割を果たします。また、ハードウェアベンダーによって開発されたOSは、歴史的にあまり成功していないことに気付くかもしれません（Appleを除く）。したがって、OSベンダーと協力することは戦略的に非常に重要です。これは現在部分的に発生しています。最新バージョンのLinuxカーネル、コンパイラ、およびglibcに表示されるパッチ、アップデートにより、さまざまなワークロードでARMシステムのパフォーマンスが向上します。しかし、これらの取り組みは依然として非常に細分化されており、各ベンダーが独自にそれを行っており、通常はかなり長い時間がかかります。アライアンスは、これらの取り組みを同期させ、アップデートの採用を促進するのに役立ちます。



また、アーキテクチャの進歩の早い段階で鶏肉と卵の問題を解決することは非常に難しい場合があることもわかりました。この提携は、ソフトウェアベンダーとの交渉において追加のレバレッジを提供し、ハードウェアメーカー間で早期プロモーションの負担を分担するのに役立つ可能性があります。



ソフトウェア配布システムここでの



3番目の重要なポイントはソフトウェア配布です。現在、ARMサーバーソフトウェアは通常ソースから構築されており、時間とハードウェアリソースが必要です。 x86の場合、配布に使用される便利なRPMベースのスキームがあります。このようなことを行うには、ISVおよびオペレーティングシステムベンダーとの多くの作業が必要になります。そして、同盟はこの方向を助けるのに非常に役立つことができます。



効果的なツールの作成



これまで、ソフトウェアツールはエコシステム開発のための信頼できるツールであることが証明されています。したがって、それらへの注意は今日非常に重要です。最良の例の1つは、以下に示すように、ソフトウェア開発者とアプリケーションエンジニアを1つの組織に統合したIntelCorporationです。赤は重要な相互作用を示し、緑は定期的、黄色は散発的であることを示します。







これにより、ツール開発者間の緊密なコラボレーションが保証されます。これにより、アプリケーションエンジニア（AE）は業界で最高のツールを使用できます。同じワークロードを実行しているAEは、互いに知識を共有し、ハードウェアアーキテクトに統合されたフィードバックを提供します。等。等。これらすべてが興味深い現象につながりました。そのような組織で働くエンジニアは、製品だけでなく、エコシステム全体の全体像についても考え始めました。それらは、相互依存性やエコシステム全体への影響を考慮に入れてい

ますが、そのような組織を作るためには、すべての関係者がコミュニケーションに使用できる一種の「共通言語」が必要です。ある時点で 、TMAMマイクロアーキテクチャ分析方法はそのようになりました。







TMAMは、マイクロアーキテクチャイベントを収集、解釈、および使用して、アプリケーションのプロファイルと最適化を行う方法を提供します。







この方法の最も重要な利点は、ハードウェアで何が起こっているかを客観的に把握し、ハードウェアとソフトウェアの両方を改善できることです。しかし、おそらくもっと重要なことは、それは効果的なハードウェアプロモーション組織を構築するためのユニークな手段です。

結論

サーバー市場でARMエコシステムを構築することは、経済的、政治的、技術的な観点から有望に見えます。ただし、これは、支配的なx86アーキテクチャとの激しい競争を背景に行われています。さらに、高度なアーキテクチャの初期の問題はまだ解決されていません。ただし、将来的には、ARMがサーバー市場で深刻な力になる可能性があると思います。グローバルな産業同盟と効果的な生態系構築組織の創設は非常に望ましいようです。



サーバー市場でARMエコシステムを構築することは、経済的、政治的、技術的な観点から有望に見えます。ただし、これは、支配的なx86アーキテクチャとの激しい競争を背景に行われています。さらに、高度なアーキテクチャの初期の問題はまだ解決されていません。ただし、将来的には、ARMがサーバー市場で深刻な力になる可能性があると思います。グローバルな産業同盟と効果的な生態系構築組織の創設は非常に望ましいようです。



ロシアは、多くの観点からARMエコシステムを構築するための最も有望な分野の1つと見なされています。情報の独立に対する政府の取り組みは、このイニシアチブを長期的に支援します。ただし、ARMエコシステムの可能性は、政府レベルではまだ完全には実現されていません。私たちの声が聞こえるには、真剣な取り組みが必要です。もう1つの理由は、比較的大きな市場と、プライベートとパブリックの両方のカスタムブランドの多様性です。たとえば、リソースを抽出する巨人（Gazprom、Lukoil、Rosneft）、大手銀行（Sberbank、VTB、Alpha）、モバイルサービスプロバイダー（MTC、Megafon、Beeline、Tele2）に名前を付けることができます。セキュリティと価格設定の両方の観点から、既存のインフラストラクチャ（x86、IBM、Oracle）に代わるものの必要性に対する認識が高まっています。



そして最後になりましたが、人的資源。ロシアには、生態系の問題を解決した経験があり、これらの用語で考えるプログラマーがたくさんいます。