CloudMasterは、企業データセンターの開発者のセルフサービスとクラウドサービスに関するものです

こんにちは！私はIgorGaltsevです。 2010年以来、クラウド（サブスクリプション）サービスの管理と販売の自動化の分野におけるSoftline開発のさまざまな分野のテクニカルマネージャーです。



今日は、仮想マシンの承認と発行を完全なセルフサービスに変換し、クォータのロジックを維持し、リソース使用率を予測する機能を追加するツールについて説明したいと思います。







元インフラストラクチャエンジニアとして、私は大規模なチームで複数のプライベートクラウドまたはパブリッククラウドを使用することがどうなるかを知っています。通常、2つの方法があります。または、リソース割り当てのプロセスがあまりにも官僚的です。チームは、仮想マシンを1週間待機し、このパスを繰り返さないように、仮想マシンを可能な限り「存続」させます。または、同じAWSで毎月何百、何千ドルも費やされているチームとリソースの数が誰にもわからない場合、本当の混乱が生じます。この状況を単純化する1つの可能な方法は、パートナーの製品であるCloudMasterを使用して、開発者をクラウドでのセルフサービスに移行することです。

何が問題ですか

会社が数百人の開発者とDevOpsを雇用している場合、各チームには独自のプロジェクトと実験の必要性があり、会社によって割り当てられた容量について各個人の責任に頼ることはできません。問題の大きさを理解するために、パブリッククラウドとOpenStackでの独自の仮想化を使用しているCloudMasterの1人の顧客からの統計を以下に示します。



数百のプロジェクトを並行して開発することにより、AWS、Azure、およびGCPの合計リソースは、月に50万ドルでクライアントによって消費されます。また、年間約35万台の仮想マシンを作成および削除します。



プロセスがそのような規模で進路をとることが許されれば、本当の無秩序が起こります。何百もの仮想マシンが未使用でフリーズします。特定のVMを誰が、なぜ起動したのかを理解しないと、それが作業に必要かどうか、また将来必要になるかどうかを判断するのは非常に困難です。これには、クラウドリソースのレンタルに不要な費用がかかり、何が起こっているのかを分析したり、これらの状況での負荷を予測したりすることは基本的に不可能です。



これを回避する論理的な方法は、リソースネゴシエーションビジネスプロセスを規定することです。もちろん、これは仮想マシンを取得するための開発者のパスを複雑にします。アプリケーションに記入し、担当者に送信する必要があります。ただし、レポートを正しく収集すると、マネージャーは全体像を把握できます。つまり、誰が、いつ、どの容量を要求したかです。ある程度の遅れがあれば、彼は仮想容量のチームのニーズを分析することさえできるようになります。しかし、これも万能薬ではありません。十分な量のリクエストがあると、プロジェクトのあるチームは、責任者が次のアプリケーションを調べて評価するのを「ハング」します。そして、会社が大きくなればなるほど、この待ち時間は長くなります。



この場合、作成されたすべての仮想マシンには「有効期限」がありません。次に、誰かが、割り当てられたすべてのリソースがアナウンスされた時間にオフにされ、これがプロジェクトに影響を与えなかったことを制御する必要があります。

クラウド管理プラットフォーム（CMP）によるセルフサービス

Cloud Management Platformクラスのソリューションは、プライベートまたはパブリックのいくつかの使用済みクラウドに秩序をもたらすのに役立ちます。パートナーからのロシアの代替案、つまりAzure、AWS、Google Cloudへの接続に焦点を当てたCloudMasterプラットフォーム、およびvCloud Director、vSphere、OpenStackの下のプライベートリージョンについてお話ししたいと思います。



開発者の観点から見ると、CloudMasterはセルフサービスポータルであり、単一のインターフェイスを介して、官僚主義なしで（ブラウザのUI、モバイルアプリケーション、コンソールコマンド（Pythonスクリプト）を介して）、企業のクラウドまたはデータセンターのリソースを取得できます。また、インフラストラクチャの場合、これはクラウドプラットフォームとエンドユーザー間の抽象化の追加レイヤーであり、リソース、セキュリティポリシー、標準構成、およびマシンイメージやTerraformテンプレートなどの他の必要なツールの選択的な共有を維持します。



CloudMasterの大部分はJavaベースであり、Androidアプリケーションのサーバー側のSpringフレームワークとDaggerに基づいています。



アーキテクチャ上、CloudMasterは、大規模なチームと大量の送信メッセージを処理するように調整されています。RabbitMQはキューの処理に使用され、MonogoDBはデータストレージに使用され、Nginxはバランシングに使用されます。







このツールは2012年から開発されており、2014年から大規模なソフトウェア開発者によって使用されています。

CloudMasterロジック

開発者の観点から見ると、CloudMasterは、利用可能なすべてのクラウドとリージョンで仮想マシンをすばやく起動するためのワンストップショップです。このツールを使用すると、承認を待つのではなく、今ここでリソースを取得できます。



この「単一ウィンドウ」にアクセスするには、ポータルでの登録で十分です。また、CloudMasterが企業ADと統合されている場合、企業内およびプロジェクト内の従業員の役割がこのツールに読み込まれ、利用可能なプロジェクトとリソースが自動的に決定されます。





仮想マシンの起動ウィンドウ



適切な権限がある場合、1つのコマンドで最大10個の一般的な「フォーム」の仮想マシンを起動できます。 CloudMasterの用語では、これらは各クラウドの一般的なリソースオファリングにマップされる（およびタスク用にカスタマイズされた）標準構成です。





さまざまなクラウドの一般的な「テンプレート」



既存のマシンから画像を作成したり、「コードとしてのインフラストラクチャ」の既製のテンプレートを使用したり、独自のテンプレート（TerraformおよびCloudFormation）をアップロードしたりできます。





テンプレート



この場合、VMは無期限に作成することも、指定したスケジュールに従って動作させることもできます。これにより、リソースの使用に一定の自由が与えられます。たとえば、企業は、開発者が個人的な実験と比較のために企業クラウドを使用することを許可する場合がありますが、それは1日だけです。ちなみに、これはカスタム開発を行うこのプラットフォームのクライアントです。この方法で作成されたすべての仮想マシンは、指定された期間内に自動的に削除されます。



マネージャーの観点から、CloudMasterの最も便利な点は、実行中のすべての仮想マシンをカウントすることです。それらについては、特定のテンプレートに従って作成されたもの、クラウドプロバイダーからの請求、個々のプロジェクトによるリソース消費のメトリックなど、選択したクラウド/リージョン内のVMに関する完全な情報を含むセクションがあり、未使用またはほとんど使用されていない容量を識別できます。





リソースの





リスト仮想マシンのリスト



インターフェイスに情報を表示することに加えて、CloudMasterは、財務に関連するものを含め、約60種類の通知を生成します。





着信通知 と通知





の1つのテキスト



サービスのロジックは、各VMに所有者（この仮想マシンを作成した人、またはこれらの機能が転送された人）がいるというものです。所有者は、リソースの使用状況またはVMの状態の変化に関するすべての通知を受け取り、コストも負担します。この意味で、CloudMasterは、容量使用率を制御し、放棄されたゾンビマシンに責任を負うという文化を浸透させるのに役立ちます。



新しいVMの作成に関する制限は、アクセス権と割り当てによって管理されます。そしてここでは、クライアントの代表者がクラウドに参加するまで、あらゆる作業プロセスをカスタマイズすることができます。チームの割り当てを規定し、特定のしきい値（たとえば、割り当ての70％）に達したとき、またはそれに近づいたときにさまざまなアクションを提供できます。





クラウドプロバイダーからの請求





クォータ管理ウィンドウ



プライベートクラウド（OpenStackおよびVMware）の場合、CloudMasterは一種の交換をサポートします。これは、仮想マシンの実行コストの見積もりであり、より収益性の高いリソース使用率スキームを選択できます。同僚は、将来、そのような機能がパブリッククラウドに現れるかもしれないと言います。



このシステムでは、インフラストラクチャエンジニアの役割が私に最も近いので、最後に任せました。 DevOpsにとって、これはもちろん新しいツールですが、一方で、それだけを使用してクラウドリソースに何が起こるかを制御することが可能になります。 ChefやAnsibleなどの一般的な構成、監視、および開発ツールは、より迅速かつ簡単に展開できます。



必要に応じて、管理者と開発者はJavaSDKを利用できます。

最も重要なことは、CloudMasterを使用すると、他のCMPと同様に、手動のルーチンリソース割り当てから、より興味深いタスク（コードとしてのインフラストラクチャに基づく自動化の開発など）に移行できます。



私の経験では、会社が少なくとも50台の仮想マシンを採用し、異なるクラウドの少なくとも15人のアクティブユーザーがいる場合、そのようなツールの出現は正当化されます。これは、インフラストラクチャの特定の複雑さである一方で、それぞれが独自の管理ツールを備えた異種クラウドを共通の分母にもたらし、社内の企業基準に違反しないことが保証されています。同時に、このツールは、リソースの利用と予算計画の責任をプロジェクトマネージャーのレベルに「引き下げ」ます。これは、イデオロギー的により正確です。