専用のDevOpsがなければ、それはどこにもありません。Geeckoケース

SberCraft、Cyber​​Code、Luxcity-これらのゲームについて聞いたことがあるか、参加したことがあるかもしれません。これはすべてGeeckoの手仕事です。最大のGeeckoプロジェクトは、それぞれ2万人のプレーヤーを集めていますが、最近まで、同社にはインフラストラクチャをサポートする専任のチームがありませんでした。



同社のサービスステーションであるNikitaObukhovとマーケティングディレクターのIrinaFedorovaがこの事件について話しました。この事件は、インフラストラクチャの変更、K8への移行、DevOpsチームの採用について真剣に考えるための議論の1つになりました。



中身：

• Facebookの制御の喪失、
• 金曜日の夜に突然の交通量の急増、
• Microsoft Azureからの助成金、クラウドの移動と変革の課題。

行く！

Geecko — DevRel . IT- , : , , -.

Geecko

ゲームはどのエンジンで作られていますか、技術的には何ですか？



Nikita：私たちのゲームはブラウザベースのみです。独自の開発と実績のあるライブラリを使用して、Canvas、マップ、アイソメトリを操作します。典型的なWebUI用のVue.jsフレームワークであるJS / TSを使用します。



私たちはまだモバイルプラットフォーム向けに書いていません-せいぜい、モバイル権限をサポートしています。しかし、これは多くの場合必要ではありません-私たちのゲームのほとんどでは、コードを書く必要があり、携帯電話からコードを書くことはとても便利です。



CPUとメモリのゲームはどれほど厳しいですか？



ニキータ：私たちのゲームでは、コードを書く必要があり、このコードを実行する必要があります。



さまざまな環境でコンパイルおよび解釈される12の言語をサポートしています。サーバーリソースでコードを実行します。プロセッサとメモリの負荷が高くなります。



また、オンラインIDEのオートコンプリートコードを提供するLSPサービスも実行しています。また、CPU、特にメモリも必要です。プレーヤーが多い場合、負荷が大幅に増加します。



ゲームはどこでホストされていますか？



ニキータ：いつも雲でした。現在、メインプロバイダーはAzureです（Geeckoは、クラウドを無料で使用するためにMicrosoftから助成金を受け取りました-ed。）。そこですべての新しいプロジェクトを立ち上げます。そして、私たちにとって重要なことは、Kubernetesでそれらを立ち上げることです。すべての新しいインフラストラクチャは、KubernetesとDockerに基づいています。



以前はどのプロバイダーを利用していましたか。また、なぜ切り替えることにしたのですか。



ニキータ：私たちはDigitalOceanとYandex.Cloudに参加してきました。彼らは優れたプロバイダーですが、マイクロソフトが私たちにとって最も適切な助成プログラムであることがわかりました。



以前はサーバーにいくら費やし、現在はどのくらい費やしましたか？



ニキータ：半年前は月に約3万ルーブルを費やしていましたが、今では10万ルーブルに近づいています。成長はプロジェクトの数に関連しています。古いプロジェクトを止めるのではなく、引き続き機能し、有機的な登録を受け取ります。私たちは定期的に新しい活動を開始します。1か月で3つのプロジェクトをリリースできます。たとえば、1つのバトル、1つのゲーム、ミートアップです。



Microsoft Grantはすべての費用をカバーしますか？



ニキータ：インフラコストはゼロにはなりませんでした。一度にすべてを輸送することはできません。これは経済的に実現可能ではありません。したがって、さらに2つのクラウドプロバイダーが引き続き協力しており、そのシェアは単純に減少しています。



他の地域でのバックアップ、別のクラウドでのリソースのディザスタリカバリ-これはすべて重要です。



全体として、全体的なコストが削減されます。コード実行サービスのリソース消費量は最大であり、助成金のおかげで、来年のコストはゼロになります。いくつかの条件が満たされた場合、助成金は2年目に延長されます。





Cyber​​codeゲームのスクリーンショット

金曜日のFacebookトラフィックの急増

ユーザーの流入により生産が落ちたという状況はありましたか？



ニキータ：はい、これに近い事件があったら。私たちは国際的な会社からの仕事を持っていました：多くの英語を話す開発者を見つけること。



設計上、プレイヤーは同じマップ上にいる間に集合的にミッションを完了する必要があります。マップのサイズは有限であるため、全員をマップに配置することは不可能です。ユーザーを100人のクラスターに分割し、各ユーザーの寿命は5日以内です。これがミッションを完了するためのゲームサイクルです。この間、参​​加者は勝つか負けるかのどちらかです。



このようなカードは最大10枚、つまり最大1000人のプレイヤーが同時にアクティブになると予想しました。しかし実際には、ピーク時には2000人以上のプレイヤーまたは20枚のカードがありました。



なぜそれが起こったのですか？なぜそんなに多くのユーザーが突然ゲームに来たのですか？



イリーナ：この話は、Facebookが広告主のポリシーと矛盾するために広告アカウントを大規模かつ自発的にブロックし始めた3月初旬に起こりました。その後、私たちを含む多くの企業が広告オフィスを失いました。メインオフィスと両方のバックアップオフィスが崩壊しました。そして、私たちがゲームを宣伝しなければならなかったまさにその瞬間に、これらすべてがありました。



Facebookは、利用可能なデータに基づいてオーディエンスを選択してセグメント化するのが簡単であるため、主要なプロモーションチャネルの1つです。そして、丸12日間、このチャネルにアクセスできなくなりました。汗、血、涙でそれを返したとき、私たちはKPIに追いつく必要がありました-主にヨーロッパの特定のジオロケーションの4500液体登録。



予算を押し上げる以外に選択肢はありませんでした。私たちは広告キャンペーンをスピードアップしました。



「予算を押し上げる」とはどういう意味ですか？



イリーナ：最初に1日300〜500ドルを費やした場合、ここでは1000を超えまし



た。通常、広告キャンペーンは数日間トレーニングされ、その後、可能な限り収益性の高い方法で機能し始めることを理解する必要があります 。しかし、私たちの広告予算は通常よりも多かったので、キャンペーンはより早く学習し、2日目には本当にクールな指標を回転させ始めました。ある時点で、私たちは彼女のコントロールを失いました。



一定のコンバージョン率を期待していましたが、Facebookがオーバークロックしたため、より単純であることがわかりました。このようなゲームの平均コンバージョン率が約8％の場合、ピーク時には15％に達します。



涼しい！



イリーナ：そうですね、広告予算が​​大きいということを理解したのはその時でした。確かに、これは西側の場合にのみ機能します。ロシアでは、それほど多くのお金を費やす聴衆がいないだけです。



そしてもちろん、それはすべて金曜日に起こりました。クラシック！金曜日の夕方、ニキータからトラフィックが多すぎて何かし​​なければならないというメッセージが届きました。



ニキータはどうやってこれを知ったのですか？この信号はどこから来たのですか？



ニキータ：自動サーバーロード通知があります。これはそれがどのように見えたかです：







仮想マシン（8コア、32 GBのメモリ）が50％のしきい値でCPUに90％ロードされているというアラートが表示されます。



サービスは引き続き機能するため、これは重要ではありません。プレイヤーにとって、これは「コードの実行」ボタンを押して、実行を2倍待つことを意味します。しかし、それはまた、新しいプレーヤーが入り続けると、状況は悪化し、ダウンタイムに至ることを意味します。



その結果、最悪の結果は回避されました-サービスは完全にダウンしませんでしたか？



ニキータ：幸いなことに、すべてが順調に終わりました。



もちろん、就業時間の途中で状況が発生した場合は、まったく心配する必要はありません。そこで、迅速に対応できます。しかし、金曜日の夜ではありません。金曜日の夜、あなたはバーに行き、あなたの電話でこのメッセージを受け取ります。しかし、すべてを修正するには、電話をかけるだけでは十分ではありません。



どのように状況を管理しましたか？



イリーナ：広告キャンペーンのコストを70％近く削減しました。



後で軌道に戻りましたか？



イリーナ：いいえ、状況は予測できなかったので、彼らはそれを同じ状態にしませんでした：Facebookは毎日ますますコンバージョンを増やしていました。同じ速度でもう1週間回転していたら、おそらく変換率はさらに高かったでしょう。しかし、英雄的な勝利は必要なかったので、私たちは快適なレベルを回復しました。ロードされたマップは約10個で、サービスは静かに機能していました。



ニキータ：この問題には他にも注意が必要です。プレイヤーのメッセージに迅速に対応するよう努めています。プレーヤーが多いほど、生成されるサポートリクエストも多くなります。高いレベルのサービスを維持したかったのですが、サポートの量をそれほど早く増やす準備ができていませんでした。週末にピークを迎えるよりも、すべてをスムーズかつ予測どおりに行う方が賢明であると判断しました。



今回、あなたは広告キャンペーンを抑制し、それによって状況を救うことに決めました。通常、技術的な観点からスケーリングの問題をどのように解決しますか？



Nikita：サービスの追加インスタンスを起動することでスケーリングしています。



この場合、Kubernetesではなく、オートスケールもありません。仮想マシンのクローンを半手動モードで開始する必要があります。VMがイメージから再作成されるまで、最大30分待つ必要があります。その後、VMが期待どおりに機能し、VM上のすべてのサービス（LSPサーバー、コードランナー）が起動したことを確認する必要があります。その後、新しいマシンへのトラフィックのバランスを取り、ワークロードとステータスコードを引き続き監視します。





SberCraftゲームのスクリーンショット

結論と計画

この事件の後、どのように仕事を整理しましたか？



ニキータ：マーケティングを計画するのに最適な方法を考え出しました。登録の量によってどれだけの投資が行われるかです。



技術レベルでは、コード実行サービスをスケーリングする新しい方法、理想的には自動スケーリングが必要であると確信しています。



コード実行サービスをステートレスにし（ストレージシステムから独立）、アーキテクチャを少し変更し、インフラストラクチャを変更します。他のサービスが実行されるのと同じKubernetesを導入します。



しかし、コード実行サービスの場合、スキームはより複雑です-他のものほど簡単に翻訳することはできません。私たちはまだすべてが正常に機能していることを確認しています。



現在、コードはDigitalOceanで実行されており、Azureクラウドで実行されます。 Kubernetesで。



Kubernetesをサービス（Azure Kubernetesサービス）として使用していますか？



ニキータ：はい。 Kubernetesをサービスとして使用しており、クラウド機能オプションも検討しています。



AWS Lambdaはどうですか？



ニキータ：はい、すべての主要なプロバイダーがそれらを持っています。彼らはあなたがコードを実行するのとまったく同じくらい支払うことを可能にします。ただし、ランタイム環境の機能には技術的な制限があります。



現在、インフラストラクチャを担当しているのは誰ですか？



Nikita：DevOps、SREは非常に広い領域であるため、私の資格とバックエンド開発者の資格は必ずしも十分ではありません。また、バックエンド開発者をインシデントの任務に任せることはあまり正しくありません。そのため、今年の初めに、以前は他のビジネスで一緒に働いていたDevOpsチームをアウトソーシングしました。



インフラストラクチャおよびDevOpsチームとのコラボレーションを始めたのはなぜですか？



ニキータ：ゲームの事件は、私たちが長い間認識していたが、実装する機会がなかった変更のきっかけとなりました。



会社は成長し、同様のケースが発生し始めました。これにより、確認されました。そうです、DevOpsエンジニアが必要です。拡張しやすいインフラストラクチャを作成する必要があります。



このタスクは、2か月前にAzureから助成金を受け取ったときに完全に処理されました。これまでに、多くのサービスが新しいクラウドに移行しました。



人を雇うのではなく、なぜアウトソーシングすることにしたのですか？



ニキータ：私たち自身の経験から、DevOpsは採用が難しい分野であることがわかっています。そしてここで、実績のある人がいることがわかりました、そして請負業者と一緒に働くという形は私たちにとって非常に便利です。



さて、そして最も重要なことは、私たちは1人のエンジニアではなく、24時間体制でサービスの可用性を監視し、ユーザーが発見する前にインシデントに対応する準備ができているチーム全体を獲得したことです。



DevOpsチームは、すべてをゼロからセットアップしていますか、それともモニタリングを含め、それが何であったかを使用していますか？



ニキータ：私たちは変位の道を歩みました。新しいインフラストラクチャで新しいプロジェクトを開始し、そこにコアサービスを移行し、古いインフラストラクチャでプロジェクトをサポートします。監視を含め、すべてが新しいプロジェクトにとって新しいものです。



変換の特徴は、サービスのアーキテクチャを再考する必要があることです。新しい品質を得るためにそれをどのように変更できるかを理解しました。



したがって、バックエンド側でも作業が行われています。コードをリファクタリングし、アーキテクチャを更新しますが、かなりの量です。



では、今、新しいCI / CDプロセスをセットアップしていますか？



まず、組織再編を行っています。専任チームに対応する新しい役割があり、コミュニケーションの方法、タスクの設定が変更されました。



CI / CDプロセスがあり、新しいインフラストラクチャへのロールオーバーを開始したばかりです。もちろん、改善は進んでいますが、根本的には変わりません。





ゲームSberCraftのスクリーンショット



あなたは自分自身のためにどのようなグローバルな結論を出しましたか？



プロジェクトのライフサイクルのさまざまな段階で、物事は異なります。 6か月前は、DevOpsチームの準備ができていなかったでしょう。しかし今では、はるかに実質的に彼らとコミュニケーションをとることができます。私たちは自分たちの苦痛をはっきりと理解し、何かをする方法についての質問と提案のリストを持ってみんなに来ました。それは良いコラボレーションであることが判明しました。私たちは一緒になって、質の高い、根拠のある決定を下しました。



今後、多くの作業があります。移行プロセスにおけるコード実行サービスは、最も複雑なサービスであるため、多くの関与が必要になります。しばらくの間、両方のバージョンのサービスを本番環境で使用し、それらの間のトラフィックのバランスを取ります。すべてが正常であることがわかったら、完全にAzureに切り替えます。

, . , .



, , , .



21 «» , .



:

— ,

— ,

— ,

— ,

— .



Databricks, Mail.ru Cloud Solutions TangoMe.