年間100％の成長と40万RPM。開発の進化2018-2020：プロセス、人、テクノロジー、計画

マインドボックス-負荷がかかっている200万行のb2bビジネスロジック。当社の製品：CDP、ロイヤルティプログラム、Webサイトのパーソナライズ、トランザクションおよびバルクメーリングは、信頼性と運用速度の観点から、ビジネスインフラストラクチャの重要な要素です。



13年間、私たちは開発を拡張して、すべてが成長するにつれて確実に機能し、同時に新しい機能が迅速にリリースされるようにする方法を模索してきました。かつては、データベースの列の名前を簡単に変更することが重要だと思われていました。今-私は外出先でアーキテクチャ全体を変更する必要がありました。



これは、ピーク週であるブラックフライデーの3回目の年次開発ポストです。なぜ私たちは最終的に私たちが素晴らしいと思うのですか？彼らがこれのためにしたこと; なぜ困難に直面したのか、そして次に何をするつもりなのか。

要約：正当な理由で2年間働く

マインドボックスの負荷は5年連続で、毎年約2倍になります。 2020年11月には、前年の44.8億に対して、87.5億のAPIリクエストを処理しました。ピークは1分あたり40万リクエストです。 16.4億の電子メールと4億4000万のモバイル通知を送信しました。 1年前には11億通のメールがありましたが、プッシュはほとんどありませんでした。



ブラックフライデーの1週間あたりの郵送数のダイナミクス：







私たちのデータによると、これは、データベースの負荷の観点から、APIリクエストのhh.ruレベルの負荷に匹敵します-Avitoを使用します。 1分あたりのリクエストでYandex-Taxiから約3分の1。



で 2018年と 2019何年にもわたって、私たちはこれにうまく対処していませんでした。クライアントは拒否に苦しんでいました。 2018年の終わりに、私は迅速な改善を望み、これまでのところ半分しか完了していないビジネスロードマップを期待していました。 2019年、信頼性が低下したため、9月に障害が発生し、大量の作業が行われたにもかかわらず、ブラックフライデーに繰り返し発生したため、ロードマップについては黙っていることにしました。



今日、私たちは結論を下すことができます：私たちは成長に対処することを学びました。ブラックフライデー2020は、複数の顧客に影響を与える問題は発生しませんでした。 SLAに違反しなかった外部インフラストラクチャが原因で、2つの短期的な部分的な障害が発生しました。残念ながら、いくつかの最大のクライアントから苦情がありましたが、これらは私たちが理解し、取り組んでいる単一のストーリーです。



さらに、データと主観的なユーザーレビューは、開発品質を向上させる長期的な傾向を示しています。重大なエラー、障害、パフォーマンスの低下などの欠陥が減少します。



グラフは、今年さらに厳しくした





内部SLAの違反 （外部よりも厳しい）を示してい ます。平均的なクライアントによる内部SLA違反の数



2年間で開発を完全に「再発明」し、平均収益の40％の割合で成長を続けました。年間（2019年-4億3100万、2020年-6億1800万）および新機能のリリース。気持ち-車のエンジンを全速力で変える方法について。



2年間で何が行われたか：

• (LESS) , , .
• 50% , ( ) .
• SRE. SRE .
• , , .
• SLA .
• «-», .

これはすべての計画からは程遠いです。品質のために割り当てられるリソースの量を増やし続けています。2021年以降、さらなる品質の向上と新機能のより迅速なリリースが期待されます。



ちなみに、私たちは定期的に製品のアップデートについて書き 、インシデントの履歴を含むステータスページを維持してい ます。

困難の起源：2008-2018

マインドボックスは複雑なビジネスロジックを備えた製品であり、2008年から大企業向けのサービスとして開発を続けており、開発コストのシェアは30％を超えています。アーキテクチャの観点からは、これは従来のモノリシックアプリケーションでしたが、非常に高品質でした。毎日、いくつかのモノリスアップデートをリリースしており、現在もリリースしています。



2014年、市場は私たちをeコマースや小売りを含むよりマスセグメントに向けさせました。これには、カスタマーサービス、販売、マーケティングへの投資が必要でした。



同社は外部からの投資を引き付けたことはなく、常に自己利益で発展してきました。また、CEOに就任してから半年後の2017年、資金不足に直面し、怖くなり、利益率を大幅に上げてしまいました。これらすべてが、2018-2019年の開発コストを収益の24％に削減することにつながりました。



同時に、新しい顧客が必要とする多くの機能をリリースする必要がありました-ワークロードと顧客の数が急速に増加しました。元の製品とアーキテクチャのバックログ、および分散化（自律的な製品チームの形成）に対処しました。



残念ながら、そのようなチームの技術的専門知識は会社の成長に追いついておらず、モノリシックアーキテクチャで可能な限界によってさらに悪化しました。技術的な負債が蓄積され、使用された技術は時代遅れであり、給与は市場を下回っていました。困難な課題と会社の独特の文化にもかかわらず、エンジニアの雇用はますます困難になっています。2018年までに、顧客数は10倍に増加し、製品の成功が明らかになり、信頼性と開発全般の問題も明らかになりました。

どのような対策を講じましたか

プロセスとリソース

最初の仮説は集中化でした。2019年にLESSが導入されました。これは、複数のチームが1つのプロジェクトに同時に取り組んでいる場合です。私たちは共同で叙事詩を設計し、信頼性を持って作業し始め、予測可能性を高め、有用な設計手法を見つけることができました。しかし、1年後、プロセスの非効率性が明らかになりました。「チーム」の機能の感覚の欠如、高い管理コストによるチームの意欲低下と責任の軽減であり、誰もやりたがりませんでした。



1年間の共同設計により、各チームが単一の製品を顧客に提供し続けながら、分離されたマイクロサービスを担当できるようにする分散型アーキテクチャのビジョンが浮かび上がりました。ビジョンとともに、タスクのバックログが発生し、ビジネスロードマップで中断することなく、専任のスペシャリストと一緒にインフラストラクチャで作業する必要があることが明らかになりました。



リソースの30％を継続的に技術債務に割り当てることに合意しました。最初のインフラストラクチャチームが結成され、自律チームが再び割り当てられ始めました。同時に、主に品質の維持を目的として、多数の集中型コラボレーションプロセスが維持されています。

• 設計、
• 欠陥分析、
• 鉄への負荷のモデリング、
• デモと同期のステータス。

信頼性の指標とサーバーのコスト予測については、アーキテクトとチームの責任を負いました。さらに、ビジネスの継続を待つ間、各チームに30％を技術的な負債とバグに割り当てました。



2020年に、プロセスは落ち着きました。2番目のインフラストラクチャチームを編成し、配信を調整しました。ビジネスタスクのリソースのシェアは、約50％の低いポイントからゆっくりと増加し始め、バグのシェアは減少し始めました





。タスクによる開発リソースの分散。信頼できる指標が比較的最近確立されたため、グラフはあまり有益ではありませんが、



現場からの印象によって補強されています。この間に、 SREを採用してオンボーディングする方法を学び、 SREをDevOpsやオフィスITから分離し、職務プロセスを形成し、役割を説明しました。



エンジニアの不足は2つの方法で削減されました。

• 私たちは、年間8〜12人のジュニア開発者を卒業する開発学校を設立しました。これらは、私たちのスタックの経験があり、その能力に自信を持っている開発者です。今日、学校には4人の研修生からなる2つのチームがあります。
• 業績が許す限り、開発のための給与を体系的に増やしました。開発中の平均給与は、2015年の12万ルーブルから2020年末には17万ルーブル以上に増加し、増加を続けています。これにより、私たちはいくつかの新しい強力な先輩と技術リーダーを雇うことができました。開発費のシェアは28％に上昇し、人数は27人から64人に増加しました。

メトリック、メトリック、および自動メトリック

私たちの文化では、個人的な意見ではなく、データによって管理するのが通例です。効果的な指標は、おそらく、現代の開発管理手法では直接的な答えが得られない難しい質問の1つです。 Accelerate



ブックの4つのメトリックを自動化し、配信パイプラインを高速化することから始めました 。これはすぐに明らかな影響はありませんでした。しかし、hh.ruとYandex-cloudとの経験の交換により、SLA違反メトリックの自動化と欠陥の自動確立につながりました。ここで私たちは、行われている努力の恩恵とつながりをはっきりと感じました。傾向のあるこのメトリックのグラフは、投稿の冒頭にあります。



控えめですが、私たちは、プラットフォームコンポーネントの可用性のメトリックをリアルタイムで取得できるクライアント用のAPIを持っている世界でも数少ない企業の1つだと思います。



チーム内のバグと技術的負債のシェアに関する上記のメトリックも役立つようです。さらに、チームがスプリントに与えられた約束をどのように果たすかを検討し、開発者は毎日および毎週のタスクの期限を守ります。



最後に、 匿名の四半期ごとの投票（テキストはそれ以来改善されていますが、投票の本質は変わっていません）と Habr-Karerの高い評価は、開発の不幸の減少を示しています。これは、市場、処理、およびeNPSに関連する彼らの収入の評価に関係します（これまでのところ2四半期のみのデータ）。



開発者所得







調査：







開発者オーバーホール調査： eNPS開発者：





1〜10のスケールで、Mindboxを職場として推奨する可能性はどのくらいありますか？

最後になりましたが、テクノロジー

これらすべてにより、モノリシック製品（IIS + ASP.NET + NLB / Windows Service / MS SQLで200万行を超えるコード）の書き直しをすべての方向で同時に整理することが可能になりました。

• マイクロサービスAPIとバックエンド。APIゲートウェイへの1つのクライアント要求が、同期要求（サガパターン）を含む複数のマイクロサービスによって透過的に処理される場合。
• マイクロフロントエンド。インターフェイスセクションは、独自のレイアウトパイプラインを使用して、独自のリポジトリでホストできるバックエンドSPAアプリケーションから分離されています。
• マルチテナントマイクロサービスのMSSQLから分散スケーラブルストレージへの転送：Cassandra、lickhouse。RabbitMQの代わりにKafka。
• アプリケーションを.NETCore、linuxに転送し、ManagedKubernetes「Yandex-clouds」に部分的に転送します。すぐに、最新のSREおよびDevOpsテクノロジーの導入：OctopusDeploy + Helm、Prometheus、Grafana、Graylog + Sentry、Amixr.IO。

おそらく私たちはYandexCloudの最も負荷の高いクライアントの1つであるため、Nikita Prudnikovは、Yandex Scale2020でのYandexによるCTOの実装と克服の難しさ について話しました。



ブラックフライデーに関する記事では、昨年は壊れず、今年も壊れなかったメーリングリストコンポーネントの例を使用して、スケーリングに採用する主なアプローチについて読むことができます。

さらなる開発計画

達成された結果にもかかわらず、私は計画されたものの半分未満が行われたと言わなければなりません。先：

• 開発者の収入を増やし続け、最高のシニアおよびテックリードを採用する
• 開発学校の3番目のチーム。年間最大12人の開発者を雇用できます。
• アプリケーションの.NET、k8s、Yandexクラウドへの継続的な変換、自動スケーリング、インスタントロールバックを備えた青緑色のレイアウト
• ステータスページでのインシデントの自動確立に向けて、SLAの誤検知を排除します
• .NET 5、EF.Core、PostgreSQLへの移行（および開発者から新しいMacBookへの移行）
• モノリスからさらにいくつかの大規模な作品を選択する

hh.ruへの私たちの仕事に対応するために.NET開発者tehlidovとSREスペシャリストを成長させたいという意欲的な衝動 。それは興味深いでしょう、あなたは市場でユニークな経験を得て、物事をすることができます。

2021年のロードマッププラットフォーム

私たちは足元にしっかりとした基盤を感じ、ビジネスロードマップの約束を再び果たすことができるという希望を与えてくれました。私たちは初めて分散型計画のプロセスを1年間試みていますが、私は無謀に国民の期待を形成することを許可します。



今年はプラットフォームに追加します：

• シナリオコンストラクター。
• 匿名注文の保存と報告
• インターフェイスでのより迅速なレポート（私たちのコースのように）
• BIとの統合
• 新しいSDKを含む新しいモバイルプッシュ通知モジュール
• 相互の依存関係を考慮して、エンティティをすばやく削除する機能
• より多くのMLアルゴリズムと既存のものに対する多くの品質改善
• インターフェイスの応答性が向上した新しいデザインのページが増える
• 標準の統合とメカニズムの簡素化されたカスタマイズ

2022年の計画はもっと野心的ですが、楽観的な見方が正当化されれば、1年以内にそれらについて書きたいと思います。

ありがとうございました

クライアントのサクセスストーリーのように、これは私が感謝の意を表す特定の人々のメリットです



。ビジョン、一貫性、体系的な絞り込みに対する CTOのNikitaPrudnikovです。



忍耐、チーム構築、幅広い責任、非公式のリーダーシップ、眠れない夜のためのリードアーキテクト、RomanIvonin。



CIOのIgorKudrinは、SREの専門知識、ビジョン、そして誰も方法がわからないときのすべての救済の基盤を築いてくれました。



Rostislav、Leonid、Dmitry、Mitya、Ilya、2人のArtyom、Alexey、Sergei、Nikolai、Ivan、Slava、Zhenya、その他の思いやりのある開発者、製品、技術リーダー、SREがすべてを実現しました。誰にも言及しなかったらごめんなさい。



私たちが失敗したにもかかわらず、耐え、改善する機会を与えてくれたクライアントに特に感謝します。私たちは、より良くなるためにあらゆる努力をします。