「検疫中、負荷は5倍に増加しましたが、準備はできていました。」Lingualeoが2300万人のユーザーでPostgreSQLに移行した方法

Lingualeo プロジェクトはすでに10年前のものです。ロシア、トルコ、スペイン、ラテンアメリカからの2300万人以上が私たちのサービスを使用して英語を学んでいます。



LinguaLeoは2000年代後半から10年代前半に作成され、当時の最先端のテクノロジーと手法を使用していました。しかし、時間が経ち、彼らは非常に時代遅れになりました。そこで、システムを更新する時期が来たと判断しました。



バックエンド開発リーダーのOlegPravdinに、彼と彼のチームが、メイン製品のサポートと並行して、PostgreSQLに基づく新しいモジュラーサービス構造を構築し、ビジネスロジックをデータベースに転送し、何百万ものユーザーに移行した方法について話してもらいました。

成熟した製品の問題

「私は2018年8月にLingualeoに来て、バックエンドの開発を主導しました。当時、支援は8人の開発者と2人の管理者のチームによって行われ、彼らは主にPHPで100万行のコードのモノリスを維持していました。小さな新機能でも実装するのに2ヶ月かかりました。また、アクティブユーザー10,000人あたりのインフラストラクチャコストは年間1,000ドルを超えました。



どうしてそうなった？事実、プロジェクトでは10年以上にわたっていくつかの開発チームが変更されました。私のように、新しい人々がやって来て、彼らは独自の方法で新しいモジュールと機能を追加しました。チームが変わり、新参者はシステムの古い部分がどのように機能するかを常に理解していなかったため、Lingualeoのコードは徐々にブラックボックスに変わりました。バックエンドの不透明なロジック、過負荷のフロント、大量のクラッチ、ドキュメントの大きなギャップ。



スタッフには合計20人の開発者がいましたが、製品を開発することは不可能でした。何かを追加すると、予期しない問題が発生しました。チームがすべてを修正するのに2〜3週間かかりました。開発者は2013年からコードを保守しており、機能を更新するためのリソースはありませんでした。



これらは、10年前のテクノロジーで記述された成熟したIT製品を開発する多くの企業が直面する課題です。トレンドは変化しますが、古いアーキテクチャのため、すべての新しいアイテムを使用できるわけではありません。



製品は開発され、機能が大きくなりすぎていますが、詳細に文書化する時間がありません。これらの問題はさまざまな方法で解決されますが、私たちはこの方法を決定しました。Lingualeoのユーザーエクスペリエンスが変わらないように、新しいシステムを最初から構築し、できるだけ多くの製品ロジックを維持する必要があります。

ステップ1.新しいアーキテクチャのプロトタイプを組み立てました

サービスの技術コンポーネントを更新し、最新のテクノロジーを使用してLingualeoを再構築する方法を理解する必要がありました。私は経営陣に、バックエンドの哲学を完全に変えることを提案しました。ビジネスロジックをデータベースに転送し、MySQLデータベースをPostgreSQLに置き換えます。



私は紙のプロトタイプから始めました。新しいアーキテクチャを描き、パフォーマンスを向上させる方法と、準備に必要なリソースの量を説明しました。明確なサクセスストーリーが手元になかったため、プロジェクトを保護することは困難でした。ビジネスを停止せずに2,000万人のユーザーでサービスを移行する方法について誰も書いていません。しかし、Lingualeoはリスクを冒すことに決め、変更計画を承認しました。



移行前のアーキテクチャ図







PHP, , MySQL . JSON











SQL PostgreSQL, JSON. -, , JSON

2.

計画を開発者と共有したところ、チームは変更の準備ができていないことが明らかになりました。ほとんどの人が会社を辞めました。最近来た人だけが残りました。移行するために、開発チームを再編成することにしました。



私たちは野心的で変化の準備ができており、専門的で責任あるものを探していました。コードの品質だけでなく、ソフトスキルにも注意を払うようにしました。私たちはサービスのアーキテクチャを再構築していたので、複雑なプロジェクトを恐れず、以前は直面していなかった問題を解決する準備ができている人々が必要でした。



たとえば、私のように偶然見つけた人もいます。飛行機でリンガレオのCEO、ウラジミール・シロティンスキーに会いました。ウラジミールは別のスタートアップとの協議で将来のフロントエンドリーダーに会いました。しかし、私たちは市場からほとんどの新しい開発者を採用しました。8つの欠員を埋めるために、1,118のアプリケーションを調査し、124のインタビューを実施しました。Lingualeoでの新しい開発者の欠員の候補者の





漏斗。

ステップ3.組織構造の簡素化

開発には、Web、バックエンド、モバイルアプリケーションの3つの領域があり、テスター部門もあります。すべての業界を一度に理解できる人を見つけることは、短期間で非常に困難です。そのため、テクニカルディレクターを辞任し、新しいチームの組織構造を可能な限りフラットにすることにしました。同社の管理レベルは1つだけで、各方向に1人のリーダーがいます。



定期的に会議を開催し、直接連絡を取り合うことで、開発の予測性が高まり、時間枠が短縮されました。 CTOは、チーム間で責任を誤って割り当てるなど、不合理な決定を下す可能性があります。リードがマネージャーの追加レイヤーなしで通信するシステムでは、不合理な決定の可能性が減少します。私たちはいつでも個人的な会話で問題について話し合うことができます。



たとえば、フロントではなくデータベースの新しい構造に関数を実装する方が論理的であると理解している場合は、チャットに書き込み、フロントエンドリーダーとアイデアについて話し合います。CTOとの約束をしたり、アイデアを裏付けるプレゼンテーションを準備したりする必要はありません。







変更前後の組織構造：開発中のCTOを削除し、製品部門の構造を簡素化しました。今日では、製品設計者は、アイデアを前面に出すために2つのレベルのマネージャーと話す必要はありません。

ステップ4.ビジネスロジックをデータベースに転送

以前は、Lingualeoのビジネスロジックは最前線でアプリケーションにありました。製品の機能は、JavaScriptやPHPコードなどのデータを処理するように設計されていないシステムによって解決されました。そのため、LingualeoビジネスロジックをPostgreSQLデータベースに移植しました。

密林

Lingualeoサービスの4つの主要なセクションの1つはJungleです。これは、外国語（テキスト、オーディオ、ビデオ）の資料のセットであり、任意の単語の翻訳を認識できます。つまり、ユーザーは実際のコンテンツを英語で学習し、何かが明確でない場合は、ビデオのテキストまたはサブタイトルの単語をクリックして、翻訳を見ることができます。



ジャングルのテキストジャングルの







ビデオ







クリックして単語を翻訳する機能を使用するには、テキストを単語、表現、フレーズに分割する必要があります。次に、-辞書を参照して、新しいウィンドウでテキストの上に翻訳を表示します。翻訳のためにテキストを分割するのはかなり難しいです。2つの単語に分割しても意味がない固定式とフレーズ動詞があります。たとえば、離陸と離陸は、同じ単語が含まれていても、コンテンツの異なる単位です。



この関数のすべてのロジックは、例外と複雑なテキスト分割ルールとともに、以前は前面のJavaScriptで記述されていました。機能が非常に面倒で、翻訳に時間がかかる場合がありました。



この機能をデータベースに実装しました。バッキングは既製のJSONをフロントに送信し、テキストはすでに単語と表現に分割されています。データベース内の各単語と式にはIDが割り当てられているため、翻訳を簡単に見つけることができます。また、JSONは、ユーザーが辞書に持っている単語とまだ持っていない単語を考慮に入れます。前面に残っているのは、情報を表示し、特定の記号で単語を強調表示することだけです。

辞書

[辞書] セクションでも同じことを行いました。すべての作業がデータベースで行われるようになりました。辞書に10万以上の単語や表現があるユーザーがいます。辞書で便利な検索を提供し、単語をグループに分割し、ユーザーにさまざまなフィルターを提供する必要があります。



以前は、辞書のロジックはフロントサイドまたはPHPレイヤーにありましたが、現在、システムにはフロントエンドとバックエンドの間に本格的なAPIがあります。多数のパラメーターを含む1つのリクエストをデータベースに送信すると、そこから既製のJSONが送信されます。







辞書フィルター：単語による検索、トレーニングの種類による単語の選択、単語とフレーズの選択、学習した単語と新しい単語によるフィルター

コース

ビジネスロジックをデータベースに転送すると、コードの量が大幅に削減され、サービスが高速化されました。たとえば、[コース]ページのバックエンドコードは移行後に変更されました。登録ユーザーに見られ、そこにあるコースは10の基準に従ってシステムによって選択されます。以前は、このようなページは600ミリ秒間形成され、データベースに12のリクエストを送信していましたが、現在は1つだけです。

ステップ5.リリース後のユーザーフィードバックを検討する

開発には約6か月かかりました。2018年末に更新を開始し、2019年5月にリリースしました。ほとんどのユーザーは、サービスがはるかに速く機能し始めたと感じました。以前は、Lingualeoは速度を落とさずに同時に2,000人以下をトレーニングできましたが、現在、システムは100,000人を超えるユーザーのピークに耐えることができます。



一部の人々はまた、否定的な結果に気づきました。ブラックボックスを使用して移行すると、データの100％の安全性を確保することが困難になるため、辞書から単語を失ったものや、コースの進行状況を誤って表示したものがあります。



徐々に、私のチームと私はすべての問題を修正しました。変更の主な結果は、現在、ブラックボックスではなく、シンプルで透過的なシステムで作業しているため、フィードバックの作成がはるかに簡単になったことです。

Lingualeo

2020年4月の自己隔離期間中、Lingualeoの作業負荷は1年前の同時期の5倍でした。これは問題を引き起こしませんでした：サービスの速度は落ちませんでした、ユーザーは何も気づきませんでした。システムを更新していなかったら、サービスは単に失敗していたはずです。



この製品は、ユーザーにとって高速であるだけでなく、操作もはるかに簡単です。チームが新機能を導入してテストするのが簡単になりました。ドキュメントを整理し、コードが約40分の1になったことで、新しい開発者はサービスの仕組みを簡単に理解できるようになりました。



製品が安くなったので、より少ない計算能力を借りる必要があります。 Lingualeoのアクティブユーザーあたりのコストは50倍以上減少しましたが、更新後、アクティブユーザーの数はすでに2倍になっています。



最後に、製品はより安全です。以前は、すべてのビジネスロジックがPHPレイヤーにある場合、データベースへのリクエストはそこからさまざまな関数から送信されていました。SQLクエリに対して開かれたデータベースには問題があります。SQLインジェクションを実行して、データの削除などの危険なコードを強制的に実行させることができます。すべてのロジックを内部に移動したため、外部からのSQLクエリは1つもありません。」



更新されたLingualeoで開発がどのように機能するかについて定期的にブログを書き続けたいと思います。最初に話す価値のあることをコメントに書いてください：私たちのチームが変わった、そして管理構造と技術。私たちはあなたのすべての質問に喜んでお答えします。