カフカ、ラモーダ、そして学びたいという魅力的な欲求

オンラインショップLamoda部門の開発者であるNikitaGalushkoは、Slurmトレーニングセンターを訪問しているときに、Kafkaコースの印象を共有し、このテクノロジーがどのように使用され、R＆D部門（研究開発）でどのような問題が解決されるかを説明しました。

「2年以内に、Kafkaが使用するネットワークチャネルにどれだけ早く到達するでしょうか？」

Lamodaは、ロシアとCISで最大のオンラインストアの1つです。購入者が問題なくサイトを使用し、迅速な出荷と配送を楽しむために、開発者、QAエンジニア、アナリスト、DevOpsスペシャリスト、製品マネージャー、デザイナーの340人の従業員がLamodaのITシステムに従事しています。このシステムで歯車がどのように回転するかを調べてみましょう。



何かあなた自身について教えてください。 Lamodaで何をし、どのくらい働いていますか？



私の言いたいこと：「私はボタンを押すと、彼らは私にお金を払ってくれます。」私はボタンを押して約6年になります。この間ずっと、私はGoで書いています。私は2020年10月からそれほど前にラモダにいませんでしたが、すでに多くの奉仕プロジェクトで触手を解放することができました。



私はRnD（研究開発）部門で働いています。これは、1週間でKafkaでサービスを作成し、KafkaとPostgreSQLの間で分散トランザクションを行う方法を決定し、次はAerospikeのコードジェネレーターを作成する部門です。これはとても面白い仕事です。



研究開発は分析と強く結びついていることを正しく理解していますか？



はい、私たちはデータサイエンティストと緊密に協力しています。彼らは分析を行い、モデルをトレーニングして構築し、次にこれらのモデルをアプリケーションまたはWebサイトの操作に組み込むように要求します。たとえば、ユーザーに推奨事項のパーソナライズされたリストを表示したり、顧客に最も適した服や靴のサイズを提案したりするモデル。



あなたの仕事についてどのような仕事が好きですか？研究開発部門であなたにとって興味深いことは何ですか？



これはおそらく自由です。 1つのナレッジドメイン、サービス、またはサービスの小さなセットに限定されません。研究開発では、Goでサービスに変更を加え、翌日Javaで変更を加えることができます。このアプローチでは1つのサービスに集中することが難しいため、これは不利になる場合があります。しかし、私にとってこれは、さまざまな分野で自分の手を試して、開発者がさまざまな問題を解決するために使用したアプローチを確認し、自分自身のために新しいことを学ぶ機会です。



最近、Aerospikeの結果を解析するためのコードジェネレーターの作成を開始しました。彼は生データを提供するので、あなたは常にそれらを手で解析しなければなりません。そして、これらは潜在的な間違いであり、貴重な時間の浪費です。あなたは何かを忘れたか、何かをチェックしなかったので、結果はあなたが期待するものではありません。そのため、私たちはそれについて考え、独自のコードジェネレーターを作成することにしました。これまでのところ、テストモードで動作しますが、すぐに開くことを願っています。



Lamodaはオープンソースプロジェクトを頻繁に行っていますか？



Lamodaには、Gonkeyと呼ばれる比較的有名なオープンソースプロジェクト があります。あなたは私たちの記事でそれについてもっと読むことができます 。



Gonkeyは、Yamlマークアップ言語で自動テストを簡単に記述できるようにする標準化されたソリューションのセットです。このようなテストは開発者とテスターの両方が作成できるため、これは便利です。これにより、テストカバレッジの割合が増加します。



現在、このツールは社内で私たちが望むほど急速に開発されていませんが、将来的にはもっと多くの時間を貢献する予定です。githubで開くパッケージを閉じ、質問に答え、改善します。



ほとんどの場合、これには、通常の2倍の学習を行うために、幅広い知識が必要です。そうですか？



私はあなたがただ広い視野を持っている必要があると言うでしょう。



表面的な？



確かにそのようではありません。 T字型の開発者というものがあります。彼は、ある分野では非常によく、さらには優れた理解を持っていますが、同時に、他の多くの分野にも多かれ少なかれ精通しています。今はJavaで書いていると言ったが、それでもコードの99％はGoで書いている。したがって、Goスタックをよく知っていて、同時に見回す方法を知っている場合、これはR＆Dで作業するときだけでなく、一般的にも役立ちます。他のテクノロジーや言語からいくつかのアイデアやアプローチを学ぶことができます。



しばらくPythonで書いた後、Goに切り替えた人は知っています。彼らは、この言語がエラー処理にどのようにアプローチするかが好きでした。現在、彼らはPythonで書くプロジェクトに同じアプローチを取り入れようとしています。



おそらく、開発を希望するすべての開発者には他に選択肢がありません。さまざまな分野でアップグレードする必要があります。高度に専門化された1つの領域だけを理解するために永遠に座ることはできません。あなたがどこでも働くなら、あなたは開発する必要があります。



私が理解しているように、研究開発のタスクは多様です。その過程で何かを学ぶ必要がありましたか？



ライシーアムの10年生でプログラミングに精通したので、私と一緒に学び、開発しました。何か新しいことを学んだり、他の人に何か新しいことを話したりすると、喜びを感じます。 Lamodaの前は、VKontakteに取り組み、同じように開発し、記事を読んだり、コースを受講したり、会議のスピーチを見たりしました。



私は本を​​読んで無私無欲に成長するために走ることを強く勧めません-誰もが自分で決めます。私の過去の作品の例を挙げても、私たちはすべてをGoで書き、並行してRustに目を向けました。当時はまだあまり人気がなく、遠い昔の「GovsRust」という話題の記事がとても面白かったです。同時に、仕事には必要ありませんでした。



ラモーダで働くことについて話すと、カフカ以外に、昨年、何をアップグレードする必要がありましたか？



Kubernetesを使用してヘルムチャートを作成します。ちなみに、Kubernetesについては、これまで一緒に仕事をしたことがなかったので、一緒にコースを受講しました。通常、これらは仮想マシンまたは物理ハードウェアのいずれかであり、すべてが管理者を経由するか、またはあなた自身がdebパッケージをロールアウトするためのアクセス権を持っていました。したがって、Kubernetesをマスターする必要がありました。「ポッドaの状態を確認するためにkubectlを使用する」レベルではなく、ヘルムチャートを正しく記述し、内部でどのように機能するかを理解するレベルです。



コースについて話している間に、カフカについて話しましょう。なぜカフカコースを受講したのですか？



ウェブサイトに「カフカコースがもうすぐ来る」というバナーがありました 。そして、私は「行かなければならない！」と思いました。



私が言ったように、私はただ新しいことを学ぶのが大好きです。最小レベルでKafkaでメッセージを送信または読み取るために、額が7インチである必要はありません。しかし、一般的に、ラモダカフカは長い間しっかりと使用されてきました。したがって、このテクノロジーを深く掘り下げることは私にとって避けられませんでした。



あなたにとってカフカとは何ですか？



私にとって、これは分散型のフォールトトレラントログであり、シンプルなインタラクションインターフェイスを備えており、非常に大量のデータをそれ自体で送信できます。



カフカはラモーダでどのように使用されていますか？



ラモーダでどういうわけかカフカを使わないサービスを見つけるのはとても難しいようです。イベントバスを実装し ましたラモーダ全体のためのそのようなイベントのバスです。誰かがいくつかのイベントを作成し、このバスに接続している他の参加者はそれらを読んで、何らかの形でそれらに反応することができます。



新しいプロジェクトについて言えば、最近、xlogバックエンドから分析データを収集するサービスを開始しました（これはその内部名です）。また、システム全体の高スループットが必要なため、Kafkaを介して。



Kafkaは、Kafkaエンジンを搭載したClickHouseと連携するためにも必要です。つまり、Kafkaに書き込むだけで、ClickHouseはそれ自体にデータを読み書きします。 ClickHouseで多くのエントリを頻繁に実行する必要があるプロジェクトの1つに取り組んでいるため、これは非常に便利です。そして、私たちが知っているように、ClickHouseはこれを箱から出してうまく行う方法を知りません-適切なプロキシが必要です。現在、市場にはYandexとVKontakteのソリューションがありますが、LamodaはすでにKafkaに関する優れた専門知識を持っているため、ClickHouseとの通信にそれを使用することにしました。



また、あらゆる種類の分析に積極的に使用しています。



R＆DチームはKafkaをどのように使用していますか？ Kafkaがあなたのログであると言う場合、それを使用してサービスを開発している、つまりKafka Streamsを使用していることを正しく理解していますか？



ある種の抽象化を提供するKafkaを操作するために、ライブラリに独自のラッパーがあります。しかし実際には、Goにはチャネルがあります。開発者はチャネルから読み取り、そこに書き込みます。彼らはそれがカフカであるかどうかさえ考えないかもしれません。



あなたとあなたのチームはカフカでどのような問題に直面しましたか？どのようにそれらを解決しようとしましたか？



ここで、2年以内にKafkaが使用するネットワークチャネルにどれだけ早く到達するかという質問があります。そしてその背後で、別の疑問が生じます。この話を延期するために、どの圧縮を有効にする必要があり、カフカのどのトピックについてですか？



従来、同じ分析データ収集サービスが圧縮の最初の候補です。ただし、圧縮を採用して有効にすることはできません。これは、プロデューサーとコンシューマーのCPU使用率の間のある種のトレードオフであるためです。



今、私はテストと分析を含むドキュメントを準備しようとしています。ちなみに、Kafkaのベンチマーク方法については別のレッスンがあるので、あなたのコースはこれで私を大いに助けてくれました。このドキュメントでは、このサービスで圧縮を有効にする必要があるかどうかを反映したいと思います。もしそうなら、異なる圧縮アルゴリズムがあるので、どれを含めるか。これが改善のための最も明白なトピックであるように私には思えます。



カフカに現在燃焼の問題はありますか？



ClickHouseをKafkaと連携するように設定したとき、使用したグループで説明する権限が正しく設定されていないという問題がありました。



帯域幅にぶつかる計画よりも怖くないようです。



また、最近学んだことについてもお聞きします。 KIP500はKafka2.8からリリースされ、ZooKeeperを放棄しました。そして私が理解しているように、KafkaはZooKeeperの存在とその限界に頼っていました。彼らは、ZooKeeperが放棄された場合、パーティションの数が200万に増えると約束しています。これはどういうわけかあなたの問題を解決しますか？



あなたが直接答えた場合、いいえ、それは解決しません。なぜなら、私たちはカフカの仕事にぶつかっていないので、それ以前に使用していたネットワークチャネル上にいるからです。彼女は私たちが彼女に送信するデータの量に簡単に対処します-チャネルはこれから変更されません。



KIP500について話すと、彼らはZooKeeperを放棄するための第一歩を踏み出しましたが、これまでのところ、信頼できるソリューションのようには見えません。ZooKeeperを突然放棄し、多少ロードされた本番システムで2.8に切り替える価値はないでしょう。



重要なのは、opsは通常Kafkaを扱い、新たな問題を解決する方法を理解する必要があるということです。今、彼らは知っています：何かが起こった場合、彼らはKafkaで、そしてZooKeeperで何か他のことをする必要があります。そして、彼がそこにいないときは、問題を解決するための計画は機能せず、あなたはこの問題に関する専門知識を開発する必要があります。



私は正しく理解しました：あなたはネットワークに遭遇し、Kafkaの水平スケーリングは役に立ちません、つまり、それはネットワークの問題だけですか？



一般に、Kafkaは、ネットワークなどに遭遇するように作られていますが、そのパフォーマンスはありません。コースでこれについて何が言われたかを正確に覚えており、教師はこれがなぜそうなのかを詳細に説明しています。しかし、興味のある人がコースを見に行くことができるように、これについては話しません。



大きな課題では、すべてが明確です-帯域幅。そして、この問題を解決するために、あなたは彼女を元気づけてチームに何かをもたらすためにコースに行きました。これは偶然ですか、それとも故意に起こったのですか？



偶然、私はもともとカフカで書く方法を学ぶためだけでなく、コースを見に行ったからです。実際、適切で正しいレプリケーションを行うには、正しいackを設定する必要があります。このコースでは、システムの内部とその仕組みについて詳しく説明します。



コースについて話している場合、開発者と管理者に分かれることはありません。すべてのトピックを確認しましたか、それとも管理者をスクロールしましたか？



すべてが私にとって興味深いので、私はすべてのトピックを通過しました。私は新しいことを学ぶことからキックを得る。通常、私はメモを取り、しばらくしてこれらのメモに戻り、読み直して、何かを捨てます。不明な点がある場合は、コースの一部を修正し、概要の一部を書き直します。



インターンシップは終わりましたか？それら、特に管理者であるものを実装するのは難しかったですか？



私は通り抜けましたが、まだすべてではありません。いいえ、十分に計画されたすべてのものがあり、どのように、何を行う必要があり、どのような結果が期待できるかがわかりました。面白かったです。



まず、Javaアプリケーションがいくつかの実用的な作業に使用されます。私はこの仕事をするだけでなく、Kafkaで動作するJavaのコードを学ぶことに時間を費やしました。このような実用的なタスクを実行するときは、もう少し深く、広く見る必要があります。



つまり、あなたはテクノロジーを見ているのです。



はい。私がパーティションで作業をしていたとき、それはレプリケーションに関するものでした。そして、少し違ったやり方をしたらどうなるかと思いました。時間をかけて遊んで、1つのノードをオフにするとどうなるかを確認しました。そして2つなら？他に何かした場合はどうなりますか？練習用のスタンドがあるのは良いことです。自分から何かを持ち上げる必要はありません。これに時間を無駄にする必要はありません。



あなたにとって最も興味深かったことを教えてください。それについて何を知りましたか、なぜあなたは非常に驚いたのですか？



たとえば、実際にはKafkaはメモリ内のキューです。データベースはディスクに書き込むだけでなく、オペレーティングシステムがデータをディスクにフラッシュするようにfsyncを呼び出すという事実に慣れています。 writeを呼び出すだけでは、データが書き込まれるとは限りません。



Kafkaはこれを行いません。write、システムコールを呼び出すだけで、それだけです。彼は単に「あなたはオペレーティングシステムであり、いつリセットするかを決める」と言っています。実際、Kafkaの信頼性はレプリケーションによって保証されています。知らなかった。 Kafkaがfsyncを呼び出し、すべてのデータを正直にディスクに保持すると思いました。それは彼女がいかに狡猾であるかです。



いくつかのデータセンターの問題について聞くことも興味深いものでした。



帯域幅タスク。将来の課題に対応するために、コースから何を取り除いたのですか？



Kafkaのパフォーマンスを測定する方法と、圧縮データでどのように機能するか。 Kafkaはそれらを解凍しませんが、ディスクに書き込み、そのまま消費者に提供します。これにより、Kafkaで書き込むプロデューサーだけでなく、Kafkaから読み取るコンシューマーのCPUコストを調べる必要があることが明らかになりました。さて、そしてそれを正しくベンチマークする方法。



それとも、コースで何か難しいことがありましたか？それとも、練習は特に難しかったですか？



それはまさにそのようなものでした：私はいくつかのビデオを数回見ました。消費者グループのリバランスについて正確に改訂。最初の表示から、これがどのように発生するかは完全には明確ではありませんでした。私は単純なリバランスについて話しているのではなく、インクリメンタルなリバランスについて話しているのです。これを修正して読み直す必要がありました。



トピック自体は複雑です。あなたはビデオを見て、それはリモートで明確に見えますが、すべてのプロセスを明確に理解したいので、修正する必要があります。鉛筆で座って描くだけで、すべてが明らかになったように見えます。



そして結論として、私は尋ねます：あなたはあなたの訓練と仕事の計画に何を持っていますか？



ブログを始めました。私はドメインを購入し、それをDigitalOceanに無料で提供しました。彼らは静的コンテンツを無料で配布しています。ブログは私に何かを学び、それを書き留めて他の人と共有するインセンティブを与えてくれます。誰かにそれを伝えることができれば、そのトピックを理解して、彼も理解できるようになります。



そして、ブログはただ語り直すスキルを与えます。今、私はGINインデックスの効率を扱っています。昨年のGolangConfの講演に基づいた、このトピックに関する記事がまもなく公開されます。



あなたは常に自分自身を探す必要があります：あなたが強さを持っているなら、Goがどのように機能するかについての記事を読んでみませんか。