みんなが私の誕生日を祝っている間、私は朝までクラスターを修理しました-そして開発者は私に彼らの間違いを注ぎました

これは、devopsへの私のアプローチを永遠に変えた物語です。ドックヤードの時代に戻って、彼らのずっと前に、みんなと私がちょうど私たちのビジネスとランダムな注文でのフリーランスについて考えていたとき、1つのオファーが私のカートに落ちました。



書いた会社はデータ分析にありました。彼女は毎日何千ものリクエストを処理しました。彼らは次の言葉で私たちにやって来ました：みんな、私たちはClickHouseを持っていて、その構成とインストールを自動化したいのです。 Ansible、Terraform、Docker、およびこれらすべてをgitaに保存する必要があります。それぞれに2つのレプリカを持つ4つのノードのクラスターが必要です。



標準的なリクエストです。数十個あり、同じ優れた標準ソリューションが必要です。 「大丈夫」と言って、2〜3週間ですべての準備が整いました。彼らは仕事を受け入れ、私たちのユーティリティを使用して新しいKlickhausクラスターに移動し始めました。



彼らと一緒にいる人は誰も、Klickhausをいじくり回す方法を望んでいませんでした。それで、これが彼らの主な問題だと思ったので、会社のサービスステーションは、二度とそこに行かないように、できるだけ作業を自動化するように私のチームに許可を与えました。 一緒にバックアップを開始しました。元のデータをすぐにバックアップすることを申し出ました。いくつかのc3にエレガントに取り、圧縮して投げるだけです。生データはゴールドです。別のオプションがありました-フリーズとコピーを使用して、Klickhausでテーブル自体をバックアップすることです。しかし、レーニャは彼自身の解決策を思いついた。 彼は、2つ目のKlickhausクラスターが必要だと発表しました。そしてこれからは、メインとバックアップの2つのクラスターにデータを書き込みます。私は彼に言います、彼らは言います、レオン、それはバックアップではなく、アクティブなレプリカになるでしょう。また、本番環境でデータが失われ始めた場合、バックアップは同じになります。



移動に伴い、バックアップと監視を設定するための他のタスクが表示されました。同時に、この会社のサービスステーションは別のプロジェクトに統合され、私たちの1人であるLeonidの指揮官に任せられました。レーニャはあまり才能のある人ではありませんでした。いきなりKlickhausを担当したシンプルな開発者。これが何かをリードする彼の最初の任務だったようで、積み重ねられた名誉から、彼はスターフィーバーを得ました。











しかし、レーニャはしっかりとハンドルを握り、私の議論に耳を傾けることを拒否しました。私たちはチャットルームで彼と長い時間を過ごしましたが、何もすることはありませんでした-レーニャがプロジェクトを推進していて、私たちは通りから男を雇っただけでした。



クラスターの状態を監視し、管理者の作業に対してのみ課金しました。データにアクセスすることなく、Klickhausのクリーンな管理。クラスターは使用可能で、ディスクはOK、ノードはOKでした。

彼らのチーム内のひどい誤解のために、私たちはまだこの注文を受けたことを知りませんでした。

マネージャーは、Klickhausが遅く、データが失われることがあることに不満を持っていました。彼はSTOにそれを理解するタスクを設定しました。彼は可能な限りそれを理解し、Klickhausを自動化する必要があると結論付けました-そしてそれだけです。しかし、すぐに明らかになったので、彼らは開発者のチームをまったく必要としませんでした。



これはすべて、非常に、非常に苦痛であることが判明しました。そして最も不快なことは、それは私の誕生日でした。

---

金曜日の夜。私はお気に入りのワインバーでテーブルを予約し、私の相棒に電話をしました。



出発するほとんど前に、私たちは変更を加えるタスクを取得します、私たちはそれを行います、すべてが大丈夫です。変更は合格し、Clickhouseは確認しました。私たちはすでにバーに集まっており、彼らは十分なデータがないことを私たちに書いています。彼らは数えました-すべてが十分であるようです。そして彼らは祝うために出かけました。



金曜日の夜、レストランは騒がしかった。飲み物や食べ物を注文した後、彼らはソファでくつろいだ。この間ずっと、私のたるみはゆっくりとメッセージで満たされていました。彼らはデータの不足について何かを書いた。朝は夕方より賢いと思いました。特に今日。



11に近づくと、彼らは電話をかけ始めました。それは会社の責任者でした...「おそらく、彼は私を祝福することに決めました」-私は非常にためらいがちに思い、電話を取りました。



そして、私は次のようなことを聞​​きました。私はあなたに支払いますが、何も機能しません！あなたはバックアップを担当していました、そしてあなたはたわごとをしませんでした！直そう！」 -さらに粗いだけです。



-あなたは何を知っている、あなたをファックしてください！今日は私の誕生日です、そして今、私はあなたの6月の自家製のたわごとや棒をしないで、飲むつもりです！



それは私が言わなかったことです。代わりに、彼は自分のラップトップを取り出して仕事に取り掛かりました。



いいえ、爆撃しました、地獄のように爆撃しました！もちろん、バックアップではなかったバックアップは何も保存しなかったので、私は苛酷な「私はあなたにそう言った」をチャットに注ぎました。



みんなと私は、手動で録音を停止してすべてをチェックする方法を考え出しました。一部のデータが書き込まれていないことを実際に確認しました。



記録を停止し、1日あたりのイベント数をカウントしました。彼らはより多くのデータを投入しましたが、そのうち3分の1しか記録されていませんでした。2つのレプリカの3つのシャード。100,000行を挿入します-33,000は書き込まれません。



完全な混乱がありました。全員が順番に性交するためにお互いを送りました：レニアが最初にそこに行き、次に私と会社の創設者が続きました。参加したSRTだけが、問題の解決策を見つける方向に、叫び声と通信で電話をかけようとしました。

実際に何が起こっていたのか-誰も理解していなかった

すべてのデータの3分の1が記録されていないだけでなく、失われたことに気付いたとき、みんなと私はびっくりしました！社内での注文は次のとおりでした。挿入後、データは取り返しのつかないほど削除され、イベントはバッチで細断されました。セルゲイがこれらすべてを失われたルーブルに変換する方法を想像しました。



私の誕生日もゴミの山に行きました。私たちはバーに座って、投げられたパズルを解こうとしてアイデアを生み出しました。 Klickhausの転落の理由は明らかではありませんでした。多分それはネットワークであるかもしれません、多分それはLinux設定についてです。はい、何でも、仮説は十分に聞こえました。



私は開発の誓いを立てませんでしたが、たとえ彼らが私たちのすべてを非難したとしても、彼らを列の反対側に残すことは不正でした。問題は私たちの側ではなく、私たちの決定にあると99％確信していました。私たちが失敗した可能性の1％はまだ不安で燃えていました。しかし、どちらの側に問題があったとしても、それを修正する必要がありました。顧客が何であれ、そのようなひどいデータ漏洩を顧客に残すことは、あまりにも残酷です。



朝の3時までレストランのテーブルで働きました。イベントをスローし、select-を挿入し、空欄を埋めるために運転しました。あなたがデータを台無しにしたとき、それはこのように行われます-あなたは前日の平均データを取り、それを犯されたデータに挿入します。



朝の3時過ぎに、友人と私は家に行き、アルコール市場にピバシクを注文しました。私はラップトップとKlickhausの問題を抱えて座っていました、友人が私に何かを言っていました。その結果、1時間後、彼は私が働いていて、一緒にビールを飲んでいないことに腹を立て、去りました。クラシック-Devopsの友達でした。



午前6時までにテーブルを再作成すると、データがいっぱいになり始めました。すべてが失われることなく機能しました。

---

それから大変でした。誰もがデータを失ったことでお互いを非難しました。新しいバグがあった場合、銃撃戦が始まると確信しています

これらのスラックで、私たちはようやく、会社が私たちがデータを処理し、テーブルの構造を監視する人だと思っていることを理解し始めました。彼らは管理者をdibieysと混同しました。そして、彼らは管理者のように私たちに尋ねるようになりました。



彼らの主な不満は-なんてこった、あなたはバックアップに責任があり、それらを正常に作成しなかった、あなたはデータを続けた。そして、これはすべて、チェックメイトを巻き戻すことです。



正義が欲しかった。私は通信文を掘り起こし、すべてスクリーンショットを添付しました。レオニードは、作成されたバックアップを作成するために全力を尽くしました。私の電話の後、彼らのSTOが私たちの味方になりました。その後、レニアは自分の罪を認めました。



一方、会社の長は自分の民を責めたくありませんでした。画面と言葉は彼には効かなかった。彼は、私たちがここの専門家であるため、すべての人を説得し、私たちの決定を主張しなければならないと信じていました。どうやら、私たちの仕事は、レーニャに教え、さらに、プロジェクトマネージャーによって任命された彼を迂回して、要点に到達し、バックアップの概念に関するすべての疑問を個人的に注ぎ出すことでした。



チャティックは憎しみ、隠された、偽装されていない攻撃でにじみ出ました。どうしたらいいのかわからなかった。すべてが停止しました。そして、私は最も簡単な方法をアドバイスされました-個人的なメモでマネージャーに手紙を書き、彼との約束をすることです。 Vasya、人生の人々は彼らがチャットしているほどグレイハウンドではありません。上司は私のメッセージに答えました：来て、質問はありません。

---

それは私のキャリアの中で最もおかしな会議でした。私のクライアントの味方であるサービスステーションは時間を見つけることができませんでした。上司とリョーナとの打ち合わせに行ってきました。



私は何度も頭の中で可能な対話を繰り返しました。私はなんとか30分前にかなり前に到着することができました。神経質になり始め、10本のタバコを吸った。私はすべてを理解した-私、性交、一人で。私は彼らを説得することはできません。そしてエレベーターに足を踏み入れた。



彼が登っている間、彼はそれを壊すためにライターで打った。



その結果、レーニャは会議に出席していませんでした。そして、私たちはメインのものとすべてについて素晴らしい話をしました！セルゲイは彼の痛みについて私に話しました。彼は「クリックハウスを自動化」したくありませんでした-彼はクエリが機能することを望んでいました。



私はヤギではなく、彼の仕事を心配して、24時間年中無休で仕事に没頭している良い人を見ました。チャットはしばしば私たちに悪役、悪党、愚か者を引き寄せます。しかし、人生において、これらはあなたと同じような人々です。



セルゲイは雇うために2、3のdevopsを必要としませんでした。彼らが直面した問題ははるかに大きいことが判明しました。



私は彼の問題を解決できると言いました。それはまったく別の仕事であり、私には彼女のDIBIの友人がいます。これが彼らにとっての取引であることが最初にわかっていたら、私たちは多くのことを避けていただろう。遅くなりましたが、問題はインフラストラクチャではなく、データのくだらない作業にあることに気づきました。



私たちは握手を交わし、料金は2倍半引き上げられましたが、条件付きで、私は彼らのデータとKlickhausを使ってすべてのスマットを自分で絶対に取っています。エレベーターで、私は同じdibieyschik Maxに連絡し、彼を仕事に接続しました。クラスター全体をシャベルする必要がありました。

---

採用されたプロジェクトのトレシャクは大量でした。上記の「バックアップ」から始めます。同じ「バックアップ」クラスターが分離されていないことが判明しました。彼らはそれですべてをテストしました、時には彼らはそれを生産に入れさえしました。



スタッフの開発者は、独自のカスタムデータ「挿入」を作成しました。これは次のように機能しました。ファイルをバッチ処理し、スクリプトを実行して、データをプレートにマージします。しかし、主な問題は、1つの単純な要求に対して大量のデータが受け入れられることでした。 1秒あたりの参加データ要求。すべて1つの数字のために-1日あたりの金額。



社内の開発者が分析ツールを誤って使用していました。彼らはグラファナに行き、王室の要求を書きました。 2週間でデータをダンプしました。それは美しいグラフであることがわかりました。しかし実際には、データ要求は10秒ごとに行われていました。 Klickhausは単に処理を行わなかったため、これらすべてがキューに蓄積されました。これが主な理由です。グラファンでは何も機能せず、リクエストはキューに入れられ、古い無関係なデータが絶えず到着していました。



クラスターを再構成し、インサートを再設計しました。社内の開発者が「挿入」を書き直し、データを正しくシャーディングし始めました。



マックスはインフラストラクチャの完全な監査を実施しました。彼は、本格的なバックエンドに移行する計画の概要を説明しました。しかし、これは会社に合いませんでした。彼らはマックスに、昔ながらの方法で、しかし効果的にしか働けない魔法の秘密を期待していました。レーニャはまだ何も学んでいないプロジェクトを担当していました。提案されたすべての中から、彼は再び自分の選択肢を選びました。いつものように、それは最も選択的な...大胆な決断でした。 Lyonyaは、彼の会社には特別な道があると信じていました。とげのある、氷山でいっぱい。



実際、これで私たちは別れました-私たちはできることをしました。

---

コーンでいっぱいで、この話で賢明なことに、私たちは自分たちのビジネスを開き、自分たちのためにいくつかの原則を形成しました。私たちは今もその時も仕事を始めることは決してありません。



このプロジェクトの後、Max the Debianプレーヤーが私たちに加わりました、そして私たちはまだ一緒に素晴らしい仕事をしています。 Klickhausの事例では、作業を開始する前にインフラストラクチャの完全かつ徹底的な監査を実施する方法を教えました。私たちはすべてがどのように機能するかを掘り下げ、それから初めてタスクを受け入れます。以前はすぐにインフラストラクチャの保守を急いでいましたが、今は最初に1回限りのプロジェクトを実行します。これは、インフラストラクチャを正常に機能させる方法を理解するのに役立ちます。



そして、はい、私たちはくだらないインフラストラクチャでプロジェクトをバイパスします。たとえ多額のお金であっても、友情のためであっても。病気のプロジェクトを主導することは有益ではありません。この認識は私たちの成長を助けました。インフラストラクチャを整理してからサービス契約を結ぶ1回限りのプロジェクトか、ただ通り過ぎるだけです。別の氷山を過ぎて。



PSしたがって、インフラストラクチャについて質問がある場合は、遠慮なくリクエストを残してください。



月に2回の無料監査があり、おそらくあなたのプロジェクトがその中に含まれるでしょう。