- ログのクラスターのデバイス。これにより、支払いとトランザクション（および一般的なコンポーネントとサービス）で何が起こっているかを理解できます。
- 機械学習におけるデータエンジニアの仕事。
- CI / CDの実装と変換。
あなたが私たちの間違いを犯さないように、私たちは貴重な経験を共有します。お役に立てば幸いです！
私たちの熊手はあなたの成功への鍵です
Maxim Ogryzkov、シニアシステム管理者
講演では、単一のインターフェイスを介してアクセスできる複数のデータセンターのログの処理について説明します。クラスターのアップグレードの理由と結果について説明しましょう。さまざまなシステムや環境からのログ配信の転送と、ApacheKafkaがそれとどこで関係しているのかについて説明します。また、logstashを使用しない理由と、Kibanaで1つのリクエストを使用してクラスターを「接続」する方法についても説明します。
1:17話の内容：ログのクラスター
1:43ログは どのようにしてクラスターに入りますか？
3:50なぜApacheKafkaを選択したのですか
5：02Rsyslog：
9：00を使用する利点 さまざまなDCからのログをどこに保存するのですか？
12:08データ量が多すぎる場合はどうなりますか？
14:00クラスターの更新。
20:30私たちのレーキとソリューション
22:35トランス ログ
24:25一括リクエスト
26： 28Opendistro-perfomance-analyzer28：
28インデックス縮小
29：49Librdkafka
31:37要約：クラスターが現在どのように見えるか
機械学習のデータエンジニア
データウェアハウス開発部門の責任者、Evgeny Vinogradov
MLでの実験に関する産業作業がどのように見えるか、モデルレベルで解決される問題、データレベルでのみ解決される問題、および制御された学習プロセスを確保する方法についてのストーリー。
1:40スピーカーについて
2 ：41DSプロジェクトに関与しているのは誰ですか？
8:30データサイエンスプロジェクトとは何ですか？
14：15DSプロジェクトでのアクションの順序
15:42データセットを収集するプロセス
20：26ApacheKafkaですべてがどのように
機能するか 29:10データセットを収集した後に何が起こるか
29:21モデルの選び方は？
30:40データエンジニアが解決できる問題の例
34:38これはどのテクノロジーで機能しますか？
35:03レポートの結論
データエンジニア向けCI / CD：往復
BI開発におけるCI / CD原則の実装、目標、それらの変革、および困難の克服に関するBIレポートのシニア開発者であるAntonSpirin氏。
2:00スピーカーに関するお問い合わせ
2:44問題の説明
4:28データエンジニアは誰ですか？
5:43 CI / CD-エンジニアの仕事は何ですか？
6:55スタックと情報システムの詳細
8:00開始点：開始した場所
10:34変更の第1段階
15:50すべてが良好に見えますが、...改善の第2段階
19:01ほぼデモ：JenkinsFile、Pipelines
20:44出口で何を得ましたか？
22:43どれくらいかかりましたか？リリース統計
23:37私たちの課題と別の方法で何ができたのか。今後の計画
大きなIT会議YuMoneyDayからのすべてのレポート 。PM、テスト、モバイル開発に関する資料が準備中です。