プロファイリング。Redis、ClickHouse、Grafanaを使用して戦闘環境の状態を追跡する

約待ち時間。



おそらく誰もが本番環境でコードをプロファイリングするタスクに直面しています。 Facebookのxhprofはこれをうまくやっています。たとえば、1/1000クエリのプロファイルを作成し、現時点で画像を確認します。各リリースの後、製品が実行され、「リリース前はより良く、より高速でした」と表示されます。履歴データがなく、何も証明できません。できたら？



少し前まで、コードの問題のある部分を書き直し、パフォーマンスが大幅に向上することを期待していました。ユニットテストを作成し、負荷テストを行いましたが、ライブ負荷の下でコードはどのように動作しますか？結局のところ、負荷テストでは必ずしも実際のデータが表示されるとは限らないため、展開後は、コードからフィードバックをすばやく取得する必要があります。データを収集する場合、リリース後、戦闘環境の状況を理解するのに10〜15分しか必要ありません。





約 待ち時間。（1）デプロイ、（2）ロールバック

スタック

私たちのタスクでは、円柱状のClickHouseデータベース（略してkx）を使用しました。この選択の主な理由は、速度、線形スケーラビリティ、データ圧縮、およびデッドロックなしでした。現在、それはプロジェクトの主要な拠点の1つです。



最初のバージョンでは、キューにメッセージを書き込み、すでに消費者によってClickHouseにメッセージを書き込みました。遅延は3〜4時間に達しました（はい、ClickHouseは1つずつ挿入するのが遅いです記録）。時間が経ち、何かを変える必要がありました。このような遅延で通知に応答する意味はありませんでした。次に、キューから必要な数のメッセージを選択してバッチをデータベースに送信し、それらをキューで処理済みとしてマークするクラウンコマンドを作成しました。ここで問題が発生するまで、最初の数か月はすべて問題ありませんでした。イベントが多すぎて、重複データがデータベースに表示され始め、キューが意図した目的で使用されなくなり（データベースになりました）、crownコマンドがClickHouseへの書き込みに対応しなくなりました。この間に、さらに数十のテーブルがプロジェクトに追加され、kxでバッチで書き込む必要がありました。処理速度が低下しました。解決策は可能な限りシンプルで迅速でした。これにより、redisのリストを使用してコードを作成するようになりました。アイデアはこれです：私たちはリストの最後にメッセージを書きます、Crownコマンドを使用して、パックを作成し、キューに送信します。次に、コンシューマーはキューを解析し、一連のメッセージをkxに書き込みます。



我々は持っている：ClickHouse、Redisのキュー（任意の- RabbitMQの、カフカ、beanstalkdを...）

Redisとリスト

ある時まで、Redisはキャッシュとして使用されていましたが、それは変わりつつあります。ベースには巨大な機能があり、私たちのタスクでは、rpush、lrange、ltrimの3つのコマンドのみが必要です。 rpushコマンドを使用して、リストの最後にデータを書き込みます。Crownコマンドで、lrangeを使用してデータを読み取り、キューに送信します。キューに送信できた場合は、ltrimを使用して選択したデータを削除する必要があります。 理論から実践へ。簡単なリストを作成しましょう。 3つのメッセージのリストがあります。もう少し追加しましょう... 新しいメッセージがリストの最後に追加されます。lrangeコマンドを使用して、バッチを選択します（= 5メッセージとします）。































次に、パックをキューに送信します。次に、このバンドルを再度送信しないように、Redisから削除する必要があります。







アルゴリズムがあります。実装に取り​​掛かりましょう。

実装

ClickHouseテーブルから始めましょう。私はあまり気にせず、すべてをStringタイプで定義しました。

create table profile_logs
(
    hostname   String, //  ,  
    project    String, //  
    version    String, //  
    userId     Nullable(String),
    sessionId  Nullable(String),
    requestId  String, //       
    requestIp  String, // ip 
    eventName  String, //  
    target     String, // URL
    latency    Float32, //   (latency=endTime - beginTime)
    memoryPeak Int32,
    date       Date,
    created    DateTime
)
    engine = MergeTree(date, (date, project, eventName), 8192);

イベントは次のようになります。

{
  "hostname": "debian-fsn1-2",
  "project": "habr",
  "version": "7.19.1",
  "userId": null,
  "sessionId": "Vv6ahLm0ZMrpOIMCZeJKEU0CTukTGM3bz0XVrM70",
  "requestId": "9c73b19b973ca460",
  "requestIp": "46.229.168.146",
  "eventName": "app:init",
  "target": "/",
  "latency": 0.01384348869323730,
  "memoryPeak": 2097152,
  "date": "2020-07-13",
  "created": "2020-07-13 13:59:02"
}

構造が定義されています。待ち時間を計算するには、期間が必要です。マイクロタイム関数を使用して特定します。

$beginTime = microtime(true);
//    
$latency = microtime(true) - $beginTime;

実装を簡素化するために、laravelフレームワークとlaravel-entryライブラリを使用します。モデルを追加します（テーブルprofile_logs）：

class ProfileLog extends \Bavix\Entry\Models\Entry
{

    protected $fillable = [
        'hostname',
        'project',
        'version',
        'userId',
        'sessionId',
        'requestId',
        'requestIp',
        'eventName',
        'target',
        'latency',
        'memoryPeak',
        'date',
        'created',
    ];

    protected $casts = [
        'date' => 'date:Y-m-d',
        'created' => 'datetime:Y-m-d H:i:s',
    ];

}

Redisにメッセージを書き込むtick メソッド（私はProfileLogServiceサービスを作成しました）を書いてみましょう。現在の時刻（beginTime）を取得し、それを$ currentTime変数に書き込みます。

$currentTime = \microtime(true);

イベントのティックが初めて呼び出された場合は、それをティック配列に書き込み、メソッドを終了します。

 if (empty($this->ticks[$eventName])) {
    $this->ticks[$eventName] = $currentTime;
    return;
}

ティックが再度呼び出された場合は、rpushメソッドを使用してRedisにメッセージを書き込みます。

$tickTime = $this->ticks[$eventName];
unset($this->ticks[$eventName]);
Redis::rpush('events:profile_logs', \json_encode([
    'hostname' => \gethostname(),
    'project' => 'habr',
    'version' => \app()->version(),
    'userId' => Auth::id(),
    'sessionId' => \session()->getId(),
    'requestId' => \bin2hex(\random_bytes(8)),
    'requestIp' => \request()->getClientIp(),
    'eventName' => $eventName,
    'target' => \request()->getRequestUri(),
    'latency' => $currentTime - $tickTime,
    'memoryPeak' => \memory_get_usage(true),
    'date' => $tickTime,
    'created' => $tickTime,
]));

$ this-> ticks 変数は静的ではありません。サービスをシングルトンとして登録する必要があります。

$this->app->singleton(ProfileLogService::class);

バッチサイズ（$ batchSize）は構成可能です。小さい値（たとえば、10,000アイテム）を指定することをお勧めします。問題が発生した場合（たとえば、ClickHouseが使用できない場合）、キューは失敗し始め、データをデバッグする必要があります。



クラウンコマンドを書いてみましょう：

$batchSize = 10000;
$key = 'events:profile_logs'
do {
    $bulkData = Redis::lrange($key, 0, \max($batchSize - 1, 0));
    $count = \count($bulkData);
    if ($count) {
        //     json,   decode
        foreach ($bulkData as $itemKey => $itemValue) {
            $bulkData[$itemKey] = \json_decode($itemValue, true);
        }

        //       ch
        \dispatch(new BulkWriter($bulkData));
        //    redis
        Redis::ltrim($key, $count, -1);
    }
} while ($count >= $batchSize);

ClickHouseにすぐにデータを書き込むことができますが、問題はkronorがシングルスレッドモードで動作するという事実にあります。したがって、逆の方法で進みます。コマンドを使用して、パックを作成し、ClickHouseでの後続のマルチスレッド記録のためにキューに送信します。消費者の数を調整することができます-これはメッセージの送信をスピードアップします。



コンシューマーの作成に移りましょう。

class BulkWriter implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $bulkData;

    public function __construct(array $bulkData)
    {
        $this->bulkData = $bulkData;
    }

    public function handle(): void
    {
            ProfileLog::insert($this->bulkData);
        }
    }
}

したがって、パックの形成、キューへの送信、およびコンシューマーが開発されます。プロファイリングを開始できます。

app(ProfileLogService::class)->tick('post::paginate');
$posts = Post::query()->paginate();
$response = view('posts', \compact('posts'));
app(ProfileLogService::class)->tick('post::paginate');
return $response;

すべてが正しく行われている場合、データはRedisにあるはずです。Crownコマンドを混乱させてパックをキューに送信すると、コンシューマーはそれらをデータベースに挿入します。







データベース内のデータ。グラフを作成できます。

グラファナ

それでは、この記事の重要な要素であるデータのグラフィカルな表示に移りましょう。grafanaをインストールする必要があります。debainのようなアセンブリのインストールプロセスをスキップしましょう。ドキュメントへのリンクを使用できます。通常、インストール手順は、apt installgrafanaに要約されます。



ArchLinuxでは、インストールは次のようになります。

yaourt -S grafana
sudo systemctl start grafana

サービスを開始しました。URL：http：// localhost：3000



次に、ClickHouseデータソースプラグインをインストールする必要があります。

sudo grafana-cli plugins install vertamedia-clickhouse-datasource

grafana 7+をインストールした場合、ClickHouseは機能しません。構成を変更する必要があります。

sudo vi /etc/grafana.ini

次の行を見つけましょう。

;allow_loading_unsigned_plugins =

これに置き換えましょう：

allow_loading_unsigned_plugins=vertamedia-clickhouse-datasource

サービスを保存して再起動しましょう：

sudo systemctl restart grafana

完了。これで、grafanaに移動できます。

ログイン：admin /パスワード：デフォルトではadmin。







承認が成功したら、ギアをクリックします。開いたポップアップウィンドウで、[データソース]を選択し、ClickHouse接続を追加します。







構成kxを入力します。 [保存してテスト]ボタンをクリックすると、接続が成功したというメッセージが表示されます。



次に、新しいダッシュボードを追加しましょう。







パネルを追加







します。日付を操作するためのベースと対応する列を選択







します。クエリに移りましょう







。グラフを取得しましたが、詳細が必要です。日付と時刻を5分間隔の最初に切り下げた平均待ち時間を出力してみましょう。







これで、選択したデータがチャートに表示され、それらに焦点を合わせることができます。アラートの場合は、トリガーの構成、イベントによるグループ化などを行います。







プロファイラーは、ツールの代わりにはなりません：xhprof（facebook）、xhprof（tideways）、liveprof from（Badoo）。そしてそれらを補完するだけです。



すべてのソースコードは、上でgithubの-プロファイラモデル、サービス、BulkWriteCommand、BulkWriterJob及びミドルウェア（1、2）。



パッケージのインストール：

composer req bavix/laravel-prof

接続（config / database.php）を設定し、クリックハウスを追加します。

'bavix::clickhouse' => [
    'driver' => 'bavix::clickhouse',
    'host' => env('CH_HOST'),
    'port' => env('CH_PORT'),
    'database' => env('CH_DATABASE'),
    'username' => env('CH_USERNAME'),
    'password' => env('CH_PASSWORD'),
],

仕事の始まり：

use Bavix\Prof\Services\ProfileLogService;
// ...
app(ProfileLogService::class)->tick('event-name');
// 
app(ProfileLogService::class)->tick('event-name');

バッチをキューに送信するには、cronにコマンドを追加する必要があります。

* * * * * php /var/www/site.com/artisan entry:bulk

また、コンシューマーを実行する必要があります。

php artisan queue:work --sleep=3 --tries=3

スーパーバイザー を構成することをお勧めします。構成（5人の消費者）：

[program:bulk_write]
process_name=%(program_name)s_%(process_num)02d
command=php /var/www/site.com/artisan queue:work --sleep=3 --tries=3
autostart=true
autorestart=true
user=www-data
numprocs=5
redirect_stderr=true
stopwaitsecs=3600

UPD：



1. ClickHouseはネイティブカフカキューからデータを引き出すことができます。ありがとう、sdm