プロファイラーはRubyとPythonでどのように機能しますか？

記事の翻訳は、上級コース「PythonDeveloper」の開始を見越して作成されました。



元の記事はここで読むことができます。

---

こんにちは！Rubyプロファイラーの付属品として、既存のRubyおよびPythonプロファイラーがどのように機能するかについて話したいと思いました。また、多くの人が私に尋ねる「プロファイラーの書き方」という質問に答えるのにも役立ちます。



この記事では、プロセッサプロファイラーに焦点を当てます（たとえば、メモリ/ヒーププロファイラーではありません）。プロファイラーを作成するためのいくつかの基本的なアプローチをカバーし、いくつかのコード例を提供し、RubyとPythonで人気のあるプロファイラーの多くの例を示し、それらが内部でどのように機能するかを示します。



おそらく記事に誤りがあるかもしれません（それを書く準備として、私はプロファイリングのために14のライブラリのコードを部分的に調べました、そして私は今までそれらの多くに精通していませんでした）、それでそれらを見つけたら私に知らせてください..。

2種類のプロファイラー

プロセッサプロファイラには、サンプリングプロファイラとトレースプロファイラの2つの主要なタイプがあります。



トレースプロファイラーは、プログラム内のすべての関数呼び出しを記録し、最終的にレポートを提供します。サンプリングプロファイラーは統計的アプローチを取り、数ミリ秒ごとにスタックを書き込み、このデータに基づいてレポートを生成します。



トレースプロファイラーの代わりにサンプリングプロファイラーを使用する主な理由は、軽量であるためです。あなたは毎秒20または200枚の写真を撮ります-それはそれほど時間はかかりません。このようなプロファイラーは、深刻なパフォーマンスの問題がある場合（時間の80％が1つの遅い関数の呼び出しに費やされている）に非常に効果的です。問題の関数を特定するには、1秒あたり200のスナップショットで十分だからです。

プロファイラー

次に、この記事で説明したプロファイラーの概要を説明します（ここから）。この記事で使用されている用語（setitimer、rb_add_event_hook、ptrace）については後で説明します。興味深いことに、すべてのプロファイラーは、基本的な機能の小さなセットを使用して実装されています。

Pythonプロファイラー

「Gdbハック」は実際にはPythonプロファイラーではありません。ハッカープロファイラーをgdbのシェルスクリプトラッパーとして実装する方法を説明するWebサイトにリンクしています。新しいバージョンのgbdは実際にPythonスタックをデプロイするため、これは特にPythonに関するものです。貧しい人々のためのpyflameのようなもの。

Rubyプロファイラー

これらのプロファイラーのほとんどすべてがプロセス内に存在しますこれらのプロファイラー



の詳細に入る前に、非常に重要なことが1つあります。pyflameを除くこれらのプロファイラーはすべて、Python / Rubyプロセス内で実行されます。Python / Rubyプログラム内にいる場合は、通常、スタックに簡単にアクセスできます。たとえば、実行中の各スレッドのスタックの内容を出力する単純なPythonプログラムを次に示します。

import sys
import traceback

def bar():
    foo()

def foo():
    for _, frame in sys._current_frames().items():
        for line in traceback.extract_stack(frame):
            print line

bar()

これがコンソール出力です。スタックからの関数名、行番号、ファイル名など、プロファイリングする場合に必要なものがすべて含まれていることがわかります。

('test2.py', 12, '<module>', 'bar()')
('test2.py', 5, 'bar', 'foo()')
('test2.py', 9, 'foo', 'for line in traceback.extract_stack(frame):')

これはRubyでさえ簡単です：あなたが使用することができ、発信者プットをスタックを取得します。



これらのプロファイラーのほとんどはCのパフォーマンス拡張機能であるため、わずかに異なりますが、Ruby / Pythonプログラム用のこのような拡張機能は、呼び出しスタックにも簡単にアクセスできます。

トレースプロファイラーのしくみ

上記の表に、 すべてのRubyおよびPythonトレースプロファイルをリストしました：rblineprof、ruby-prof、line_profiler、およびcProfile。それらはすべて同じように機能します。これらはすべての関数呼び出しを記録し、オーバーヘッドを削減するためのC拡張機能です。



それらはどのように機能しますか？ RubyとPythonの両方で、さまざまなインタープリターイベント（「関数呼び出し」や「コード実行行」など）が発生したときにトリガーされるコールバックを指定できます。コールバックが呼び出されると、後で分析するためにスタックが書き込まれます。



これらのコールバックがコード内のどこにあるかを正確に確認すると役立つので、githubの関連するコード行にリンクします。



Pythonでは、PyEval_SetTraceまたはを使用してコールバックをカスタマイズできますPyEval_SetProfile。これはドキュメントセクションで説明されていますPythonでのプロファイリングとトレース。「トレース機能が行番号イベントを受信することPyEval_SetTraceをPyEval_SetProfile除いて、同様です」と表示されます。



コード：

• line_profilerを使用してコールバックを設定しますPyEval_SetTrace：157line_profiler.pyx行目を参照
• cProfileを使用してコールバックを設定しますPyEval_SetProfile：_lsprof.c 693行目を参照（cProfileはlsprofを使用して実装されます）

Rubyでは、を使用してコールバックをカスタマイズできますrb_add_event_hook。それに関するドキュメントは見つかりませんでしたが、このように見えます。

rb_add_event_hook(prof_event_hook,
      RUBY_EVENT_CALL | RUBY_EVENT_RETURN |
      RUBY_EVENT_C_CALL | RUBY_EVENT_C_RETURN |
      RUBY_EVENT_LINE, self);

署名prof_event_hook：

static void
prof_event_hook(rb_event_flag_t event, VALUE data, VALUE self, ID mid, VALUE klass)

PyEval_SetTracePythonと 似ていますが、より柔軟な形式です。通知するイベントを選択できます（たとえば、「関数呼び出しのみ」）。



コード：

• ruby-prof rb_add_event_hook : ruby-prof.c 329
• rblineprof rb_add_event_hook : rblineprof.c 649

tracing-

この方法で実装されたトレースプロファイラーの主な欠点は、実行される関数/行呼び出しごとに一定量のコードが追加されることです。それはあなたに間違った決定をさせる可能性があります！たとえば、何かの実装が2つある場合（1つは関数呼び出しが多いもの、もう1つはないもので、通常は同じ時間がかかります）、プロファイリング時に、関数呼び出しが多い最初の実装は遅く表示されます。



説明のためにtest.py、次の内容で名前を付けた小さなファイルを作成し、実行時間python -mcProfile test.pyとを比較しましたpython test.py。python. test.py約0.6秒とpython -mcProfile test.py約1秒で完了しました。したがって、この特定の例ではcProfile、約60％のオーバーヘッドを追加しました。

ドキュメントにcProfileよると、

Pythonの解釈された性質により、実行時のオーバーヘッドが非常に大きくなるため、決定論的プロファイリングでは、通常のアプリケーションで処理のオーバーヘッドが少し増える傾向があります。

これはかなり合理的なステートメントのようです。前の例（350万回の関数呼び出しのみを行う）は明らかに通常のPythonプログラムではなく、他のほとんどのプログラムのオーバーヘッドは少なくなります。Rubyトレースプロファイラーを

チェックしていませんruby-profが、そのREADMEには次のように書かれています。

ほとんどのプログラムの実行速度は約半分ですが、再帰性の高いプログラム（Fibonacciシリーズテストなど）の実行速度は3倍遅くなります。

サンプリングプロファイラーの一般的な仕組み：setitimer

2番目の種類のプロファイラーについて話す時間です：プロファイラーのサンプリング！

RubyおよびPythonのほとんどのサンプリングプロファイラーは、システム呼び出しを使用して実装されますsetitimer。それは何ですか？



プログラムスタックのスナップショットを1秒間に50回取得するとします。これは次のように実行できます。

• Linuxカーネルに20ミリ秒ごとに信号を送信するように依頼します（システム呼び出しを使用setitimer）。
• 信号を受信したときに、スタックスナップショットの信号ハンドラーを登録します。
• プロファイリングが完了したら、Linuxにシグナリングを停止して結果を提供するように依頼してください。

setitimerサンプリングプロファイラーを実装するための 実際の使用例を見たい場合、stacksampler.py最良の例は便利で機能するプロファイラーであり、Pythonでは約100行であると思います。そして、これはとてもクールです！Pythonで100行しかかからない



理由stacksampler.pyは、Python関数をシグナルハンドラーとして登録すると、その関数がプログラムの現在のスタックに渡されるためです。したがって、シグナルハンドラーのstacksampler.py登録は非常に簡単です。

def _sample(self, signum, frame):
   stack = []
   while frame is not None:
       stack.append(self._format_frame(frame))
       frame = frame.f_back

   stack = ';'.join(reversed(stack))
   self._stack_counts[stack] += 1

フレームからスタックをポップし、特定のスタックが表示された回数をインクリメントするだけです。とても簡単！とてもクール！



彼らが使用している他のすべてのプロファイラーをsetitimer見て、コードのどこで呼び出しているかを調べてみましょうsetitimer。

• stackprof (Ruby): stackprof.c 118
• perftools.rb (Ruby): , , , , gem (?)
• stacksampler (Python): stacksampler.py 51
• statprof (Python): statprof.py 239
• vmprof (Python): vmprof_unix.c 294

についての重要なことsetitimer-あなたは時間を数える方法を決める必要があります。 20msのリアルタイムが必要ですか？ 20msのユーザーcpu時間？ 20msユーザー+システムcpu時間？上記のリンクをよく見ると、これらのプロファイラーが実際には異なるものを使用していることsetitimerがわかります。動作がカスタマイズ可能な場合とそうでない場合があります。マニュアルページはsetitimer短く、考えられるすべての構成について読む価値があります。Twitterで1つの興味深いユースケース



@mgedminを指摘しましたsetitimer。この問題とこの問題は詳細を明らかにします。



に基づくプロファイラーの1つの興味深い欠点setitimer-どのタイマーが信号をトリガーしますか？信号がシステム呼び出しを中断することがあります！システム呼び出しには数ミリ秒かかる場合があります。スナップショットを頻繁に作成する場合は、プログラムにシステム呼び出しを無期限に実行させることができます。

setitimerを使用しないサンプリングプロファイラー

を使用しないサンプリングプロファイラーがいくつかありますsetitimer。

• pyinstrumentを使用しますPyEval_SetProfile（つまり、一種のトレースプロファイラーです）が、トレースコールバックが呼び出されたときにスタックスナップショットを常に収集するとは限りません。スタックトレーススナップショットのタイミングを選択するコードは次のとおりです。このブログでこのソリューションの詳細を読んでください。（基本的に：setitimerPythonでメインスレッドのみをプロファイリングできます）
• pyflameシステム呼び出しを使用して、プロセスの外部でPythonコードをプロファイルしますptrace。彼はループを使用して写真を撮り、一定時間眠り、同じことを繰り返します。これが待つための呼びかけです。
• python-flamegraph同様のアプローチを取り、Pythonプロセスで新しいスレッドを開始し、スタックトレースを取得し、スリープして、最初からやり直します。これが待機の呼び出しです。

これら3つのプロファイラーはすべて、リアルタイムのスナップショットを取得します。

Pyflameのブログ投稿

この投稿では、ほとんどすべての時間を以外のプロファイラーに費やしましたpyflameが、Pythonプログラムを別のプロセスからプロファイリングするため、実際に最も興味を持っています。そのため、Rubyプロファイラーを同様に機能させたいと考えています。



もちろん、すべてが私が説明したよりも少し複雑です。詳細については説明しませんが、EvanKlitzkeは彼のブログにこれに関する多くの優れた記事を書いています。

• Pyflame：UberEngineeringのPython用PtracingProfiler -pyflameの概要
• Pyflameデュアルインタープリターモード-Python2とPython3の両方を同時にサポートする方法
• 予期しないPythonABIの変更-Python3.6のサポートの追加について。
• マルチスレッドPythonスタックのダンプ;
• Pyflameパッケージ;
• ptrace Pythonでのシステム呼び出し。
• 楽しさと利益のためにptraceを使用する、ptrace（続き） ;

詳細については、eklitzke.orgをご覧ください。これらはすべて、私がこれから詳しく読む非常に興味深いものです。おそらく、Rubyプロファイラーを実装するptraceよりも優れていることがprocess_vm_readvわかります。process_vm_readvプロセスを停止しないためオーバーヘッドが少なくなりますが、プロセスを停止しないため、誤ったスナップショットが表示される可能性もあります:)。私の実験では、矛盾する画像を取得することは大きな問題ではありませんでしたが、ここで一連の実験を行うと思います。



それが今日のすべてです！



この投稿では触れなかった重要な微妙な点がたくさんあります。たとえば、基本的にとは似ているvmprofと言いましたstacksampler（そうではありません）。vmprof文字列プロファイリングとCで記述されたPython関数のプロファイリングをサポートしているため、プロファイラーがより複雑になると思います）。しかし、それらは同じ基本原則のいくつかを持っているので、今日のレビューは良い出発点になると思います。

---

pytestの有無にかかわらずTDD。無料のウェビナー

---

続きを読む：

• データストーリーを改善するための5つの視覚化
• PythonFunctoolsの紹介
• 今すぐFastAPIの使用を開始する必要がある理由