2020年のPHPコードカバレッジの改善

コードカバレッジメトリックが嘘をついていることをご存知ですか？



2003年には、Derick RethansはリリースXdebugを1.2に。PHPエコシステムで初めて、コードカバレッジデータを収集できるようになりました。 2004年には、セバスチャン・バーグマンがリリースPHPUnitの2彼が最初にそれを使用し、。開発者は、カバレッジレポートを使用してテストスイートのパフォーマンスを測定できるようになりました。



それ以来、機能は汎用の独立したphp-code-coverageコンポーネントに移動されました。PHPDBGとPCOVが代替ドライバーとして登場しました。しかし、基本的に、開発者のコ​​アプロセスは過去16年間変更されていません。



2020年8月には、のリリースでPHPコード・カバレッジ9.0およびそれに関連するリリースは9.3 PHPUnitのとbehatコード・カバレッジ5.0を、推定する新しい方法カバレッジが利用可能になりました。

今日は検討します

1. 基本のクイックツアー
2. 制限事項
3. 代替メトリック
4. ブランチカバレッジ
5. カバーパス
6. 新しい指標を含む
7. どのメトリックを使用しますか？
8. 新しい指標を含めない理由はありますか？
9. 結果

基本のクイックツアー

ほとんどのPHP開発者は、自動コードテストのアイデアに精通しています。コードカバレッジの概念は、自動テストと密接に関連しており、実行された、またはテストによって「カバー」されたコードの割合を測定することです。たとえば、次のコードがある場合：

<?php
class PercentCalculator
{
    public function __construct(int $numerator, int $denominator)
    {
        $this->numerator = $numerator;
        $this->denominator = $denominator;
    }

    public function calculatePercent(): float
    {
        return round($this->numerator / $this->denominator * 100, 1);
    }
}

次に、以下に示すようにPHPUnitテストを記述できます。

<?php
class PercentCalculatorTest extends PHPUnit\Framework\TestCase
{
    public function testTwentyIntoForty(): void
    {
        $calculator = new PercentCalculator(20, 40);
        self::assertEquals(50.0, $calculator->calculatePercent());
    }
}

テストを実行した後、PHPUnitは、この簡単な例で100％のカバレッジに到達したことを確認します。

制限事項

ただし、上記の例では、小さな潜在的なバグがありました。$分母が0の場合、ゼロ除算エラーが発生します。それを修正して、何が起こるか見てみましょう：

<?php
class PercentCalculator
{
    public function __construct(int $numerator, int $denominator)
    {
        $this->numerator = $numerator;
        $this->denominator = $denominator;
    }

    public function calculatePercent(): float
    {
        //     ,
        //     
        //   
        return $this->denominator ? round($this->numerator / $this->denominator * 100, 1) : 0.0;
    }
}

12行目で3値のif / elseステートメントが使用されていますが（null処理が正しいことを確認するためのテストも作成していません）、レポートには、100％のコードカバレッジがあることが示されています。



行の一部がテストでカバーされている場合、行全体がカバー済みとしてマークされます。これは誤解を招く可能性があります。



行が実行されるかどうかを単純に計算するだけで、他のコード構造でも同じ問題が発生することがよくあります。たとえば、次のようになります。

if ($a || $b || $c) { //  ** 
    doSomething();    //     100% 
}

public function pluralise(string $thing, int $count): string
{
    $string = $count . ' ' . $thing;

    if ($count > 1) {   //     $count >= 2,  - 100%
        $string .= 's'; //      $count === 1,
    }                   //      , 

    return $string;
}

代替メトリック

バージョン2.3以降、Xdebugは、使い慣れた行ごとのメトリックだけでなく、代替のブランチおよびパスカバレッジメトリックも収集できるようになりました。この機能について話しているDerikのブログ投稿は、悪名高い声明で終わりました。

「セバスチャン（または他の誰か）がPHP_CodeCoverageを更新して、ブランチとパスのカバレッジを表示する時間ができるまで待つ必要があります。ハッピーハッキング！

Derik Retans、2015年1月 "

この不思議な「誰か」を5年間待った後、私はそれをすべて自分で実装しようと決心しました。私のプルリクエストを受け入れてくれたSebastianBergmanに感謝します。

ブランチカバレッジ

最も単純なコードを除くすべてのコードで、実行パスが2つ以上のパスに分岐する可能性がある場所があります。これは、すべてのif / elseやwhileなど、すべての決定ポイントで発生します。これらの分岐点の各「側」は、個別のブランチです。決定ポイントがない場合、フローには1つのブランチのみが含まれます。



ツリーメタファーを使用しているにもかかわらず、このコンテキストのブランチはバージョンコントロールブランチと同じではないことに注意してください。混同しないでください。



ブランチとパスのカバレッジが有効になっている場合、php-code-coverageで生成されたHTMLレポート、通常のラインカバレッジレポートに加えて、ブランチおよびパスカバレッジを表示するためのアドオンが含まれています。これは、以前と同じコード例を使用した場合のブランチカバレッジの外観







です。ご覧のとおり、ページ上部のピボットボックスは、行ごとの完全なカバレッジがありますが、ブランチとパスのカバレッジには適用されないことをすぐに示しています（パスについては、次のセクションで詳しく説明します）。



さらに、12行目はカバレッジが不完全であることを示すために黄色で強調表示されます（カバレッジが0％の行は通常どおり赤で表示されます）。



最後に、より注意深い人は、行ごとのカバレッジとは異なり、より多くの行がカラーで強調表示されていることに気付くかもしれません。これは、分岐がPHPインタープリター内の実行フローに基づいて計算されるためです。各関数の最初のブランチは、その関数が入力されたときに開始されます。これは、関数本体のみが実行可能な文字列を含むと見なされ、関数宣言自体が実行不可能と見なされる文字列ベースのカバレッジとは対照的です。

枝を見つける

PHP インタープリターが論理的に分離したコードのブランチと見なすものと、開発者のメンタルモデルとのこのような違いにより、メトリックを理解するのが難しくなる可能性があります。たとえば、calculatePercent（）にいくつのブランチがあるかを尋ねられた場合、その2に答えます（0の特殊なケースと一般的なケース）。ただし、上記のphp-code-coverageレポートを見ると、この1行の関数には実際には... 4つのブランチが含まれていますか？！PHP



インタープリターの意味を理解するために、アップストリームの下に追加のカバレッジレポートがあります。各ブランチの表示の拡張バージョンが表示され、ソースコードに隠されているものをより効率的に識別できます。次のようになります。

キャプションは次のとおりです。「以下は、Xdebugが検出したコードの各ブランチを表すソースの行です。ブランチは文字列と同じである必要はないことに注意してください。文字列には複数のブランチを含めることができるため、複数回表示されます。また、一部のブランチは暗黙的である可能性があることにも注意してください。たとえば、ifステートメントは、記述していなくても、論理フローに常にelseが含まれます。」

これはまだはっきりしていませんが、calculatePercent（）に実際にどのブランチがあるかはすでに理解できます。

• ブランチ1は関数エントリから始まり、$ this->分母チェックが含まれています。
• 次に、特別な場合が処理されるかどうかに応じて、実行がブランチ2と3に分割されます。
• ブランチ4は、ブランチ2と3がマージする場所であり、関数の戻りと終了で構成されます。

ブランチをソースコードの個々の部分に精神的に一致させることは、少し練習が必要な新しいスキルです。しかし、読みやすく理解しやすいコードでそれを行うのは間違いなく簡単です。この例のように、コードが複数のロジックを組み合わせたスマートなワンライナーでいっぱいの場合は、ブランチに完全に対応するすべてが数行で構造化および記述されているコードと比較して、より複雑になると予想されます。このスタイルで記述された同じロジックは次のようになります。

クローバー

php-code-coverage レポートをClover形式でエクスポートして別のシステムに転送し、ブランチベースのカバレッジを有効にすると、データは条件付きキーとcoveredconditionalsキーに書き込まれます。以前（またはブランチカバレッジが有効になっていない場合）、エクスポートされた値は常にゼロでした。

カバーパス

パスは、ブランチの可能な組み合わせです。次のように、calculatePercent（）の例には2つの可能なパスがあります。

• ブランチ1、次にブランチ2、次にブランチ4;
• ブランチ1、ブランチ3、ブランチ4の順になります。

ただし、多くの場合、たとえば、多くの条件とループを含むコードでは、パスの数がブランチの数よりも多くなります。php-code-coverageから取得した次の例には、23のブランチがありますが、実際には、関数には65の異なるパスがあります。

final class File extends AbstractNode
{
    public function numberOfTestedMethods(): int
    {
        if ($this->numTestedMethods === null) {
            $this->numTestedMethods = 0;

            foreach ($this->classes as $class) {
                foreach ($class['methods'] as $method) {
                    if ($method['executableLines'] > 0 &&
                        $method['coverage'] === 100) {
                        $this->numTestedMethods++;
                    }
                }
            }

            foreach ($this->traits as $trait) {
                foreach ($trait['methods'] as $method) {
                    if ($method['executableLines'] > 0 &&
                        $method['coverage'] === 100) {
                        $this->numTestedMethods++;
                    }
                }
            }
        }

        return $this->numTestedMethods;
    }
}

23のブランチすべてが見つからない場合、foreachは空のイテレーターを受け入れることができ、常に見えないelseが存在する場合は覚えておいてください。

はい、つまり、100％のカバレッジには65のテストが必要です。ブランチと同様に、php-code-coverage



HTMLレポートには、パスごとに追加のビューが含まれています。生地で覆われているものと覆われていないものを示しています。

くだらない

パスカバレッジを有効にすると、表示されるメトリック、つまりCRAPスコアにさらに影響します。crap4j.orgで公開されている定義では、PHPでこれまで利用できなかったパスカバレッジのパーセンテージメトリックを計算の入力として使用します。一方、PHPでは、行ごとのカバレッジが常に使用されてきました。カバレッジが良好な小さな機能の場合、CRAPスコアは同じままであるか、さらには減少する可能性があります。ただし、実行パスが多く、カバレッジが低い関数の場合、値は大幅に増加します。

新しい指標を含む

ブランチとパスのカバレッジは、同じ基になるコード実行データの単なる異なる表現であるため、一緒に有効または無効になります。

PHPUnit

PHPUnit 9.3+、追加的な指標は、デフォルトでは無効になっていると、コマンドラインを介して、またはいずれかを介して有効にすることができますphpunit.xmlのコンフィギュレーション・ファイルが、唯一のもとで実行している場合はXdebug。PCOVまたはPHPDBGを使用しているときにこの機能を有効にしようとすると、構成の非互換性に関する警告が表示され、カバレッジは収集されません。

• コンソールで、-path -coverageオプションを使用します：vendor / bin / phpunit -- path-coverage。
• phpunit.xmlで、coverage要素のpathCoverage属性をtrueに設定します。

<?xml version="1.0" encoding="UTF-8"?>
<phpunit xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:noNamespaceSchemaLocation="https://schema.phpunit.de/9.3/phpunit.xsd">
    <testsuites>
        <testsuite name="default">
            <directory>tests</directory>
        </testsuite>
    </testsuites>

    <coverage pathCoverage="true" processUncoveredFiles="true" cacheDirectory="build/phpunit/cache">
        <include>
            <directory suffix=".php">src</directory>
        </include>

        <report>
            <text outputFile="php://stdout"/>
            <html outputDirectory="build/coverage"/>
        </report>

    </coverage>
</phpunit>

PHPUnit 9.3では、構成ファイルの形式が大幅に変更されているため、上記の構造はおそらく以前とは異なって見えます。

behat-c​​ode-coverage

behatコードカバー5.0+、設定がで行われbehat.yml、属性が呼び出されbranchAndPathCoverage。Xdebug以外のドライバーで有効にしようとすると、警告が発行されますが、カバレッジは生成されます。これは、異なる環境で同じ構成ファイルを簡単に使用できるようにするためです。明示的に構成されていない場合、Xdebugで実行すると、新しいカバレッジがデフォルトで有効になります。

どのメトリックを使用しますか？

個人的には、私（Doug Wright）は可能な限り新しいメトリックを使用します。さまざまなコードでそれらをテストして、「正常」なものを確認しました。私のプロジェクトでは、おそらく、ハイブリッドアプローチを使用します。これを以下に示します。商用プロジェクトの場合、新しいメトリックに切り替える決定は、明らかにチーム全体で行う必要があります。私は、彼らの調査結果を自分の調査結果と比較する機会を楽しみにしています。

私の意見

100％のパスベースのカバレッジは間違いなく聖杯であり、適用することが理にかなっている場合は、そうでない場合でも努力するのに適した指標です。テストを作成する場合でも、エッジケースなどについて考える必要があります。パスベースのカバレッジは、問題がないことを確認するのに役立ちます。



ただし、メソッドに数十、数百、または数千ものパスが含まれている場合（これは実際にはかなり複雑なものでは珍しいことではありません）、数百のテストを作成する時間を無駄にすることはありません。 10時に停止するのが賢明です。テストはそれ自体が目的ではなく、リスク軽減ツールであり、将来への投資です。テストは報われるべきであり、それに費やされた時間テストが報われる可能性は低いです。このような状況では、少なくとも各決定ポイントで何が起こっているかを確実に考えることができるため、適切なブランチカバレッジを目指すのが最善です。



多数のパスの場合（これらは正直なCRAPで適切に定義されています）、問題のコードがあまり機能しないかどうかを評価し、それをより小さな関数（すでに詳細に解析できます）に分解する合理的な方法はありますか？そうでない場合もありますが、それは問題ありません。プロジェクトのすべてのリスクを完全に排除する必要はありません。それらについて知ることさえ素晴らしいです。また、機能の境界とそれらの分離されたユニットテストは、ソフトウェア全体の真の複雑さではなく、ロジックの人為的な分離であることを覚えておくことも重要です。したがって、実行パスの数が非常に多いという理由だけで、大きな関数を壊さないことをお勧めします。これは、分離によって認知負荷が軽減され、コードの認識に役立つ場合にのみ実行してください。

新しい指標を含めない理由はありますか？

はい、パフォーマンス。Xdebugコードが通常のPHPパフォーマンスと比較して信じられないほど遅いことは周知の事実です。また、ブランチとパスのカバレッジをオンにすると、彼が追跡する必要のあるすべての追加の実行データにオーバーヘッドコストが追加されるため、すべてが悪化します。



幸いなことに、これらの問題に取り組む必要があるため、開発者はphp-code-coverage内で一般的なパフォーマンスを改善し、Xdebugを使用するすべての人にメリットをもたらしました。テストスイートのパフォーマンスは大きく異なるため、これが各テストスイートにどのように影響するかを判断するのは困難ですが、文字列ベースのカバレッジの収集はとにかく高速になります。



ブランチやパスからカバレッジを作成するのは、まだ約3〜5倍遅くなります。これを考慮に入れる必要があります。テストスイート全体ではなく、個々のテストファイルを選択的に有効にするか、すべてのプッシュを実行するのではなく、「より良いカバレッジ」で夜間ビルドを有効にすることを検討してください。



Xdebug 3は、モジュール化とパフォーマンスに関する作業により、現在のバージョンよりも大幅に高速になるため、これらの警告はXdebug2のみに固有のものと見なす必要があります。バージョン3では、追加データの収集のオーバーヘッドを考慮しても、行ごとのカバレッジを取得するのにかかる時間よりも短い時間で、ブランチベースおよびパスベースのカバレッジを生成できます。

Sebastian Bergmannが実施したテスト、DerickRethansがプロットしたグラフ

結果

新機能をテストして、私たちに書いてください。彼らは役に立ちましたか？（おそらく他の言語からの）代替の視覚化のアイデアは特に興味深いものです。



ええと、私は常にコードカバレッジの通常のレベルについてのあなたの意見に興味があります。

でPHPロシア2005年11月29日に、私たちは、ドキュメントにないものについてPHPの開発に関するすべての最も重要な質問を、説明しますが、何があなたのコードの新しいレベルを提供します。



カンファレンスにご参加ください。PHPユニバースの最高のスピーカーにレポートを聞いたり質問したりするだけでなく、暖かい雰囲気の中でプロのコミュニケーション（ついにオフライン！）を行うこともできます。私たちのコミュニティ：Telegram、Facebook、VKontakte、YouTube。