XCResult-読む方法と理由

2018年、Appleは次回（3回目）に、テスト実行に関する情報が発行される形式を更新しました。以前は大きなxmlであったplistファイルでしたが、現在はxcresult拡張子を持つ大きなファイルであり、Xcodeを介して開き、ログ、スクリーンショットを含むテスト結果から始まり、ターゲットカバレッジで終わる多くの有用な情報が含まれています。 、アセンブリに関する診断情報など。ほとんどの開発者はこれを毎日使用していませんが、この記事のインフラストラクチャビルダーは何か便利なものを見つけるかもしれません。

フォーマットを更新することの長所と短所を分解してみましょう

フォーマットを更新することの欠点は何ですか？

• 非常に重いため、CIサーバーとのそのようなファイルの交換には時間がかかる可能性があります。
• Xcodeがない場合、Xcodeは開きません（テスターまたは開発者がXcodeを持っていないかどうかは疑わしいですが、それでも）。
• 既存の統合ツールの考えられる内訳。再び何か新しいものを扱うことを学ぶ。

新しいxcresultはどのように便利ですか？

• Xcodeを介してネイティブに開きます。
• ローカルプロジェクトがない場合でも、QAおよび開発から同僚に転送できます。すべてが開き、必要な情報が表示されます。
• テストの実行に関する包括的な情報が含まれています。
• Xcodeだけでなく読み取ることができます。

この記事の最後のポイントについてお話します。

Xcodeの外部でXCResultを読み取るのはなぜですか？

会社でCI＆CDプロセスが設定されている場合は、プロジェクトビルド、安定性、テスト数、そしてもちろんテストカバレッジデータに関するメトリックを収集する可能性があります。ほとんどの場合、Bamboo、Jenkins、Githubのどこかで、テスト、CIステータス、またはカバレッジ率を落としています。そのような操作を自動化し、魂のない機械に翻弄されるのが通例です。これにはどのようなツールがありますか？

Appleは、新しいフォーマットのリリースとともに、ターミナルから操作できるxcresulttoolおよびxccovツールをリリースしました。

xccovを使用して何を得ることができますか？

xcrun xccov view --report --json /path/to/your/TestScheme.xcresult







リクエストは、すべてのターゲットが持つカバレッジ、カバーされるメソッドとクラス、それらが実行された回数、および実行された行に関する包括的な情報を返します。オブジェクトは同様の構造を持っています。ルート、ターゲット、ファイル、関数の合計4つのレベルがあります。ルートを除くすべてのレベルに名前フィールドがあります。すべてのレベルにcoveredLinesフィールドとlineCoverageフィールドがあります。オブジェクトには独自のコンテキストがあることに注意することが重要です。構造全体は、いくつかのプロトコルで記述できます。







プロトコルに加えて、次の構造を強調します。CoverageReport-すべてのアグリゲーターとルート。 Targetオブジェクトの配列が含まれています。各ターゲットにはファイルの配列が含まれ、ファイルの配列には関数の配列が含まれます。これらのオブジェクトは、上記のプロトコルを実装します。

lineCoverageフィールドに関心があります。（fastlaneのように）美しいレポートを作成するには、lineCoverageフィールドに移動し、単純な関数ですべてのオブジェクトを調べます。次の







ようなものが得られます。

Coverage Report Summary:

• Utils.framework: 51,04 %

• NavigationAssistantKit.framework: 0,0 %

• NavigationKit.framework: 35,85 %

• Logger.framework: 20,32 %

• FTCCardData.framework: 78,21 %

• FTCFeeSDK.framework: 25,25 %

• ErrorPresenter.framework: 2,8 %

• MTUIKit.framework: 0,24 %

• AnalyticsKit.framework: 47,52 %

• EdaSDK.framework: 1,18 %

• Alerts.framework: 85,19 %

• Resources.framework: 39,16 %

• QpayApiTests.xctest: 88,37 %

• FTCFeeSDKTests.xctest: 97,91 %
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

PSカバレッジを収集するには、テストチームに-enableCodeCoverage YESパラメーターを追加するか、Xcodeのスキーム設定で有効にする必要があります。

xcresulttoolはどのような機会を提供しますか？

実際、xcresulttoolにはそれほど大きなインターフェースはありませんが、xcresultの構造を知っていれば、そこから多くの情報を得ることができます。そして、これはクエリを実行できるデータベース全体です。



インターフェイス自体を使い始めることをお勧めします。

xcrun xcresulttool --help

OVERVIEW: Xcode Result Bundle Tool (version 16015)

USAGE: xcresulttool subcommand [options] ...


SUBCOMMANDS:

  export                  Export File or Directory from Result Bundle

  formatDescription       Result Bundle Format Description

  get                     Get Result Bundle Object

  graph                   Print Result Bundle Object Graph

  merge                   Merge Result Bundles

  metadata                Result Bundle Metadata

  version                 XCResultKit Version
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

構造を読み取るには、次のコマンドを呼び出す必要があります。

xcrun xcresulttool get --path /path/to/your/res.xcresult --format json
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

ここで、xcresultバンドルの「目次」を取得します。何が起こっていたか、どのテストが実行されたか、どのくらいの時間がかかったか、スクリーンショットとログはどこにあり、コンパイラの警告は何でしたか。私たちにとっての主なことは、テストに関する情報を含むファイル識別子を取得することです。

xcrun xcresulttool get --path /path/to/your/res.xcresult --format json --id {id}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

次に、テストターゲット、テストの種類を含むオブジェクトを取得します。これらは、テストクラスと、各テストのログ、スクリーンショット、実行時間、その他の情報を含むレポートを含むテストスーツに分けられます。



残念ながら、赤いテストが失敗した理由を簡単に引き出すことはできません。このため、失敗したテストごとに別のリクエストを行う必要があります（実際、1つでもありません！！



失敗の概要では、同じリクエストが使用されます。 ：



xcrun xcresulttool get --path /path/to/your/res.xcresult --format json --id {id}







ただし、クラッシュログの場合は、リクエストから--format jsonを削除する必要があります。これは、文字列しかないため、フォーマッターを渡すときにツールがエラーを生成するためです。

次に、この背景知識をどうするか？

もちろん、自動化してください！これらのコマンドを試してみると、答えが巨大で読みにくいことがわかります。自動化する方法は？ Ruby、Python ...またはSwift？

もちろん、迅速です。現代のiOS開発者なら誰でもそれを知っています。プロジェクトはXcodeで開き、デバッグ、構文の強調表示、強い型付けが利用可能です。要するに、夢！特にSwiftパッケージマネージャーの登場で。



迅速にプロセスを起動し、エラーをリッスンし、出力を取得できることは周知の事実です。最も単純なケースでは、このような構造で







うまくいくことができます。 これで、すでに使い慣れたxcrunxcovおよびxcrunxcresulttoolを使用してXCResult形式を調べるだけで済みます。たとえば、テストカバレッジを読み取るには、次を使用します。







そして、XCResultの目次を取得するには、実行する必要があります。







しかし、大切なCoverageReport構造とXCResult構造を取得するにはどうすればよいでしょうか。

Dataから文字列を取得します。これは、最初のShellコマンドから返され、コンテンツをここに配置します： quicktype.io。



このサービスは、必要な迅速な構造に似たものを生成します。確かに、結果を「そのまま」使用することはできません。答えの構造をもっと詳しく調べて、重複を捨てる必要があります。それにもかかわらず、そのような作業は難しくありません。不要な部分を破棄するか、調査を行っていくつかの基本的な構成要素を強調することができます。







これに基づいて、残りの構造を説明します。次に例を示します。







または、実行が実行されたコンピューターに関するそのような情報ですら、次のようになります。

さて、これをどのように使用するのですか？

スクレーパーの使用方法は2つあります。1つ目は実行可能ファイルであり、ここでAppleのswift-argument-parserライブラリが役立ちます。その前に、引数の処理を自分で作成し、テストでカバーし、サポートする必要がありました。現在、この作業は、メンテナが信頼できる人気のある図書館に引き継がれています。



2つのコマンドがあります。テストカバレッジレポートを取得することと、junitテストレポートを生成することです。プロジェクトをビルドしてバイナリを実行し、必要な引数を渡す必要があります。







2番目の方法は、このプロジェクトをライブラリとして使用することです。 KoronaPay製品の組み立て、テスト、出荷を担当する大規模なCIプロジェクトがあります。たとえば、合格したテストの結果に基づいて、次のようなテストですべてのアサーションの失敗とクラッシュを抽出できます。







または、赤いテストを取得し、フラスコを分析して、それらのみを再起動します。

分析する方法は？すべてが単純であると同時に簡単ではありません。テストの失敗の理由の詳細を取得するには、失敗の要約識別子を使用してxcresultに追加の要求を行う必要があります。次に、障害の概要から情報を抽出します。現時点では、テストでクラッシュや接続が失われた場合を探す方法と、理由を引き出す方法を学びました。クラッシュが発生したことを理解するのは難しくありません。あなたはただfailureSummariesで墜落した大切な言葉を見つける必要があります。







クラッシュの原因を見つけるのは少し難しいです。



ここで、swiftの反射メカニズムが役立ちます。これは、多少制限はありますが、この問題を解決するのに最適です。 kXCTAttachmentLegacyDiagnosticReportDataという名前のすべてのAttachmentオブジェクトを検索します。







ReflectPropertiesメソッドには魔法はありません。これはMirrorの単純な拡張です







。赤いテストのもう1つのカテゴリはassertです。クラッシュとは異なり、ここで「クラッシュイン」という文字列を単純に検索することはできません。このようなテストは、接続が失われた場合を装うことができます。理由を







突き止めるには、次のようにTestCaseオブジェクト内のいくつかの配列を調べる必要があります。 このような操作のために、ライブラリには、赤いテストの概要を提供できるTestsInspectorエンティティがあります。したがって、赤いテストはレポートの特性ごとにグループ化されます。

結論の代わりに

この分野の既存のすべてのソリューションと同様に、当社のスクレーパーはxcresultを分析するための網羅的なツールではありません。すべての情報を取得してスクリーンショットを表示するには、Xcodeを介してxcresultを開く必要があります。ただし、CIを構成していて、テスト結果をすばやく確認したい場合は、junitとxcscrapperの組み合わせを真の価値で評価できる可能性があります。