PVS-Studio：セルフホストエージェントを使用したAzureDevOpsでのプルリクエストの分析

静的コード分析は、プロジェクトに変更を加えるときに最も効果的です。バグは、バグが初期段階で発生するのを防ぐよりも、将来修正するのが常に難しいためです。継続的な開発システムでPVS-Studioを使用するためのオプションを引き続き拡張し、Minetestゲームの例を使用して、Microsoft AzureDevOpsでセルフホストエージェントを使用してプルリクエストの分析を設定する方法を示します。

私たちが扱っていることについて簡単に

Minetestは、約200,000行のC、C ++、およびLuaコードを含むオープンソースのクロスプラットフォームゲームエンジンです。これにより、ボクセル空間でさまざまなゲームモードを作成できます。マルチプレイヤー、および多くのコミュニティmodをサポートします。プロジェクトリポジトリはここでホストされています：https：//github.com/minetest/minetest。



次のツールを使用して、通常のエラー検索を設定しました



。PVS-Studioは、C、C ++、C＃、およびJavaの静的コードアナライザーであり、エラーとセキュリティ上の欠陥を検出します。



Azure DevOpsは、アプリケーションを開発、実行し、リモートサーバーにデータを保存する機能を提供するクラウドベースのプラットフォームです。



WindowsおよびLinux仮想マシンを使用して、Azureで開発タスクを実行できます。ただし、ローカルハードウェアでエージェントを実行することには、いくつかの重要な利点があります。

• Localhostは、AzureVMよりも多くのリソースを持つことができます。
• エージェントは、タスクの完了後に「消える」ことはありません。
• 環境を直接カスタマイズする機能、およびビルドプロセスのより柔軟な制御。
• 中間ファイルをローカルに保存すると、ビルド速度にプラスの効果があります。
• 月に30以上のタスクを無料で完了することができます。

セルフホストエージェントを使用するための準備

Azureの使用を開始するプロセスについては、「PVS-Studioがクラウドに移行する：Azure DevOps」の記事で詳しく説明されているため、セルフホストエージェントの作成に直接進みます。



エージェントがプロジェクトプールに接続する権利を持つためには、特別なアクセストークンが必要です。これは、[個人アクセストークン]ページの[ユーザー設定]メニューから取得できます。





[新しいトークン]をクリックした後、名前を指定し、[エージェントプールの読み取りと管理]を選択する必要があります（[すべてのスコープを表示]でリスト全体を展開する必要がある場合があります）。





Azureはトークンを表示しなくなるため、トークンをコピーする必要があり、新しいトークンを作成する必要があります。





Windows ServerCoreに基づくDockerコンテナがエージェントとして使用されます。ホストは、Hyper-Vを搭載したWindows 10x64上の私の仕事用コンピューターです。



まず、Dockerコンテナで使用できるディスク領域の量を拡張する必要があります。



Windowsでは、このためにファイル 'C：\ ProgramData \ Docker \ config \ daemon.json'を次のように変更する必要があります。

{
  "registry-mirrors": [],
  "insecure-registries": [],
  "debug": true,
  "experimental": false,
  "data-root": "d:\\docker",
  "storage-opts": [ "size=40G" ]
}

ビルドシステムと必要なすべてを備えたエージェントのDockerイメージを作成するには、「D：\ docker-agent」ディレクトリに、次の内容のDockerファイルを追加します。

# escape=`

FROM mcr.microsoft.com/dotnet/framework/runtime

SHELL ["cmd", "/S", "/C"]

ADD https://aka.ms/vs/16/release/vs_buildtools.exe C:\vs_buildtools.exe
RUN C:\vs_buildtools.exe --quiet --wait --norestart --nocache `
  --installPath C:\BuildTools `
  --add Microsoft.VisualStudio.Workload.VCTools `
  --includeRecommended

RUN powershell.exe -Command `
  Set-ExecutionPolicy Bypass -Scope Process -Force; `
  [System.Net.ServicePointManager]::SecurityProtocol =
    [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; `
  iex ((New-Object System.Net.WebClient)
    .DownloadString('https://chocolatey.org/install.ps1')); `
  choco feature enable -n=useRememberedArgumentsForUpgrades;
  
RUN powershell.exe -Command `
  choco install -y cmake --installargs '"ADD_CMAKE_TO_PATH=System"'; `
  choco install -y git --params '"/GitOnlyOnPath /NoShellIntegration"'

RUN powershell.exe -Command `
  git clone https://github.com/microsoft/vcpkg.git; `
  .\vcpkg\bootstrap-vcpkg -disableMetrics; `
  $env:Path += '";C:\vcpkg"'; `
  [Environment]::SetEnvironmentVariable(
    '"Path"', $env:Path, [System.EnvironmentVariableTarget]::Machine); `
  [Environment]::SetEnvironmentVariable(
    '"VCPKG_DEFAULT_TRIPLET"', '"x64-windows"',
  [System.EnvironmentVariableTarget]::Machine)

RUN powershell.exe -Command `
  choco install -y pvs-studio; `
  $env:Path += '";C:\Program Files (x86)\PVS-Studio"'; `
  [Environment]::SetEnvironmentVariable(
    '"Path"', $env:Path, [System.EnvironmentVariableTarget]::Machine)

RUN powershell.exe -Command `
  $latest_agent =
    Invoke-RestMethod -Uri "https://api.github.com/repos/Microsoft/
                          azure-pipelines-agent/releases/latest"; `
  $latest_agent_version =
    $latest_agent.name.Substring(1, $latest_agent.tag_name.Length-1); `
  $latest_agent_url =
    '"https://vstsagentpackage.azureedge.net/agent/"' + $latest_agent_version +
  '"/vsts-agent-win-x64-"' + $latest_agent_version + '".zip"'; `
  Invoke-WebRequest -Uri $latest_agent_url -Method Get -OutFile ./agent.zip; `
  Expand-Archive -Path ./agent.zip -DestinationPath ./agent

USER ContainerAdministrator
RUN reg add hklm\system\currentcontrolset\services\cexecsvc
        /v ProcessShutdownTimeoutSeconds /t REG_DWORD /d 60  
RUN reg add hklm\system\currentcontrolset\control
        /v WaitToKillServiceTimeout /t REG_SZ /d 60000 /f

ADD .\entrypoint.ps1 C:\entrypoint.ps1
SHELL ["powershell", "-Command",
       "$ErrorActionPreference = 'Stop';
     $ProgressPreference = 'SilentlyContinue';"]
ENTRYPOINT .\entrypoint.ps1

その結果、PVS-Studio、CMake、およびGitをインストールするためのChocolateyを備えたMSBuild for C ++に基づくビルドシステムが作成されます。プロジェクトが依存するライブラリを便利に管理するために、Vcpkgが構築されています。また、最新バージョンのAzure PipelinesAgentがダウンロードされます。



ENTRYPOINT Dockerファイルからエージェントを初期化するには、PowerShellスクリプト「entrypoint.ps1」が呼び出されます。このスクリプトに、プロジェクトの「組織」URL、エージェントプールトークン、およびPVS-Studioライセンスパラメータを追加する必要があります。

$organization_url = "https://dev.azure.com/< Microsoft Azure>"
$agents_token = "<token >"

$pvs_studio_user = "<  PVS-Studio>"
$pvs_studio_key = "< PVS-Studio>"

try
{
  C:\BuildTools\VC\Auxiliary\Build\vcvars64.bat

  PVS-Studio_Cmd credentials -u $pvs_studio_user -n $pvs_studio_key
  
  .\agent\config.cmd --unattended `
    --url $organization_url `
    --auth PAT `
    --token $agents_token `
    --replace;
  .\agent\run.cmd
} 
finally
{
  # Agent graceful shutdown
  # https://github.com/moby/moby/issues/25982
  
  .\agent\config.cmd remove --unattended `
    --auth PAT `
    --token $agents_token
}

イメージを構築してエージェントを起動するためのコマンド：

docker build -t azure-agent -m 4GB .
docker run -id --name my-agent -m 4GB --cpu-count 4 azure-agent

エージェントは実行中であり、タスクを実行する準備ができています。

セルフホストエージェントでの分析の実行

PR分析の場合、次のスクリプトを使用して新しいパイプラインが作成されます。

trigger: none

pr:
  branches:
    include:
    - '*'

pool: Default

steps:
- script: git diff --name-only
    origin/%SYSTEM_PULLREQUEST_TARGETBRANCH% >
    diff-files.txt
  displayName: 'Get committed files'

- script: |
    cd C:\vcpkg
    git pull --rebase origin
    CMD /C ".\bootstrap-vcpkg -disableMetrics"
    vcpkg install ^
    irrlicht zlib curl[winssl] openal-soft libvorbis ^
    libogg sqlite3 freetype luajit
    vcpkg upgrade --no-dry-run
  displayName: 'Manage dependencies (Vcpkg)'

- task: CMake@1
  inputs:
    cmakeArgs: -A x64
      -DCMAKE_TOOLCHAIN_FILE=C:/vcpkg/scripts/buildsystems/vcpkg.cmake
      -DCMAKE_BUILD_TYPE=Release -DENABLE_GETTEXT=0 -DENABLE_CURSES=0 ..
  displayName: 'Run CMake'

- task: MSBuild@1
  inputs:
    solution: '**/*.sln'
    msbuildArchitecture: 'x64'
    platform: 'x64'
    configuration: 'Release'
    maximumCpuCount: true
  displayName: 'Build'

- script: |
    IF EXIST .\PVSTestResults RMDIR /Q/S .\PVSTestResults
    md .\PVSTestResults
    PVS-Studio_Cmd ^
    -t .\build\minetest.sln ^
    -S minetest ^
    -o .\PVSTestResults\minetest.plog ^
    -c Release ^
    -p x64 ^
    -f diff-files.txt ^
    -D C:\caches
    PlogConverter ^
    -t FullHtml ^
    -o .\PVSTestResults\ ^
    -a GA:1,2,3;64:1,2,3;OP:1,2,3 ^
    .\PVSTestResults\minetest.plog
    IF NOT EXIST "$(Build.ArtifactStagingDirectory)" ^
    MKDIR "$(Build.ArtifactStagingDirectory)"
    powershell -Command ^
    "Compress-Archive -Force ^
    '.\PVSTestResults\fullhtml' ^
    '$(Build.ArtifactStagingDirectory)\fullhtml.zip'"
  displayName: 'PVS-Studio analyze'
  continueOnError: true

- task: PublishBuildArtifacts@1
  inputs:
    PathtoPublish: '$(Build.ArtifactStagingDirectory)'
    ArtifactName: 'psv-studio-analisys'
    publishLocation: 'Container'
  displayName: 'Publish analysis report'

このスクリプトは、PRが受信されたときにトリガーされ、デフォルトのプールに割り当てられたエージェントで実行されます。あなたは彼にこのプールで働く許可を与える必要があるだけです。









スクリプトは、gitdiffを使用して取得した変更済みファイルのリストを保存します。次に、依存関係が更新され、CMakeを介してプロジェクトソリューションが生成され、ビルドされます。



ビルドが成功すると、変更されたファイルの分析が開始され（フラグ '-f diff-files.txt'）、CMakeによって作成された補助プロジェクトは無視されます（ '-S minetest'フラグを持つ必要なプロジェクトのみを選択します）。ヘッダーとC ++ソースファイル間のリンクの検索を高速化するために、特別なキャッシュが作成され、別のディレクトリに保存されます（フラグ '-DC：\ caches'）。



これで、プロジェクトの変更の分析に関するレポートを受け取ることができます。









記事の冒頭で述べたように、セルフホストエージェントを使用することの楽しいボーナスは、中間ファイルのローカルストレージによるタスク実行の顕著な加速です。

Minetestで見つかったいくつかのバグ

結果の上書き



V519「color_name」変数には2回連続して値が割り当てられます。おそらくこれは間違いです。チェック行：621、627。string.cpp 627

static bool parseNamedColorString(const std::string &value,
                                  video::SColor &color)
{
  std::string color_name;
  std::string alpha_string;

  size_t alpha_pos = value.find('#');
  if (alpha_pos != std::string::npos) {
    color_name = value.substr(0, alpha_pos);
    alpha_string = value.substr(alpha_pos + 1);
  } else {
    color_name = value;
  }

  color_name = lowercase(value); // <=

  std::map<const std::string, unsigned>::const_iterator it;
  it = named_colors.colors.find(color_name);
  if (it == named_colors.colors.end())
    return false;
  ....
}

この関数は、透明度パラメーター（たとえば、Green＃77）を使用して色名を解析し、そのコードを返す必要があります。条件チェックの結果に応じて、行分割の結果または関数引数のコピーがcolor_name変数に渡されます。ただし、結果の文字列自体は小文字に変換されるのではなく、元の引数に変換されます。その結果、透明度パラメータが存在する場合、カラーディクショナリで見つけることができません。この行は次のように修正できます。

color_name = lowercase(color_name);

不要な条件チェックV547式 'nearest_emergefull_d ==-1'は常に真です。clientiface.cpp 363

void RemoteClient::GetNextBlocks (....)
{
  ....
  s32 nearest_emergefull_d = -1;
  ....
  s16 d;
  for (d = d_start; d <= d_max; d++) {
    ....
      if (block == NULL || surely_not_found_on_disk || block_is_invalid) {
        if (emerge->enqueueBlockEmerge(peer_id, p, generate)) {
          if (nearest_emerged_d == -1)
            nearest_emerged_d = d;
        } else {
          if (nearest_emergefull_d == -1) // <=
            nearest_emergefull_d = d;
          goto queue_full_break;
        }
  ....
  }
  ....
queue_full_break:
  if (nearest_emerged_d != -1) { // <=
    new_nearest_unsent_d = nearest_emerged_d;
  } else ....
}

near_emergefull_d 変数はループ操作中に変更されず、そのチェックはアルゴリズムの実行に影響を与えません。これは不正確なコピー＆ペーストの結果であるか、それを使って計算を行うのを忘れていました。



V560条件式の一部は常にfalseです：y> max_spawn_y。mapgen_v7.cpp 262

int MapgenV7::getSpawnLevelAtPoint(v2s16 p)
{
  ....
  while (iters > 0 && y <= max_spawn_y) {               // <=
    if (!getMountainTerrainAtPoint(p.X, y + 1, p.Y)) {
      if (y <= water_level || y > max_spawn_y)          // <=
        return MAX_MAP_GENERATION_LIMIT; // Unsuitable spawn point

      // y + 1 due to biome 'dust'
      return y + 1;
    }
  ....
}

' y '変数の値は、ループの次の反復の前にチェックされます。その後の反対の比較では、常にfalseが返され、通常、条件テストの結果には影響しません。



ポインタの喪失は、「m_client」ポインタのV595をチェックします。



これは、ITがnullptrに対して検証される前に使用されていました。チェックライン：183、187。game.cpp 183

void gotText(const StringMap &fields)
{
  ....
  if (m_formname == "MT_DEATH_SCREEN") {
    assert(m_client != 0);
    m_client->sendRespawn();
    return;
  }

  if (m_client && m_client->modsLoaded())
    m_client->getScript()->on_formspec_input(m_formname, fields);
}

m_client ポインターにアクセスする前に、assertマクロを使用してnullでないかどうかがチェックされます。ただし、これはデバッグビルドにのみ適用されます。このような予防策は、リリースに組み込むときにダミーに置き換えられ、nullポインターを参照解除するリスクがあります。



ビットかビットではない？



V616ビット単位の操作では、値が0の「（FT_RENDER_MODE_NORMAL）」という名前の定数が使用されます。 CGUITTFont.h 360

typedef enum  FT_Render_Mode_
{
  FT_RENDER_MODE_NORMAL = 0,
  FT_RENDER_MODE_LIGHT,
  FT_RENDER_MODE_MONO,
  FT_RENDER_MODE_LCD,
  FT_RENDER_MODE_LCD_V,

  FT_RENDER_MODE_MAX
} FT_Render_Mode;

#define FT_LOAD_TARGET_( x )   ( (FT_Int32)( (x) & 15 ) << 16 )
#define FT_LOAD_TARGET_NORMAL  FT_LOAD_TARGET_( FT_RENDER_MODE_NORMAL )

void update_load_flags()
{
  // Set up our loading flags.
  load_flags = FT_LOAD_DEFAULT | FT_LOAD_RENDER;
  if (!useHinting()) load_flags |= FT_LOAD_NO_HINTING;
  if (!useAutoHinting()) load_flags |= FT_LOAD_NO_AUTOHINT;
  if (useMonochrome()) load_flags |= 
    FT_LOAD_MONOCHROME | FT_LOAD_TARGET_MONO | FT_RENDER_MODE_MONO;
  else load_flags |= FT_LOAD_TARGET_NORMAL; // <=
}

FT_LOAD_TARGET_NORMAL マクロが拡張をゼロにし、ビット単位「または」がのいずれかのフラグが設定されていないだろうload_flagsを、他の枝を取り除くことができます。



整数除算を丸め



V636ザ「rect.getHeight（）/ 16」発現は暗黙「フロート」タイプに「INT」タイプからキャストしました。部分的な部分の損失を回避するために、明示的な型キャストを利用することを検討してください。例：double A =（double）（X）/ Y;。 hud.cpp 771

void drawItemStack(....)
{
  float barheight = rect.getHeight() / 16;
  float barpad_x = rect.getWidth() / 16;
  float barpad_y = rect.getHeight() / 16;

  core::rect<s32> progressrect(
    rect.UpperLeftCorner.X + barpad_x,
    rect.LowerRightCorner.Y - barpad_y - barheight,
    rect.LowerRightCorner.X - barpad_x,
    rect.LowerRightCorner.Y - barpad_y);
}

RECTの ゲッターは、整数値を返します。整数の除算の結果は浮動小数点変数に書き込まれ、分数部分は失われます。これらの計算には不一致のデータタイプがあるようです。



疑わしいシーケンス分岐ステートメント



V646アプリケーションのロジックの検査を検討してください。 'else'キーワードが欠落している可能性があります。 treegen.cpp 413

treegen::error make_ltree(...., TreeDef tree_definition)
{
  ....
  std::stack <core::matrix4> stack_orientation;
  ....
    if ((stack_orientation.empty() &&
      tree_definition.trunk_type == "double") ||
      (!stack_orientation.empty() &&
      tree_definition.trunk_type == "double" &&
      !tree_definition.thin_branches)) {
      ....
    } else if ((stack_orientation.empty() &&
      tree_definition.trunk_type == "crossed") ||
      (!stack_orientation.empty() &&
      tree_definition.trunk_type == "crossed" &&
      !tree_definition.thin_branches)) {
      ....
    } if (!stack_orientation.empty()) {                  // <=
  ....
  }
  ....
}

ツリー生成アルゴリズム のelse-ifシーケンスは次のとおりです。真ん中で、次のifブロックは、前のelseの閉じ括弧と同じ行にあります。この前に：おそらく、コードが正しく動作している場合-aは、トランク・ブロックが作成され、その後、葉。または多分彼らは他を逃した。確かに、これは開発者だけが言うことができます。



誤ったメモリ割り当てチェック



V668メモリは「new」演算子を使用して割り当てられたため、「clouds」ポインタをnullに対してテストしても意味がありません。メモリ割り当てエラーの場合、例外が生成されます。 game.cpp 1367

bool Game::createClient(....)
{
  if (m_cache_enable_clouds) {
    clouds = new Clouds(smgr, -1, time(0));
    if (!clouds) {
      *error_message = "Memory allocation error (clouds)";
      errorstream << *error_message << std::endl;
      return false;
    }
  }
}

newがオブジェクトの作成に失敗した 場合、std :: bad_alloc例外がスローされ、try-catchブロックで処理する必要があります。そして、このフォームでチェックすることは無意味です。範囲外の



配列の読み取り



V781'i 'インデックスの値は、使用後にチェックされます。おそらく、プログラムロジックに誤りがあります。irrString.h 572

bool equalsn(const string<T,TAlloc>& other, u32 n) const
{
  u32 i;
  for(i=0; array[i] && other[i] && i < n; ++i) // <=
    if (array[i] != other[i])
      return false;

  // if one (or both) of the strings was smaller then they
  // are only equal if they have the same length
  return (i == n) || (used == other.used);
}

インデックスをチェックする前に配列要素にアクセスするため、エラーが発生する可能性があります。このようにループを書き直す価値があるかもしれません：

for (i=0; i < n; ++i) // <=
  if (!array[i] || !other[i] || array[i] != other[i])
    return false;

その他のエラー



この記事は、Azure DevOpsでのプルリクエストの分析に関するものであり、Minetestプロジェクトのエラーの詳細な概要を提供することを目的としたものではありません。これが私が面白いと思ったコードスニペットのほんの一部です。プロジェクトの作成者は、この記事に従わずにエラーを修正し、PVS-Studioが発行する警告をより徹底的に分析することをお勧めします。

結論

コマンドラインモードの柔軟な構成のおかげで、PVS-Studio分析をさまざまなCI / CDシナリオに組み込むことができます。また、利用可能なリソースを適切に使用することで、生産性が向上します。



プルリクエストチェックモードは、アナライザのEnterpriseエディションでのみ使用できることに注意してください。デモエンタープライズライセンスを取得するには、ダウンロードページでライセンスをリクエストするときにコメントにそれを示してください。ライセンス間の違いについて詳しくは、PVS-Studioの注文ページをご覧ください。

この記事を英語を話す聴衆と共有したい場合は、翻訳リンクを使用してください：AlexeyGovorov。PVS-Studio：セルフホストエージェントを使用してAzureDevOpsでプルリクエストを分析します。