バルカンを搭載する必要がある理由：Spock Framework Review

テストの自動化は、IT製品の品質を常に監視し、長期的にコストを削減するのに役立ちます。自動化にはさまざまなアプローチがあります。たとえば、Behavior Driven Development（BDD）、Behaviorによる開発などです。



このアプローチに関連するのは、実行スクリプトと各構成の実装を分離するキュウリ、ロボットフレームワーク、動作などです。この分離は、読み取り可能なスクリプトの作成に役立ちますが、時間がかかるため、実装を作成するときに実用的でない場合があります。



適切なツールを使用して、BDDでの作業を簡素化する方法を見てみましょう。たとえば、BDDの原則の美しさ、利便性、jUnitの機能を組み合わせたSpockフレームワークなどです。

スポックフレームワーク

Spockは、JavaおよびGroovyアプリケーションのテストおよび仕様フレームワークです。 JUnitプラットフォームをベースとして使用することにより、このフレームワークは、すべての一般的なIDE（特に、IntelliJ IDEA）、さまざまなビルドツール（Ant、Gradle、Maven）、および継続的統合（CI）サーバーと互換性があります。フレームワークの開発者の書き込み、スポックは「触発されてのJUnit、RSpecの、jMock、Mockito、Groovyの、スカラ座、ヴァルカンと他の魅力的な生命体。」







この記事では、利用可能な最新バージョンであるSpock Framework2.0について説明します。その機能：JUnit5、Java 8以降、groovy 2.5を使用する機能（バージョン3.0のアセンブリもあります）。SpockはApache2.0でライセンスされており、応答性の高いユーザーコミュニティがあります。フレームワークの開発者は、テストの実行を微調整できる多くの拡張機能がすでに含まれているSpockの改良と開発を続けています。たとえば、発表された最も興味深い改善領域の1つは、並列テスト実行の追加です。

Groovy

Groovyは、Python、Ruby、およびSmalltalk機能を備えたアドオンとしてJavaプラットフォーム用に開発されたオブジェクト指向のプログラミング言語です。Groovyは、JVMバイトコードへの動的コンパイルを伴うJavaに似た構文を使用し、他のJavaコードおよびライブラリと直接連携します。この言語は、任意のJavaプロジェクトで、またはスクリプト言語として使用できます。



groovyの機能は次のとおりです。静的型付けと動的型付けの両方。リスト、配列、および正規表現の組み込み構文。操作の過負荷。ただし、Groovyのクロージャは、Javaよりずっと前に登場しました。



Groovyは、オブジェクトの入力を気にせずにpythonのような構文シュガーを使用できる迅速なテスト開発に最適です。

SpockFrameworkの機能

フレームワークの重要な機能の1つは、開発者がBDDアプローチの原則を使用して、期待されるシステム特性で仕様を作成できることです。このアプローチにより、主題と組織の複雑性が高いソフトウェア製品のビジネス指向の機能テストを作成できます。 仕様は、spock.lang.Specificationを拡張するグルーヴィーなクラスです。

class MyFirstSpecification extends Specification {
  // fields
  // fixture methods
  // feature methods
  // helper methods
}

BOMには、BOMクラスごとにトリガーされるさまざまな補助フィールドを含めることができます。



@Sharedアノテーションを使用すると、仕様から継承されたクラスにフィールドへのアクセスを許可できます。

abstract class PagesBaseSpec extends Specification {

    @Shared
    protected WebDriver driver


    def setup() {
        this.driver = DriverFactory.createDriver()
        driver.get("www.anywebservice.ru")
    }

    void cleanup() {
        driver.quit()
    }

}

BOMクラスのカスタマイズメソッド：

def setupSpec() {} //     feature    
def setup() {}     //    feature 
def cleanup() {}   //    feature 
def cleanupSpec() {} //     feature   

次の表は、Spockフレームワークのどのキーワードとメソッドに対応するJUnitがあるかを示しています。

生地ブロック

Spock Frameworkでは、各テストフェーズは個別のコードブロックに分割されます（例については、ドキュメントを参照してください）。







コードのブロックはラベルで始まり、次のコードのブロックの開始またはテストの終了で終わります。指定された



ブロックは、初期テスト条件の設定を担当します。 ブロックする場合、その後、常に使用一緒に。whenブロックにはシステムの刺激、刺激が含まれ、thenブロックにはシステムの応答が含まれます。when-then句を単一の式 に短縮できる場合は、単一のexpectブロックを使用できます。







..。次の例は、公式のSpockフレームワークドキュメントから使用されます。

when:
def x = Math.max(1, 2)
 
then:
x == 2

または1つの式

expect:
Math.max(1, 2) == 2

クリーンアップ ブロックは、テストの次の反復の前にリソースを解放するために使用されます。

given:
def file = new File("/some/path")
file.createNewFile()
 
// ...
 
cleanup:
file.delete()

句がされる（データ駆動型テスト）をテストするためのデータ転送に使用されます。

def "computing the maximum of two numbers"() {
  expect:
  Math.max(a, b) == c
 
  where:
  a << [5, 3]
  b << [1, 9]
  c << [5, 9]
}

入力データ転送の種類については、以下で説明します。

SpockFrameworkでのサンプルテストの実装

次に、セレンを使用したシステムでのユーザー認証についてWebページをテストする実装へのアプローチを検討します。

import helpers.DriverFactory
import org.openqa.selenium.WebDriver
import spock.lang.Shared
import spock.lang.Specification

abstract class PagesBaseSpec extends Specification {

    @Shared
    protected WebDriver driver
    
    def setup() {
        this.driver = DriverFactory.createDriver()
        driver.get("www.anywebservice.ru")
    }

    void cleanup() {
        driver.quit()
    }
}

ここに、ページ仕様の基本クラスが表示されます。クラスの開始時に、必要なクラスのインポートが表示されます。以下は、継承されたクラスがWebドライバーにアクセスできるようにする共有アノテーションです。setup（）ブロックには、Webドライバーを初期化してWebページを開くためのコードが表示されます。cleanup（）ブロックには、Webドライバーを終了するためのコードが含まれています。



次に、ユーザーログインページの仕様の概要に移りましょう。

import pages.LoginPage
import spock.lang.Issue

class LoginPageTest extends PagesBaseSpec {

    @Issue("QAA-1")
    def "QAA-1: Authorization with correct login and password"() {

        given: "Login page"
        def loginPage = new LoginPage(driver)

        and: "Correct login and password"
        def adminLogin = "adminLogin"
        def adminPassword = "adminPassword"

        when: "Log in with correct login and password"
        loginPage.login(adminLogin, adminPassword)

        then: "Authorized and moved to main page"
        driver.currentUrl == "www.anywebservice.ru/main"
    }
}

承認ページの仕様は、ベースページの仕様を継承しています。Issueアノテーションは、外部追跡システム（Jiraなど）でのテストのIDを指定します。次の行に、テストの名前が表示されます。これは、慣例により文字列リテラルによって設定されます。これにより、テストの名前に任意の文字（ロシア語を含む）を使用できます。指定されたブロックで、認証ページクラスのページオブジェクトが初期化され、システムでの認証用の正しいログインとパスワードが取得されます。whenブロックでは、許可アクションが実行されます。thenブロックは、予期されるアクション、つまり、承認の成功とシステムのメインページへのリダイレクトをチェックするために使用されます。



この仕様の例では、スポックでBDDパラダイムを使用することの最も重要な利点がわかります。システム仕様は同時にそのドキュメントです。各テストは特定の動作を記述し、テストの各ステップには独自の記述があり、開発者だけでなく顧客にとっても理解できます。ブロックの説明は、テストのソースコードだけでなく、診断メッセージやテスト操作に関するレポートにも表示できます。



フレームワークは、テスト用にさまざまなログインとパスワードを転送する機能を提供します（テストのパラメーター化）。

SpockFrameworkでのデータ駆動型テスト

データ駆動型テスト=テーブル駆動型テスト=パラメータ化されたテスト

複数のパラメーターを使用してシナリオをテストするには、さまざまなオプションを使用してそれらを渡すことができます。

データテーブル

公式のフレームワークドキュメントからいくつかの例を見てみましょう。

class MathSpec extends Specification {
  def "maximum of two numbers"() {
    expect:
    Math.max(a, b) == c
 
    where:
    a | b | c
    1 | 3 | 3
    7 | 4 | 7
    0 | 0 | 0
  }
}

表の各行は、個別のテスト反復です。また、テーブルは1つの列で表すことができます。

where:
a | _
1 | _
7 | _
0 | _

_BOMクラスのスタブオブジェクトです。



パラメータをより見やすくするために、上記の例を次の形式に書き直すことができます。

def "maximum of two numbers"() {
    expect:
    Math.max(a, b) == c
 
    where:
    a | b || c
    1 | 3 || 3
    7 | 4 || 7
    0 | 0 || 0
}

これで、a、bが入力で、cが期待値であることがわかります。

データパイプ

場合によっては、デザインテーブルの使用が非常に面倒になります。このような場合、次のタイプのパラメーター受け渡しを使用できます。

...
where:
a << [1, 7, 0]
b << [3, 4, 0]
c << [3, 7, 0]

ここで、左シフト<<はオーバーロードされたgroovy演算子であり、リストにアイテムを追加する役割を果たします。



テストの繰り返しごとに、リストの次のデータが変数ごとに要求されます



。1回の繰り返し：a = 1、b = 3、c = 3;

2回目の繰り返し：a = 7、b = 4、c = 7;

3回の繰り返し：a = 0、b = 0、c = 0。



さらに、入力データは明示的に送信できるだけでなく、必要に応じてさまざまなソースから要求することもできます。たとえば、データベースから：

@Shared sql = Sql.newInstance("jdbc:h2:mem:", "org.h2.Driver")
 
def "maximum of two numbers"() {
  expect:
  Math.max(a, b) == c
 
  where:
  [a, b, c] << sql.rows("select a, b, c from maxdata")
}

データ変数の割り当て

...
where:
a = 3
b = Math.random() * 100
c = a > b ? a : b

ここでは、動的に計算された変数cがテストデータに表示されています。

さまざまなタイプのパラメータ転送の組み合わせ

...
where:
a | _
3 | _
7 | _
0 | _
 
b << [5, 0, 0]
 
c = a > b ? a : b

必要に応じて、一度に複数の種類の転送を使用することを禁止する人は誰もいません。

SpockFrameworkでパラメータ化されたテストを実装する例

@Issue("QAA-1-parametrized")
def "QAA-1-parametrized: Authorization with correct login and password"() {

   given: "Login page"
   def loginPage = new LoginPage(driver)

   when: "Log in with correct login and password"
   loginPage.login(login, password)

   then: "Authorized and moved to main page"
   driver.currentUrl =="www.anywebservice.ru/main"

   where: "Check for different logins and passwords"
   login            | password
   "adminLogin"     | "adminPassword"
   "moderatorLogin" | "moderatorPassword"
   "userLogin"      | "userPassword"
}

ここでは、構成ファイルに保存されているパラメーター（ログインとパスワード）のキーが設定されている、すでにおなじみのwhereブロックが表示されます。



使用される仕様の実装の特殊性により、Webドライバーの構成サイクルとその終了（したがってブラウザーの終了）がパラメーターごとに実行され、テストの実行時間に悪影響を及ぼします。仕様を完成させ、テストランタイムを改善することをお勧めします。

仕様を変更したパラメータ化されたテストの実装例

改訂前

abstract class PagesBaseSpec extends Specification {

    @Shared
    protected WebDriver driver


    def setup() {
        this.driver = DriverFactory.createDriver()
        driver.get("www.anywebservice.ru")
    }

    void cleanup() {
        driver.quit()
    }

}

改訂後

import helpers.DriverFactory
import org.openqa.selenium.WebDriver
import spock.lang.Shared
import spock.lang.Specification

abstract class PagesNoRestartBaseSpec extends Specification {

    @Shared
    protected WebDriver driver

    def setupSpec() {
        this.driver = DriverFactory.createDriver()
    }

    def setup() {
        this.driver.get("www.anywebservice.ru")
    }

    def cleanup() {
        this.driver.get("www.anywebservice.ru/logout")
        this.driver.manage().deleteAllCookies();
    }

    void cleanupSpec() {
        this.driver.quit()
    }
}

更新された仕様では、Webドライバーを作成する手順は、仕様クラスを設定するときにのみ実行され、仕様のテストの実行が終了した後にのみブラウザーを閉じることがわかります。setup（）メソッドでは、サービスのWebアドレスを取得してブラウザーで開くための同じコードが表示され、cleanup（）メソッドでは、www.anywebservice.ru / logoutにアクセスして、現在のユーザーのサービスの操作を終了し、Cookieを削除します。 （現在のWebサービスをテストするには、この手順で「一意の」起動をシミュレートできます）。テストコード自体は変更されていません。



その結果、簡単な改善のおかげで、最初の実装と比較して、自動テストの操作時間が少なくとも2分の1に短縮されました。

testNG、pytest、pytest-bddのテストの比較

まず、Javaプログラミング言語でのtestNGテストフレームワークでのテストの実装について説明します。これは、Spock Frameworkと同様に、jUnitフレームワークに触発され、データ駆動型テストをサポートします。

package javaTests;

import org.testng.Assert;
import org.testng.annotations.*;
import pages.LoginPage;


public class LoginPageTest extends BaseTest {


    @BeforeClass
    public final void setup() {
        createDriver();
        driver.get("www.anywebservice.ru");
    }

    @DataProvider(name = "userParameters")
    public final Object[][] getUserData(){
        return new Object[][] {
                {"adminLogin", "adminPassword"},
                {"moderatorLogin", "moderatorPassword"},
                {"userLogin", "userPassword"}
        };
    }

    @Test(description = "QAA-1-1: Authorization with correct login and password",
            dataProvider = "userParameters")
    public final void authorizationWithCorrectLoginAndPassword(String login, String password){
        //Login page
        LoginPage loginPage = new LoginPage(driver);

        //Log in with correct login and password
        loginPage.login(login, password);

        //Authorized and moved to main page
        Assert.assertEquals("www.anywebservice.ru/main", driver.getCurrentUrl());
    }

    @AfterMethod
    public final void cleanup() {
        driver.get("www.anywebservice.ru/logout");
        driver.manage().deleteAllCookies();
    }

    @AfterClass
    public final void tearDown() {
        driver.quit();
    }
}

ここでは、必要なすべてのsetup（）、cleanup（）メソッドを含むテストクラス、および@DataProviderアノテーションを使用した追加のgetUserData（）メソッドの形式でのテストのパラメーター化を確認できます。これは、Spockを使用したテストで調べた後は少し面倒に見えます。フレームワーク。また、テストで何が起こっているのかを理解するために、手順の説明と同様のコメントが残されました。



testNGは、Spock Frameworkとは異なり、並列テスト実行をサポートしていることに注意してください。







次に、Pythonプログラミング言語でpytestテストフレームワークを使用したテストに移りましょう。

import pytest
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait

from PageObjects.LoginPage import LoginPage


class TestLogin(object):

    @pytest.mark.parametrize("login,password", [
        pytest.param(("adminLogin", "adminPassword"), id='admin'),
        pytest.param(("moderatorLogin", "moderatorPassword"), id='moderator'),
        pytest.param(("userLogin", "userPassword"), id='user')
    ])
    def test_authorization_with_correct_login_and_password(self, login, password, driver, test_cleanup):
        # Login page
        login_page = LoginPage(driver)
        # Log in with correct login and password
        login_page.login(login, password)

        # Authorized and moved to main page
        assert expected_conditions.url_to_be("www.anywebservice.ru/main")
 
    @pytest.fixture()
    def test_cleanup(self, driver):
        yield "test"
        driver.get("www.anywebservice.ru/logout")
        driver.delete_all_cookies()

ここでは、testNGの@DataProviderと同様に、データ駆動型テストのサポートも別個の構成として表示されます。Webドライバーを構成する方法は、ドライバーフィクスチャに「非表示」になっています。動的型付けとpytestフィクスチャのおかげで、このテストのコードはJavaよりもきれいに見えます。







次に、pytest-bddプラグインを使用したテストコードの概要に移りましょう。これにより、Gherkin機能ファイルの形式でテストを記述できます（純粋なBDDアプローチ）。



login.feature

Feature: Login page
  A authorization

  Scenario: Authorizations with different users
    Given Login page
    When Log in with correct login and password
    Then Authorized and moved to main page

test_login.py

import pytest
from pytest_bdd import scenario, given, when, then
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait

from PageObjects.LoginPage import LoginPage


@pytest.mark.parametrize("login,password", [
    pytest.param(("adminLogin", "adminPassword"), id='admin'),
    pytest.param(("moderatorLogin", "moderatorPassword"), id='moderator'),
    pytest.param(("userLogin", "userPassword"), id='user')
])
@scenario('login.feature', 'Authorizations with different users')
def test_login(login, password):
    pass


@given('Login page')
def login_page(driver):
    return LoginPage(driver)


@when('Log in with correct login and password')
def login_with_correct_login_and_password(login_page, login, password):
    login_page_object = login_page
    login_page_object.login(login, password)

@then('Authorized and moved to main page')
def authorized_and_moved_to_main_page(driver, login):
    assert expected_conditions.url_to_be("www.anywebservice.ru/main")

利点の1つは、テストを並行して実行するなど、さまざまな状況に対応する多くのプラグインを備えたpytestフレームワークであるということです。欠点は、純粋なBDDアプローチ自体であり、開発者を独自の特性で常に制限します。Spock Frameworkを使用すると、PyTest + pytest-bddバンドルと比較して、より簡潔で設計が容易なコードを記述できます。

結論

この記事では、Spockフレームワークを使用してBDDの操作を簡素化する方法について説明しました。要約すると、私たちの意見では、他のいくつかの一般的なテストフレームワークと比較したSpockの主な長所と短所を簡単に強調しましょう。



長所：

• 純粋なBDDアプローチの代わりにBDD原則を使用すると、テストを作成する際の柔軟性が高まります。
• 書面によるテスト仕様は、システムのドキュメントでもあります。
• .
• groovy ( , , closures ).

:

• groovy. , , IDE , . Intellij IDEA, , , , .
• groovy JVM -. , groovy, , . java, groovy .
• たとえば、拡張機能のセットはtestNGほど広範囲ではありません。その結果、テストの並列実行はありません。この機能を追加する計画がありますが、それらの実装のタイミングは不明です。

最終的に、Spock Frameworkは、主題と組織が非常に複雑なソフトウェア製品のビジネスシナリオを自動化するという複雑で一般的な問題を解決するのに適しているため、間違いなく注目に値します。



他に何を読むことができますか：

• KotlinプロジェクトでのSpockの使用の詳細
• Spockフレームワークの機能
• 外部依存関係を置き換える（モックを作成する）ためのフレームワークの可能性
• Junit5とSpock1.3の比較