Как тестировать задания для Spring Batch?

1. Введение

В отличие от других приложений на основе Spring, тестирование пакетных заданий связано с некоторыми специфическими проблемами, в основном из-за асинхронного характера выполнения заданий.

В этом руководстве мы собираемся изучить различные альтернативы для тестирования задания Spring Batch .

2. Требуемые зависимости

Мы используем spring-boot-starter-batch , поэтому сначала давайте настроим необходимые зависимости в нашем pom.xml :

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-batch</artifactId>
    <version>2.6.1</version>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <version>2.6.1</version>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.springframework.batch</groupId>
    <artifactId>spring-batch-test</artifactId>
    <version>4.3.0.RELEASE</version>
    <scope>test</scope>
</dependency>

Мы включили spring-boo t-starter-test и spring-batch-test , которые привносят некоторые необходимые вспомогательные методы, прослушиватели и исполнители для тестирования приложений Spring Batch.

3. Определение пакетного задания Spring

Давайте создадим простое приложение, чтобы показать, как Spring Batch решает некоторые задачи тестирования.

В нашем приложении используется двухэтапное задание , которое считывает входной CSV-файл со структурированной информацией о книгах и выводит книги и сведения о книгах.

3.1. Определение шагов работы

Два последующих шага извлекают конкретную информацию из BookRecord и затем сопоставляют ее с Book (шаг 1) и BookDetail (шаг 2):

@Bean
public Step step1(
  ItemReader<BookRecord> csvItemReader, ItemWriter<Book> jsonItemWriter) throws IOException {
    return stepBuilderFactory
      .get("step1")
      .<BookRecord, Book> chunk(3)
      .reader(csvItemReader)
      .processor(bookItemProcessor())
      .writer(jsonItemWriter)
      .build();
}

@Bean
public Step step2(
  ItemReader<BookRecord> csvItemReader, ItemWriter<BookDetails> listItemWriter) {
    return stepBuilderFactory
      .get("step2")
      .<BookRecord, BookDetails> chunk(3)
      .reader(csvItemReader)
      .processor(bookDetailsItemProcessor())
      .writer(listItemWriter)
      .build();
}

3.2. Определение устройств чтения ввода и записи вывода

Давайте теперь настроим средство чтения входных данных CSV-файла с помощью FlatFileItemReader для десериализации структурированной информации о книге в объекты BookRecord :

private static final String[] TOKENS = { 
  "bookname", "bookauthor", "bookformat", "isbn", "publishyear" };

@Bean
@StepScope
public FlatFileItemReader<BookRecord> csvItemReader(
  @Value("#{jobParameters['file.input']}") String input) {
    FlatFileItemReaderBuilder<BookRecord> builder = new FlatFileItemReaderBuilder<>();
    FieldSetMapper<BookRecord> bookRecordFieldSetMapper = new BookRecordFieldSetMapper();
    return builder
      .name("bookRecordItemReader")
      .resource(new FileSystemResource(input))
      .delimited()
      .names(TOKENS)
      .fieldSetMapper(bookRecordFieldSetMapper)
      .build();
}

В этом определении есть пара важных моментов, которые повлияют на то, как мы тестируем.

Прежде всего, мы аннотировали bean- компонент FlatItemReader с помощью @StepScope , и в результате этот объект будет делиться своим временем жизни с StepExecution .

Это также позволяет нам вводить динамические значения во время выполнения, чтобы мы могли передать наш входной файл из JobParameters в строке 4 . Напротив, маркеры, используемые для BookRecordFieldSetMapper , настраиваются во время компиляции.

Затем мы аналогичным образом определяем модуль записи вывода JsonFileItemWriter :

@Bean
@StepScope
public JsonFileItemWriter<Book> jsonItemWriter(
  @Value("#{jobParameters['file.output']}") String output) throws IOException {
    JsonFileItemWriterBuilder<Book> builder = new JsonFileItemWriterBuilder<>();
    JacksonJsonObjectMarshaller<Book> marshaller = new JacksonJsonObjectMarshaller<>();
    return builder
      .name("bookItemWriter")
      .jsonObjectMarshaller(marshaller)
      .resource(new FileSystemResource(output))
      .build();
}

На втором этапе мы используем ListItemWriter , предоставленный Spring Batch , который просто выгружает данные в список в памяти.

3.3. Определение пользовательского JobLauncher

Затем давайте отключим конфигурацию запуска заданий Spring Boot Batch по умолчанию, установив spring.batch.job.enabled=false в нашем application.properties.

Мы настраиваем наш собственный JobLauncher для передачи пользовательского экземпляра JobParameters при запуске задания :

@SpringBootApplication
public class SpringBatchApplication implements CommandLineRunner {

    // autowired jobLauncher and transformBooksRecordsJob

    @Value("${file.input}")
    private String input;

    @Value("${file.output}")
    private String output;

    @Override
    public void run(String... args) throws Exception {
        JobParametersBuilder paramsBuilder = new JobParametersBuilder();
        paramsBuilder.addString("file.input", input);
        paramsBuilder.addString("file.output", output);
        jobLauncher.run(transformBooksRecordsJob, paramsBuilder.toJobParameters());
   }

   // other methods (main etc.)
}

4. Тестирование пакетного задания Spring

Зависимость spring-batch-test предоставляет набор полезных вспомогательных методов и слушателей, которые можно использовать для настройки контекста Spring Batch во время тестирования.

Давайте создадим базовую структуру для нашего теста:

@RunWith(SpringRunner.class)
@SpringBatchTest
@EnableAutoConfiguration
@ContextConfiguration(classes = { SpringBatchConfiguration.class })
@TestExecutionListeners({ DependencyInjectionTestExecutionListener.class, 
  DirtiesContextTestExecutionListener.class})
@DirtiesContext(classMode = ClassMode.AFTER_CLASS)
public class SpringBatchIntegrationTest {

    // other test constants
 
    @Autowired
    private JobLauncherTestUtils jobLauncherTestUtils;
  
    @Autowired
    private JobRepositoryTestUtils jobRepositoryTestUtils;
  
    @After
    public void cleanUp() {
        jobRepositoryTestUtils.removeJobExecutions();
    }

    private JobParameters defaultJobParameters() {
        JobParametersBuilder paramsBuilder = new JobParametersBuilder();
        paramsBuilder.addString("file.input", TEST_INPUT);
        paramsBuilder.addString("file.output", TEST_OUTPUT);
        return paramsBuilder.toJobParameters();
   }

Аннотация @SpringBatchTest предоставляет вспомогательные классы JobLauncherTestUtils и JobRepositoryTestUtils . Мы используем их для запуска Job и Step в наших тестах.

Наше приложение использует автоконфигурацию Spring Boot , которая включает по умолчанию JobRepository в памяти . В результате выполнение нескольких тестов в одном классе требует этапа очистки после каждого запуска теста .

Наконец, если мы хотим запустить несколько тестов из нескольких тестовых классов, нам нужно пометить наш контекст как грязный . Это необходимо, чтобы избежать конфликтов нескольких экземпляров JobRepository , использующих один и тот же источник данных.

4.1. Тестирование сквозного задания

Первое, что мы протестируем, — это полное сквозное задание с небольшим входным набором данных.

Затем мы можем сравнить результаты с ожидаемым результатом теста:

@Test
public void givenReferenceOutput_whenJobExecuted_thenSuccess() throws Exception {
    // given
    FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT);
    FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT);

    // when
    JobExecution jobExecution = jobLauncherTestUtils.launchJob(defaultJobParameters());
    JobInstance actualJobInstance = jobExecution.getJobInstance();
    ExitStatus actualJobExitStatus = jobExecution.getExitStatus();
  
    // then
    assertThat(actualJobInstance.getJobName(), is("transformBooksRecords"));
    assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED"));
    AssertFile.assertFileEquals(expectedResult, actualResult);
}

Spring Batch Test предоставляет полезный метод сравнения файлов для проверки выходных данных с помощью класса AssertFile .

4.2. Тестирование отдельных шагов

Иногда довольно дорого тестировать всю работу от начала до конца, поэтому вместо этого имеет смысл протестировать отдельные шаги :

@Test
public void givenReferenceOutput_whenStep1Executed_thenSuccess() throws Exception {
    // given
    FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT);
    FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT);

    // when
    JobExecution jobExecution = jobLauncherTestUtils.launchStep(
      "step1", defaultJobParameters()); 
    Collection actualStepExecutions = jobExecution.getStepExecutions();
    ExitStatus actualJobExitStatus = jobExecution.getExitStatus();

    // then
    assertThat(actualStepExecutions.size(), is(1));
    assertThat(actualJobExitStatus.getExitCode(), is("COMPLETED"));
    AssertFile.assertFileEquals(expectedResult, actualResult);
}

@Test
public void whenStep2Executed_thenSuccess() {
    // when
    JobExecution jobExecution = jobLauncherTestUtils.launchStep(
      "step2", defaultJobParameters());
    Collection actualStepExecutions = jobExecution.getStepExecutions();
    ExitStatus actualExitStatus = jobExecution.getExitStatus();

    // then
    assertThat(actualStepExecutions.size(), is(1));
    assertThat(actualExitStatus.getExitCode(), is("COMPLETED"));
    actualStepExecutions.forEach(stepExecution -> {
        assertThat(stepExecution.getWriteCount(), is(8));
    });
}

Обратите внимание, что мы используем метод launchStep для запуска определенных шагов .

Помните, что мы также разработали наши ItemReader и ItemWriter для использования динамических значений во время выполнения , что означает, что мы можем передавать наши параметры ввода-вывода в JobExecution (строки 9 и 23).

Для первого шага теста мы сравниваем фактический результат с ожидаемым.

С другой стороны, во втором тесте мы проверяем StepExecution для ожидаемых письменных элементов .

4.3. Тестирование компонентов с пошаговой областью действия

Давайте теперь протестируем FlatFileItemReader . Напомним, что мы представили его как bean-компонент @StepScope , поэтому мы хотим использовать для этого специальную поддержку Spring Batch :

// previously autowired itemReader

@Test
public void givenMockedStep_whenReaderCalled_thenSuccess() throws Exception {
    // given
    StepExecution stepExecution = MetaDataInstanceFactory
      .createStepExecution(defaultJobParameters());

    // when
    StepScopeTestUtils.doInStepScope(stepExecution, () -> {
        BookRecord bookRecord;
        itemReader.open(stepExecution.getExecutionContext());
        while ((bookRecord = itemReader.read()) != null) {

            // then
            assertThat(bookRecord.getBookName(), is("Foundation"));
            assertThat(bookRecord.getBookAuthor(), is("Asimov I."));
            assertThat(bookRecord.getBookISBN(), is("ISBN 12839"));
            assertThat(bookRecord.getBookFormat(), is("hardcover"));
            assertThat(bookRecord.getPublishingYear(), is("2018"));
        }
        itemReader.close();
        return null;
    });
}

MetadataInstanceFactory создает пользовательский StepExecution , необходимый для внедрения нашего ItemReader с пошаговой областью действия.

Из-за этого мы можем проверить поведение читалки с помощью метода doInTestScope .

Затем давайте протестируем JsonFileItemWriter и проверим его вывод:

@Test
public void givenMockedStep_whenWriterCalled_thenSuccess() throws Exception {
    // given
    FileSystemResource expectedResult = new FileSystemResource(EXPECTED_OUTPUT_ONE);
    FileSystemResource actualResult = new FileSystemResource(TEST_OUTPUT);
    Book demoBook = new Book();
    demoBook.setAuthor("Grisham J.");
    demoBook.setName("The Firm");
    StepExecution stepExecution = MetaDataInstanceFactory
      .createStepExecution(defaultJobParameters());

    // when
    StepScopeTestUtils.doInStepScope(stepExecution, () -> {
        jsonItemWriter.open(stepExecution.getExecutionContext());
        jsonItemWriter.write(Arrays.asList(demoBook));
        jsonItemWriter.close();
        return null;
    });

    // then
    AssertFile.assertFileEquals(expectedResult, actualResult);
}

В отличие от предыдущих тестов, теперь мы полностью контролируем наши тестовые объекты . В результате мы отвечаем за открытие и закрытие потоков ввода-вывода .

5. Вывод

В этом руководстве мы рассмотрели различные подходы к тестированию задания Spring Batch.

Сквозное тестирование проверяет полное выполнение задания. Тестирование отдельных шагов может помочь в сложных сценариях.

Наконец, когда дело доходит до компонентов с пошаговой областью действия, мы можем использовать набор вспомогательных методов, предоставляемых spring-batch-test. Они помогут нам заглушить и имитировать объекты домена Spring Batch.

Как обычно, мы можем изучить всю кодовую базу на GitHub .