Apache Kafka — это распределенная и отказоустойчивая система обработки потоков.
В этом руководстве мы рассмотрим поддержку Spring для Kafka и уровень абстракции, который он обеспечивает по сравнению с собственными клиентскими API Kafka Java.
Spring Kafka предлагает простую и типичную модель программирования шаблонов Spring с KafkaTemplate и управляемыми сообщениями POJO через аннотацию @KafkaListener .
Когда производитель отправляет сообщение в Apache Kafka, он добавляет его в файл журнала и сохраняет в течение настроенного периода времени.
В этом руководстве мы научимся настраивать свойства хранения сообщений на основе времени для тем Kafka .
При заданных свойствах срока хранения сообщения имеют TTL (время жизни) . По истечении срока действия сообщения помечаются для удаления, тем самым освобождая место на диске.
В этом руководстве мы углубимся в область моделирования данных для управляемой событиями архитектуры с использованием Apache Kafka .
Кластер Kafka состоит из нескольких брокеров Kafka, зарегистрированных в кластере Zookeeper. Для простоты мы будем использовать готовые образы Docker и конфигурации для составления докеров, опубликованные Confluent .
Во-первых, давайте загрузим docker-compose.yml для кластера Kafka с 3 узлами:
В этом кратком руководстве мы узнаем, как составить список групп потребителей Kafka, а также просмотреть их детали.
Для выполнения примеров из этого руководства нам понадобится кластер Kafka для отправки запросов. Это может быть полноценный кластер Kafka, работающий в производственной среде, или кластер Kafka с одним экземпляром , предназначенный для тестирования .
Для простоты предположим, что у нас есть кластер с одним узлом, который прослушивает порт 9092, а экземпляр Zookeeper прослушивает порт 2181 на локальном хосте.