Когда производитель отправляет сообщение в Apache Kafka, он добавляет его в файл журнала и сохраняет в течение настроенного периода времени.
В этом руководстве мы научимся настраивать свойства хранения сообщений на основе времени для тем Kafka .
При заданных свойствах срока хранения сообщения имеют TTL (время жизни) . По истечении срока действия сообщения помечаются для удаления, тем самым освобождая место на диске.
Хотя JSON и XML являются широко популярными форматами передачи данных, когда речь идет о REST API, они не единственные доступные варианты.
Существует много других форматов с различной степенью сериализации и размером сериализованных данных.
В этой статье мы рассмотрим, как настроить механизм Spring REST для использования двоичных форматов данных, что мы проиллюстрируем с помощью Kryo.
Кроме того, мы показываем, как поддерживать несколько форматов данных, добавляя поддержку буферов протокола Google.
HttpMessageConverterВ этой статье мы рассмотрим платформу Mantis, разработанную Netflix.
Мы рассмотрим основные концепции Mantis, создав, запустив и исследуя задание потоковой обработки.
** Mantis — это платформа для создания приложений (задания) для потоковой обработки . Он обеспечивает простой способ управления развертыванием и жизненным циклом заданий. Кроме того, это облегчает распределение ресурсов, обнаружение и связь между этими заданиями.**
В этом руководстве мы рассмотрим основные концепции разделения ответственности командных запросов (CQRS) и шаблонов проектирования Event Sourcing.
Хотя шаблоны часто называют взаимодополняющими, мы попытаемся понять их по отдельности и, наконец, посмотрим, как они дополняют друг друга. Существует несколько инструментов и фреймворков, таких как Axon , которые помогают использовать эти шаблоны, но мы создадим простое приложение на Java, чтобы понять основы.
Сначала мы поймем эти шаблоны теоретически, прежде чем пытаться их реализовать. Кроме того, поскольку они достаточно хорошо представляют собой отдельные паттерны, мы постараемся понять их, не смешивая их.
Структура данных HyperLogLog (HLL) — это вероятностная структура данных, используемая для оценки кардинальности набора данных .
Предположим, что у нас есть миллионы пользователей, и мы хотим подсчитать количество отдельных посещений нашей веб-страницы. Наивной реализацией было бы хранить каждый уникальный идентификатор пользователя в наборе, и тогда размер набора был бы нашей кардинальностью.
Когда мы имеем дело с очень большими объемами данных, подсчет кардинальности таким образом будет очень неэффективным, поскольку набор данных будет занимать много памяти.
Но если нас устраивает оценка в пределах нескольких процентов и нам не нужно точное количество уникальных посещений, то мы можем использовать HLL , так как он был разработан именно для такого варианта использования — оценки количества миллионов или даже миллиардов. различных значений .
Типичным вариантом использования при работе с JSON является выполнение преобразования из одной модели в другую. Например, нам может понадобиться разобрать сложный, плотно вложенный граф объектов в более простую модель для использования в другой области.
В этой быстрой статье мы рассмотрим, как отображать вложенные значения с помощью Jackson , чтобы сгладить сложную структуру данных. Мы будем десериализовать JSON тремя разными способами:
@JsonPropertyJsonNodeJsonDeserializerВ этой статье мы рассмотрим API потоковой передачи Jackson. Он поддерживает как чтение, так и запись, и с его помощью мы можем писать высокопроизводительные и быстрые парсеры JSON.
С другой стороны, его немного сложно использовать — каждую деталь данных JSON необходимо явно обрабатывать в коде.
Во- первых, нам нужно добавить зависимость Maven к jackson-core :
В этой статье мы узнаем, как использовать собственный маппер с библиотекой MapStruct .
Библиотека MapStruct используется для отображения между типами компонентов Java . Используя пользовательский сопоставитель с MapStruct , мы можем настроить методы сопоставления по умолчанию.
Давайте добавим библиотеку mapstruct в наш Maven pom.xml :
Обработка графов полезна для многих приложений от социальных сетей до рекламы. В сценарии с большими данными нам нужен инструмент для распределения этой вычислительной нагрузки.
В этом руководстве мы загрузим и изучим возможности графа с помощью Apache Spark в Java. Чтобы избежать сложных структур, мы будем использовать простой и высокоуровневый API графа Apache Spark: API GraphFrames.
Прежде всего, давайте определим граф и его компоненты. Граф — это структура данных, имеющая ребра и вершины. Ребра несут информацию , которая представляет отношения между вершинами.