150 записей с тегом "Данные"

1. Обзор​

Это вводная статья о Hazelcast, в которой мы увидим, как создать элемент кластера, распределенную карту для обмена данными между узлами кластера и создать Java-клиент для подключения и запроса данных в кластере.

2. Что такое Hazelcast?​

Hazelcast — это распределенная платформа In-Memory Data Grid для Java. Архитектура поддерживает высокую масштабируемость и распределение данных в кластерной среде. Он поддерживает автоматическое обнаружение узлов и интеллектуальную синхронизацию.

Hazelcast доступен в различных редакциях . Чтобы увидеть функции для всех выпусков Hazelcast, мы можем обратиться к следующей ссылке . В этом уроке мы будем использовать версию с открытым исходным кодом.

1. Обзор​

Jsoup — это библиотека Java с открытым исходным кодом, используемая в основном для извлечения данных из HTML. Он также позволяет вам манипулировать и выводить HTML. Он имеет постоянную линию разработки, отличную документацию и удобный и гибкий API. Jsoup также можно использовать для анализа и построения XML.

В этом уроке мы будем использовать блог Spring , чтобы проиллюстрировать упражнение по очистке, демонстрирующее несколько функций jsoup:

• Загрузка: извлечение и разбор HTML в документ
• Фильтрация: выбор нужных данных в Elements и их обход
• Извлечение: получение атрибутов, текста и HTML узлов
• Модификация: добавление/редактирование/удаление узлов и редактирование их атрибутов

2. Зависимость от Maven​

1. Введение​

Создание больших приложений Java, состоящих из нескольких уровней, требует использования нескольких моделей, таких как модель сохраняемости, модель предметной области или так называемые DTO. Использование нескольких моделей для разных уровней приложения потребует от нас предоставления способа отображения между bean-компонентами.

Выполнение этого вручную может быстро создать много стандартного кода и занять много времени. К счастью для нас, для Java существует несколько фреймворков отображения объектов.

В этом уроке мы собираемся сравнить производительность самых популярных фреймворков для сопоставления Java.

2. Картографические рамки​

1. Обзор​

В этом руководстве мы познакомимся с Apache Beam и рассмотрим его основные концепции.

Мы начнем с демонстрации варианта использования и преимуществ использования Apache Beam, а затем рассмотрим основные понятия и терминологию. После этого мы рассмотрим простой пример, иллюстрирующий все важные аспекты Apache Beam.

2. Что такое Apache Beam?​

Apache Beam (Batch + strEAM) — это унифицированная модель программирования для заданий пакетной и потоковой обработки данных. Он предоставляет комплект для разработки программного обеспечения для определения и построения конвейеров обработки данных, а также бегунов для их выполнения.

1. Введение​

gRPC — это высокопроизводительная среда RPC с открытым исходным кодом, первоначально разработанная Google. Это помогает избавиться от стандартного кода и помогает в подключении многоязычных сервисов в центрах обработки данных и между ними.

2. Обзор​

Платформа основана на клиент-серверной модели удаленных вызовов процедур. Клиентское приложение может напрямую вызывать методы серверного приложения, как если бы оно было локальным объектом.

В этой статье будут использованы следующие шаги для создания типичного клиент-серверного приложения с использованием gRPC:

1. Обзор​

В этой статье мы представим BookKeeper — сервис, реализующий распределенную отказоустойчивую систему хранения записей .

2. Что такое Бухгалтер ?​

BookKeeper изначально был разработан Yahoo как подпроект ZooKeeper и в 2015 году стал проектом высшего уровня. По своей сути BookKeeper стремится быть надежной и высокопроизводительной системой, которая хранит последовательности записей журнала (также известных как записи ) в структурах данных . называется Леджерс .

Важной особенностью леджеров является то, что они неизменны и доступны только для добавления . Это делает BookKeeper хорошим кандидатом для определенных приложений, таких как системы распределенного ведения журналов, приложения для обмена сообщениями Pub-Sub и потоковая обработка в реальном времени.

1. Обзор​

В этой быстрой статье мы рассмотрим более продвинутый вариант использования Джексона — работу с Картами , которые содержат нулевые значения или нулевые ключи .

2. Игнорировать нулевые значения на карте​

У Джексона есть простой, но полезный способ глобального управления тем, что происходит с нулевыми значениями, когда карта сериализуется:

ObjectMapper mapper = new ObjectMapper();
mapper.setSerializationInclusion(Include.NON_NULL);

1. Введение​

В этом руководстве мы продемонстрируем Apache Crunch на примере приложения для обработки данных. Мы запустим это приложение, используя фреймворк MapReduce .

Мы начнем с краткого рассмотрения некоторых концепций Apache Crunch. Затем мы перейдем к примеру приложения. В этом приложении мы будем обрабатывать текст:

• Сначала прочитаем строки из текстового файла
• Позже мы разделим их на слова и удалим некоторые общие слова.
• Then, we'll group the remaining words to get a list of unique words and their counts
• Finally, we'll write this list to a text file

2. What Is Crunch?​

1. Обзор​

Сериализация данных — это метод преобразования данных в двоичный или текстовый формат. Для этой цели существует несколько систем. Apache Avro — одна из таких систем сериализации данных.

Avro — это независимая от языка библиотека сериализации данных на основе схемы . Он использует схему для выполнения сериализации и десериализации. Кроме того, Avro использует формат JSON для указания структуры данных, что делает его более мощным.

В этом руководстве мы больше узнаем о настройке Avro, API Java для выполнения сериализации и сравнении Avro с другими системами сериализации данных.

Мы сосредоточимся в первую очередь на создании схемы, которая является основой всей системы.

2. Апач Авро​

1. Обзор​

В этом руководстве мы познакомимся с JMapper — быстрой и простой в использовании картографической структурой.

Мы обсудим различные способы настройки JMapper, способы выполнения пользовательских преобразований, а также реляционное сопоставление.

2. Конфигурация Maven​

Во-первых, нам нужно добавить зависимость JMapper к нашему pom.xml :