Эксплуатация Arenadata Streaming

Профиль аудитории:

• системные администраторы;
• специалисты по информационной безопасности;
• разработчики в области Big Data.

Предварительные требования:

• знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.).
• Базовые знания SQL.

По окончании курса слушатели изучат:

• подготовку окружения и установку Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
• архитектуру и инструменты Apache Kafka (Consumers, Producers, Topics, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
• Arenadata Streaming Control (ADS Control);
• архитектуру, администрирование и эксплуатацию Apache NiFi;
• обеспечение информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.

Модуль 1. «Обзор Arenadata Enterprise Data Platform и Arenadata Streaming»

1. Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.
2. Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).
3. Arenadata Streaming Control.
4. Arenadata Platform Security.

Модуль 2. «Подготовка окружения и установка ADS: ZooKeeper, Apache Kafka, Apache NiFi»

1. Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

2. Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.

3. Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.

4. Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache Kafka, Apache NiFi).

5. Мониторинг ADS: архитектура кластера мониторинга. Мониторинг ADS: Kafka, NiFi. Встроенный мониторинг NiFi.

Модуль 3. «Архитектура и инструменты Apache Kafka»

1. Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas
2. Topics Kafka.
3. Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).
4. Гарантии надежности Kafka (доставка/потребление).
5. Producers Kafka.
6. Запись сообщений в Kafka, console Producer.
7. Настройка Producers.
8. Consumers Kafka.
9. Сonsumer groups, ребалансировка разделов.
10. Настройка Consumers.
11. Изменение параметров Topics, consumer groups, Partitions.

Модуль 4. «Kafka Connect»

1. Основные понятия и инструменты.
2. FileStream Connectors.
3. CDC Debezium.
4. Kafka ADB Connectors.

Модуль 5. «Kafka REST Proxy, ksqlDB»

1. Основные возможности и примеры использования.

Модуль 6. «Мультикластерные архитектуры»

1. Топология мультикластерной репликации.
2. Настройка MirrorMaker, Mirror Connectors.

Модуль 7. «Архитектура и инструменты Apache NiFi»

1. Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.
2. Создание, настройка и управление процессорами, процессорными группами.
3. Flow Files и атрибуты.
4. Подключение источников (File, Apache Kafka, СУБД (ADB)).
5. FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

Модуль 8. «Администрирование и эксплуатация Apache NiFi»

1. Инструменты мониторинга и администрирования.
2. Горизонтальное масштабирование и отказоустойчивость NiFi.
3. Управление репликацией и балансировкой нагрузки.
4. Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

Модуль 9. «Arenadata Streaming Control (ADS Control)»

1. Планирование кластера, настройка параметров окружения и установка, обзор UI.
2. Основные операции ADS Control: управление и добавление коннекторов FileStreamSinkConnector, FileStreamSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium).

Модуль 10. «Управление информационной безопасностью кластера ADS»

1. Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.
2. Керберизация ADS/ADPS с MS Active Directory, Kerberos-аутентификация для web-интерфейсов компонентов. Настройка SPNEGO для браузеров.
3. Настройка LDAP sync source для Ranger User synchronizer.
4. Настройка LDAP/AD auth для Ranger Admin.
5. Присоединение узлов к Active Directory (SSSD/realmd).
6. Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.
7. Настройка авторизации: Kafka (ACL, Apache Ranger Plugin), Apache NiFi (based authorizer, Apache Ranger Plugin).