Arenadata QuickMarts для разработчиков

Профиль аудитории:

• системные архитекторы
• инженеры данных
• аналитики

Предварительные требования:

• базовые знания работы ОС Linux
• понимание основ работы реляционных баз данных
• базовые знания SQL (опыт написания запросов из нескольких таблиц)
• знакомство с ETL/ELT процессами

По окончании курса слушатели изучат:

• процесс загрузки данных
• формирование модели хранения
• выбор движков
• оптимизацию выполнения запросов
• распределенная обработка данных
• уход от антипаттернов

Модуль 1. «Особенности ADQM как СУБД»

• Базовые сведения об ADQM. Архитектура кластера.
• Роль ADQM в хранилищах. Отличие от ADB (Greenplum) и ADH (Hadoop).
• ADQM как часть экосистемы Arenadata. ADCM. Развертывание шардированного кластера.
• Концепция векторной обработки данных.
• Работа с клиентом командной строки. Подключение при помощи внешнего клиента.

Модуль 2. «Хранение и выборка клиента»

• Движки баз данных и их назначение.
• Движки таблиц семейства MergeTree. Особенности хранения и антипаттерны, связанные с ним.
• Распределенные таблицы. Репликация и шардирование.
• Выполнение и оптимизация запросов.
• Дополнительные индексы.
• Проекции.
• Типы данных.
• Материализованные представления.

Модуль 3. «Обработка и модификация данных»

• Специальные движки таблиц.
• Встроенные функции и их модификаторы.
• Манипуляции над таблицей и данными. Мутации. Операции с партициями и кусками.
• Проблема дубликатов и варианты решения.
• Соединения. Словари и JOIN-ы.

Модуль 4. «Взаимодействие с источниками данных»

• Варианты выгрузки и загрузки данных. Форматы. Паттерны наполнения данными.
• Взаимодействие с внешними системами. Движки таблиц для интеграции.

Итоговое тестирование