Arenadata DB для разработчиков

Профиль аудитории:

• разработчикам
• технические специалисты, осуществляющие миграцию на Arenadata DB

Предварительные требования:

• базовые знания работы с SQL
• понимание основ работы реляционных баз данных
• опыт работы с Linux и командной строкой
• знакомство с ETL/ELT процессами

По окончании курса слушатели изучат:

• базовые сведения об Arenadata DB
• инструменты хранения данных и получения данных
• возможности оптимизации запросов
• процессы организации работы хранилища данных

Модуль 1. «Введение в ADB»

• Базовые сведения об ADB и Greenplum. Архитектура MPP и её реализация в ADB.
• Отличия ADB от ADQM (Clickhouse) и ADH (Hadoop).
• Окружение. ADCM, мониторинг.
• Базовые схемы и объекты. Структура БД. Шаблоны.

Пользователи и группы:

• Ролевая модель. Пользователи и группы. Организация иерархии. Предоставление и отзыв полномочий. Доступ к СУБД.
• Распределение ресурсов. Ресурсные группы. Расширение Diskquota.

Модуль 2. «Хранение данных»

• Виды таблиц. Семейства Heap и Append-Optimized. Форматы хранения данных. Сжатие данных. Базовые сведения о распределении данных. Материализованные представления. Тейблспейсы.
• Партиционированные таблицы. Отличие от обычных таблиц. Манипуляции с партициями. Варианты использования.

Типы данных:

• Типы данных. Рекомендации по выбору. Сопоставление с типами Oracle.
• Типы JSON и JSONB. Индексы. Операторы.
• Тип XML. Функции.

Модуль 3. «Получение данных»

• Внешние таблицы. Устройство, назначение и типы. Протоколы.
• Загрузка и выгрузка данных при помощи GPFDIST и GPLOAD.
• Использование PXF для доступа к внешним системам. Доступ к данным на кластере
• Работа с JDBC.

Функции:

• Пользовательские функции. Классы функций. Место выполнения функции.
• Языки. PL/SQL. PL/python. C-функции. PLContainer.
• Пользовательские агрегатные функции.
• Оконные функции.
• Расширения MadLib и PostGIS.

Модуль 4. «Оптимальное выполнение запросов»

• Схема выполнения запроса в ADB. Оптимизаторы.
• Планы запросов. Получение плана. Разбор структуры плана и показателей. Операции.
• Распределение данных. Выбор политики распределения. Правильный ключ распределения. Нюансы записи и чтения данных для таблиц с разным типом распределения.
• Статистика. Сбор статистики. Проблемы, возникающие из-за неверной статистики.
• Автоматизация анализа объектов в ADB.
• Особенности оптимизаторов. Разница в работе с партиционированными таблицами.
• Подзапросы. CTE.
• Индексы. Виды индексов. Применимость в ADB.
• Транзакции. Уровни изоляции. Обеспечение изоляции при помощи механизма MVCC.
• Очистка объектов от неактуальных версий данных. Автоматизация очистки в ADB.
• Блокировки. Уровни блокировки для разных операций. Ручная блокировка объекта.
• Детектор взаимных блокировок для Heap-таблиц.

Модуль 5. «Организация хранилища»

• Подход к модели данных.
• Подходы ETL и ELT.
• Загрузка и обновление данных в справочниках разных типов.