Программа оркестрации компонентов витрин данных Datamart Studio
- 1. Аннотация
- 2. Термины и определения
- 3. Назначение программы
- 3.1. Область применения
- 3.2. Состав компонентов ПО Datamart Platform Studio
- 3.3. Логическая схема взаимодействия компонентов ПО Datamart Platform Studio
- 3.4. Уровень доступности
- 3.5. Диаграмма развертывания
- 3.6. Диаграмма развертывания для обеспечения SLA 99.5%
- 3.7. Диаграмма развертывания для обеспечения SLA 99.9%
- 4. Условия применения
- 4.1. Эксплуатационные требования
- 4.2. Требования к ОС
- 4.3. Расчет требуемых аппаратных ресурсов и ресурсов хранилища в зависимости от объема СУБД витрин данных
- 4.4. Требования к оборудованию без гарантии SLA
- 4.5. Минимальные требования к оборудованию для SLA 99.5% и 99.9%
- 4.6. Доступность Datamart Platform Studio и технических средств, на базе которых Программа развернута
- 5. Ключевые функции и возможности программы
- 1. Аннотация
- 2. Быстрый старт
- 3. Установка и настройка программы Datamart Studio
- 3.1. Проверка контрольной суммы
- 3.2. Подготовка к установке программы на сервере или ВМ
- 3.3. Установка программы Datamart Studio на сервере или ВМ
- 3.4. Установка программы Datamart Studio в среде Kubernetes (K8s)
- 3.5. Предварительная настройка переменных окружения
- 3.6. Настройка переменных окружения для работы на Платформе ГосТех
- 3.7. Первичный запуск на сервере или ВМ
- 3.8. Остановка программы
- 3.9. Запуск программы после установки
- 3.10. Сброс параметров
- 3.11. Удаление программы с сервера
- 3.12. Просмотр логов и сообщения администратору
- 4. Резервное копирование и восстановление
- 5. Обновление Datamart Platform Studio
- 5.1. Определение версии сборки
- 5.2. Обновление из веб-интерфейса Datamart Platform Studio
- 5.3. Обновление из консоли для Datamart Platform Studio, установленной на сервере (ВМ)
- 5.4. Обновление c консоли сервера управления для Datamart Platform Studio установленной в среде в Kubernetes (K8s)
- 5.5. Особенности обновлений
- 6. Восстановление после сбоев
- 7. Управление доступом
- 7.1. Назначение пользователя и пароля по умолчанию Datamart Platform Studio
- 7.2. Настройка аутентификации по протоколу LDAP
- 7.3. Настройка аутентификации с использованием Keycloak (Platform V IAM)
- 7.4. Управление ресурсами организаций
- 7.5. Описание ролей и матрица доступа к информационным ресурсам Datamart Platform Studio
- 7.6. Назначение ролей пользователям
- 8. Журналирование, аудит, мониторинг
- 9. Настройка количества обработчиков заданий
- 10. Структура служебных директорий
- 11. Дополнительная информация
- 1. Аннотация
- 2. Быстрый старт и навигация
- 3. Настройка подключений к инфраструктуре
- 3.1. Добавление датацентров (ДЦ)
- 3.2. Добавление серверов в ДЦ, настройка доступа
- 3.2.1. Настройки подключения
- 3.2.2. Настройки связанной ВМ в гипервизоре
- 3.2.3. Добавление серверов списком
- 3.2.4. Установка ssh-ключа для доступа Datamart Platform Studio к серверам
- 3.2.5. Проверка доступа к серверу, сбор фактов
- 3.2.6. Пакетная загрузка ssh-ключа ДЦ на группу серверов
- 3.2.7. Замена ssh-ключа для ДЦ и переход на резервный ключ
- 3.2.8. Настройка RemoteForward
- 3.3. Пользовательские ssh-ключи
- 3.4. Подключение к среде K8s (Kubernetes)
- 4. Интеграция с гипервизорами (платформами виртуализации)
- 4.1. Общие положения
- 4.2. Настройка подключения к аккаунту
- 4.3. Интеграция с гипервизором Базис.Dynamix
- 4.3.1. Создание ДЦ на базе РГ гипервизора
- 4.3.2. Создание ДЦ с созданием РГ гипервизора
- 4.3.3. Подключение ДЦ к РГ гипервизора
- 4.3.4. Добавление шаблона сервера
- 4.3.5. Добавление серверов в ДЦ с РГ
- 4.3.6. Синхронизация данных
- 4.3.7. Действия с ВМ из аккаунта сервера
- 4.3.8. Удаление сервера и связанной ВМ
- 4.3.9. Список сетей
- 4.3.10. Настройка NAT-правил
- 4.4. Интеграция с VMWare
- 5. Настройка маршрутов SSH и доступ к сетям
- 6. Подключение к хранилищам
- 7. Настройка приложений
- 8. Создание и удаление Услуг
- 9. Управление инсталляциями приложений в услуге
- 9.1. Добавление и установка приложений услуги (инсталляций)
- 9.2. Редактирование настроек инсталляций
- 9.3. Настройки Docker
- 9.4. Настройка интерфейсов взаимодействия
- 9.5. Вкладка «Файлы» инсталляции
- 9.6. Мониторинг изменений настроек инсталляций и кластеров
- 9.7. Статусы инсталляций
- 9.8. Действия с инсталляциями
- 9.9. Зависимости инсталляций услуги
- 9.10. Добавление инсталляций приложений при помощи ADCM
- 10. Управление кластерами услуги
- 10.1. Общие положения
- 10.2. Добавление кластеров приложений
- 10.3. Создание универсального балансировщика для кластеров
- 10.4. Ресайзинг кластеров приложений
- 10.5. Примеры настройки кластеров приложений
- 10.5.1. Особенности настройки кластера Zookeeper
- 10.5.2. Особенности настройки кластера Kafka
- 10.5.3. Схема развертывания кластера Corax
- 10.5.4. Установка и настройка кластеров Postgres и Pangolin
- 10.5.5. Установка и настройка кластера приложений Ядра Prostore версии 6.10 и выше
- 10.5.6. Установка и настройка кластера СМЭВ QL
- 10.6. Пример настройки подключения к внешним сервисам кластеров для ГосТех
- 11. Установка приложений услуги
- 12. Взаимодействие с инсталляциями
- 13. Обновление приложений и инсталляций
- 14. Профиль Услуги
- 15. Тиражирование услуг (создание услуг на основе профиля)
- 16. Управление автоматизацией развертывания и эксплуатации услуги
- 17. Мониторинг
- 18. Логи и уведомления
- 18.1. Управление уровнем логирования Ansible
- 18.2. Управление уровнем логирования Datamart Platform Studio
- 18.3. Стек текущих уведомлений
- 18.4. Отображение live log инсталляции приложения
- 18.5. Просмотр последних изменений и возврат к предыдущим значениям
- 18.6. Просмотр логов и состояния очереди задач Resque
- 18.7. Логи Мониторинга
- 18.8. Логи Proxy API
- 18.9. Логи External API
- 19. Дополнительные инструменты
- 19.1. Визуализация компонентов и связей Услуги
- 19.2. Данные для настройки систем ИБ и антивирусов
- 19.3. Лог конфигурации Услуги в виде инструкции по установке
- 19.4. Регистрация подключений к Базам данных
- 19.5. Список лицензий
- 19.6. Интеграция с ZooKeeper
- 19.7. Резервное копирование и восстановление данных услуг типа «Витрина данных»
- 19.8. Описание API Datamart Platform Studio
- 19.9. Использование Proxy API
- 19.9.1. Список доступных Proxy API
- 19.9.2. Настройка доступа к эндпоинтам Proxi API с учетом ролевой модели
- 19.9.3. Получение токена в IAM сервисе аутентификации Keycloak
- 19.9.4. Получение токена средствами Datamart Platform Studio
- 19.9.5. Отправка запроса для подключения к API инсталляций через Proxy API
- 19.9.6. Пример Proxy API запросов в Prostore
- 19.9.7. Пример Proxy API запросов в Rest-Uploader
- 19.10. Сводная таблица услуг организации