Программа оркестрации компонентов витрин данных Datamart Studio

Описание применения

• 1. Аннотация
• 2. Термины и определения
• 3. Назначение программы
  • 3.1. Область применения
  • 3.2. Состав компонентов ПО Datamart Platform Studio
  • 3.3. Логическая схема взаимодействия компонентов ПО Datamart Platform Studio
  • 3.4. Уровень доступности
  • 3.5. Диаграмма развертывания
  • 3.6. Диаграмма развертывания для обеспечения SLA 99.5%
  • 3.7. Диаграмма развертывания для обеспечения SLA 99.9%
• 4. Условия применения
  • 4.1. Эксплуатационные требования
  • 4.2. Требования к ОС
  • 4.3. Расчет требуемых аппаратных ресурсов и ресурсов хранилища в зависимости от объема СУБД витрин данных
  • 4.4. Требования к оборудованию без гарантии SLA
  • 4.5. Минимальные требования к оборудованию для SLA 99.5% и 99.9%
    • 4.5.1. Минимальные требования к оборудованию при разворачивании в одном ДЦ (для обеспечения SLA 99.5%)
    • 4.5.2. Минимальные требования к оборудованию при разворачивании в двух ДЦ с использованием кворумного ДЦ (для обеспечения SLA 99.9%)
  • 4.6. Доступность Datamart Platform Studio и технических средств, на базе которых Программа развернута
• 5. Ключевые функции и возможности программы
  • 5.1. Ключевые функции
    • 5.1.1. Взаимодействие с инфраструктурой
    • 5.1.2. Функции безопасности доступа и данных
    • 5.1.3. Управление комплексными услугами
    • 5.1.4. Управление доступом
    • 5.1.5. Пакеты приложений и обновления
  • 5.2. Средства наложенной защиты
  • 5.3. Типовые примеры использования Datamart Platform Studio

Руководство администратора

• 1. Аннотация
• 3. Быстрый старт
• 4. Установка и настройка программы Datamart Studio
  • 4.1. Проверка контрольной суммы
  • 4.2. Подготовка к установке программы на сервере или ВМ
    • 4.2.1. Установка необходимых для работы пакетов и приложений
    • 4.2.2. Добавление пользователя datamart в ОС
  • 4.3. Установка программы Datamart Studio на сервере или ВМ
  • 4.4. Установка программы Datamart Studio в среде Kubernetes (K8s)
  • 4.5. Предварительная настройка переменных окружения
    • 4.5.1. Настройка подключения к БД
    • 4.5.2. Настройка подключения к сервису Keycloak
  • 4.6. Настройка переменных окружения для работы на Платформе ГосТех
    • 4.6.1. Настройка авторизации и аутентификации
    • 4.6.2. Настройка параметров мониторинга
    • 4.6.3. Настройка параметров журналирования
    • 4.6.4. Настройка параметров отправки событий аудита
  • 4.7. Первичный запуск на сервере или ВМ
  • 4.8. Остановка программы
  • 4.9. Запуск программы после установки
  • 4.10. Сброс параметров
  • 4.11. Удаление программы с сервера
  • 4.12. Просмотр логов и сообщения администратору
• 5. Резервное копирование и восстановление
  • 5.1. Основные понятия
  • 5.2. Резервное копирование из веб-интерфейса
    • 5.2.1. Резервное копирование и восстановление Datamart Platform Studio
    • 5.2.2. Резервное копирование и восстановление услуг типа Витрин данных НСУД
  • 5.3. Резервное копирование и восстановление Datamart Platform Studio из консоли
    • 5.3.1. При установке на сервере или ВМ
    • 5.3.2. При установке в среде Kubernetes
• 6. Обновление Datamart Platform Studio
  • 6.1. Определение версии сборки
  • 6.2. Обновление из веб-интерфейса Datamart Platform Studio
  • 6.3. Обновление из консоли для Datamart Platform Studio, установленной на сервере (ВМ)
  • 6.4. Обновление c консоли сервера управления для Datamart Platform Studio установленной в среде в Kubernetes (K8s)
  • 6.5. Особенности обновлений
    • 6.5.1. Концепция обновления для группы Cтудий
    • 6.5.2. Обнаружение ошибок миграции
    • 6.5.3. Особенности обновления на версию 2.0.1 с более ранних
    • 6.5.4. Особенности обновления с версии 1.4.x
• 7. Восстановление после сбоев
  • 7.1. Восстановление Datamart Platform Studio, установленной на сервере (ВМ)
  • 7.2. Восстановление Datamart Platform Studio в Kubernetes (K8s)
• 8. Управление доступом
  • 8.1. Назначение пользователя и пароля по умолчанию Datamart Platform Studio
  • 8.2. Настройка аутентификации по протоколу LDAP
  • 8.3. Настройка аутентификации с использованием Keycloak (Platform V IAM)
    • 8.3.1. Настройка пользователей Keycloak
    • 8.3.2. Настройка Keycloak для передачи данных об организации
  • 8.4. Управление ресурсами организаций
    • 8.4.1. Список пользователей организаций
    • 8.4.2. Настройка ОГРН для организаций в Datamart Platform Studio
    • 8.4.3. Мониторинг ресурсов, управление лицензиями для организаций
  • 8.5. Описание ролей и матрица доступа к информационным ресурсам Datamart Platform Studio
    • 8.5.1. Описание ролевой модели
    • 8.5.2. Права ролей в Datamart Platform Studio
  • 8.6. Назначение ролей пользователям
    • 8.6.1. Назначение роли и организации пользователю в Keyсloak (IAM)
    • 8.6.2. Назначение роли и организации пользователю из консоли (для LDAP)
• 9. Журналирование, аудит, мониторинг
  • 9.1. Логирование в Datamart Platform Studio
    • 9.1.1. Настройка формата журнала логов Datamart Platform Studio
  • 9.2. Настройка сбора логов инсталляций приложений
  • 9.3. Метрики мониторинга
  • 9.4. События аудита
    • 9.4.1. Список событий аудита
    • 9.4.2. Настройка сбора и отправки событий аудита
• 10. Настройка количества обработчиков заданий
• 11. Структура служебных директорий
• 12. Дополнительная информация
  • 12.1. Настройка параметров в файле конфигурации
  • 12.2. Содержание токена IAM
  • 12.3. Состав метрик мониторинга
  • 12.4. Команды системного администратора (для использования Службой технической поддержки)
    • 12.4.1. Ротация логов Docker-контейнеров приложений
    • 12.4.2. Принудительный сброс статуса инсталляции
    • 12.4.3. Принудительное переключение статуса сервера
    • 12.4.4. Добавление репозитория в Gitea из файла-архива
  • 12.5. Категории прав, предоставляемые для ролей на компоненты Datamart Platform Studio
    • 12.5.1. Список категорий прав на компоненты в Datamart Platform Studio
    • 12.5.2. Категории прав, предоставляемые для ролей на действия с компонентами Datamart Platform Studio

Руководство пользователя

• 1. Аннотация
• 2. Быстрый старт и навигация
  • 2.1. Первичный запуск интерфейса
  • 2.2. Рабочие пространства
    • 2.2.1. Администрирование
    • 2.2.2. Управление ресурсами
    • 2.2.3. Управление услугами
    • 2.2.4. Мониторинг
  • 2.3. Меню управления
  • 2.4. Меню пользователя
• 3. Настройка подключений к инфраструктуре
  • 3.1. Добавление датацентров (ДЦ)
    • 3.1.1. Общие положения
    • 3.1.2. Добавление ДЦ
    • 3.1.3. Конфигурация пользователя ДЦ
    • 3.1.4. Настройка ssh-ключа для ДЦ
    • 3.1.5. Отображение количества используемых ресурсов и лимитов ДЦ
  • 3.2. Добавление серверов в ДЦ, настройка доступа
    • 3.2.1. Настройки подключения
    • 3.2.2. Настройки связанной ВМ в гипервизоре
    • 3.2.3. Добавление серверов списком
    • 3.2.4. Установка ssh-ключа для доступа Datamart Platform Studio к серверам
    • 3.2.5. Проверка доступа к серверу, сбор фактов
    • 3.2.6. Пакетная загрузка ssh-ключа ДЦ на группу серверов
    • 3.2.7. Замена ssh-ключа для ДЦ и переход на резервный ключ
    • 3.2.8. Настройка RemoteForward
  • 3.3. Пользовательские ssh-ключи
    • 3.3.1. Добавление публичного ssh-ключа пользователя на сервер
  • 3.4. Подключение к среде K8s (Kubernetes)
• 4. Интеграция с гипервизорами (платформами виртуализации)
  • 4.1. Общие положения
  • 4.2. Настройка подключения к аккаунту
  • 4.3. Интеграция с гипервизором Базис.Dynamix
    • 4.3.1. Создание ДЦ на базе РГ гипервизора
    • 4.3.2. Создание ДЦ с созданием РГ гипервизора
    • 4.3.3. Подключение ДЦ к РГ гипервизора
    • 4.3.4. Добавление шаблона сервера
    • 4.3.5. Добавление серверов в ДЦ с РГ
    • 4.3.6. Синхронизация данных
    • 4.3.7. Действия с ВМ из аккаунта сервера
    • 4.3.8. Удаление сервера и связанной ВМ
    • 4.3.9. Список сетей
    • 4.3.10. Настройка NAT-правил
  • 4.4. Интеграция с VMWare
    • 4.4.1. Синхронизация данных подключения
    • 4.4.2. Создание сервера в ДЦ VMWare
    • 4.4.3. Действия с ВМ
    • 4.4.4. Удаление сервера и связанной ВМ
• 5. Настройка маршрутов SSH и доступ к сетям
  • 5.1. Общая концепция
  • 5.2. Создание и конфигурация SSH маршрутов
    • 5.2.1. Индикация маршрутов в списке серверов ДЦ
    • 5.2.2. Настройка доступа к серверам ДЦ через VPN
• 6. Подключение к хранилищам
  • 6.1. Хранилище объектов (артефактов)
  • 6.2. Взаимодействие с хранилищем репозиториев (бандлов)
    • 6.2.1. Добавление компонентов из хранилища
    • 6.2.2. Обновление компонентов из хранилища репозиториев
    • 6.2.3. Список бандлов
    • 6.2.4. Список приложений
    • 6.2.5. Подключение к новому хранилищу репозиториев
• 7. Настройка приложений
  • 7.1. Предварительная конфигурация настроек приложений
  • 7.2. Работа с фильтром и избранные настройки
  • 7.3. Пользовательские и системные настройки
  • 7.4. Чувствительные настройки
  • 7.5. Действия с настройками
  • 7.6. Глобальные настройки
    • 7.6.1. Исключения из глобальных настроек
    • 7.6.2. Добавление группы глобальных настроек
  • 7.7. Интерфейсы и зависимости в карточке приложения
    • 7.7.1. Интерфейсы приложений
    • 7.7.2. Зависимости
• 8. Создание и удаление Услуг
  • 8.1. Последовательность действий по созданию и конфигурации Услуги
  • 8.2. Добавление и изменение типов услуг
  • 8.3. Добавление и удаление Услуг
    • 8.3.1. Назначение окружения и перенос работающей услуги
    • 8.3.2. Изменение параметров функционирования услуги
    • 8.3.3. Карточка услуги
    • 8.3.4. Удаление и открепление услуги
• 9. Управление инсталляциями приложений в услуге
  • 9.1. Добавление и установка приложений услуги (инсталляций)
  • 9.2. Редактирование настроек инсталляций
    • 9.2.1. Добавление настроек инсталляции
  • 9.3. Настройки Docker
  • 9.4. Настройка интерфейсов взаимодействия
    • 9.4.1. Общие положения
    • 9.4.2. Входящие интерфейсы
    • 9.4.3. Исходящие интерфейсы
    • 9.4.4. Настройка и связывание интерфейсов
    • 9.4.5. Связь интерфейсов с внешними приложениями
    • 9.4.6. Активность и блокировка интерфейсов
  • 9.5. Вкладка «Файлы» инсталляции
    • 9.5.1. Файлы конфигураций
    • 9.5.2. Загрузка файлов
    • 9.5.3. Мультизагрузка, параметры и действия
    • 9.5.4. Редактор файлов
  • 9.6. Мониторинг изменений настроек инсталляций и кластеров
  • 9.7. Статусы инсталляций
    • 9.7.1. Статусы заданий
    • 9.7.2. Проверка состояния инсталляций
  • 9.8. Действия с инсталляциями
    • 9.8.1. Индикация обновления
    • 9.8.2. Действия с выбранными (групповые действия)
    • 9.8.3. Блокировка инсталляций
    • 9.8.4. Основные действия с инсталляциями
    • 9.8.5. Действия оперативного мониторинга
    • 9.8.6. Индикация ошибок выполнения действий
  • 9.9. Зависимости инсталляций услуги
  • 9.10. Добавление инсталляций приложений при помощи ADCM
• 10. Управление кластерами услуги
  • 10.1. Общие положения
  • 10.2. Добавление кластеров приложений
    • 10.2.1. Добавление кластера
  • 10.3. Создание универсального балансировщика для кластеров
    • 10.3.1. Список кластерных приложений, для которых предусмотрено использование универсального балансировщика
    • 10.3.2. Список кластерных приложений, для которых не требуется использование балансировщика
  • 10.4. Ресайзинг кластеров приложений
    • 10.4.1. Добавление инсталляций в работающий кластер
    • 10.4.2. Удаление инсталляций из работающего кластера
  • 10.5. Примеры настройки кластеров приложений
    • 10.5.1. Особенности настройки кластера Zookeeper
    • 10.5.2. Особенности настройки кластера Kafka
    • 10.5.3. Схема развертывания кластера Corax
    • 10.5.4. Установка и настройка кластеров Postgres и Pangolin
    • 10.5.5. Установка и настройка кластера приложений Ядра Prostore версии 6.10 и выше
    • 10.5.6. Установка и настройка кластера СМЭВ QL
  • 10.6. Пример настройки подключения к внешним сервисам кластеров для ГосТех
    • 10.6.1. Требования к настройке кластеров для взаимодействия с Витринами данных
    • 10.6.2. Настройка подключения к сервису кластерной СУБД Pangolin
    • 10.6.3. Настройка подключения к кластеру сервиса потоковой обработки данных Corax
• 11. Установка приложений услуги
  • 11.1. Запуск установки
  • 11.2. Отмена установки
  • 11.3. Последовательность инсталляции приложений Витрин данных НСУД
• 12. Взаимодействие с инсталляциями
  • 12.1. Доступ к веб-интерфейсам инсталляций
    • 12.1.1. Средство наложенной защиты доступа к веб-интерфейсу инсталляций
    • 12.1.2. Установка приложения «Защитник»
  • 12.2. Проверка состояния инсталляций
    • 12.2.1. Проверка работоспособности
    • 12.2.2. Проверка Ядра Prostore
• 13. Обновление приложений и инсталляций
  • 13.1. Обновление услуги
  • 13.2. Обновление бандлов приложений
  • 13.3. Выбор версии бандла для обновления
  • 13.4. Обновление инсталляций
  • 13.5. Особенности обновления инсталляций в кластере
• 14. Профиль Услуги
  • 14.1. Общие положения
  • 14.2. Экспорт профиля
  • 14.3. Импорт профиля
• 15. Тиражирование услуг (создание услуг на основе профиля)
  • 15.1. Описание процесса создания услуги из профиля
  • 15.2. Способы тиражирования услуг
    • 15.2.1. Тиражирование Услуги без серверов
    • 15.2.2. Тиражирование услуги с серверами
    • 15.2.3. Перенос услуги
• 16. Управление автоматизацией развертывания и эксплуатации услуги
  • 16.1. Каталог шагов
    • 16.1.1. Системные шаги
    • 16.1.2. Пользовательские шаги
  • 16.2. Каталог сценариев
    • 16.2.1. Добавление сценария в каталог
  • 16.3. Добавление сценария к услуге
    • 16.3.1. Добавление сценария без использования шаблона
  • 16.4. Управление сценариями услуги
• 17. Мониторинг
  • 17.1. Мониторинг лимитов ресурсов организации
  • 17.2. Оперативный мониторинг по расписанию
• 18. Логи и уведомления
  • 18.1. Управление уровнем логирования Ansible
  • 18.2. Управление уровнем логирования Datamart Platform Studio
  • 18.3. Стек текущих уведомлений
  • 18.4. Отображение live log инсталляции приложения
  • 18.5. Просмотр последних изменений и возврат к предыдущим значениям
    • 18.5.1. Логи по пользователю
  • 18.6. Просмотр логов и состояния очереди задач Resque
  • 18.7. Логи Мониторинга
  • 18.8. Логи Proxy API
  • 18.9. Логи External API
• 19. Дополнительные инструменты
  • 19.1. Визуализация компонентов и связей Услуги
  • 19.2. Данные для настройки систем ИБ и антивирусов
  • 19.3. Лог конфигурации Услуги в виде инструкции по установке
  • 19.4. Регистрация подключений к Базам данных
  • 19.5. Список лицензий
  • 19.6. Интеграция с ZooKeeper
  • 19.7. Резервное копирование и восстановление данных услуг типа «Витрина данных»
  • 19.8. Описание API Datamart Platform Studio
    • 19.8.1. Проверка healthcheck
    • 19.8.2. Получение сводных данных об инсталляциях
    • 19.8.3. Выполнение резервного копирования Услуг типа «Витрина данных»
  • 19.9. Использование Proxy API
    • 19.9.1. Список доступных Proxy API
    • 19.9.2. Настройка доступа к эндпоинтам Proxi API с учетом ролевой модели
    • 19.9.3. Получение токена в IAM сервисе аутентификации Keycloak
    • 19.9.4. Получение токена средствами Datamart Platform Studio
    • 19.9.5. Отправка запроса для подключения к API инсталляций через Proxy API
    • 19.9.6. Пример Proxy API запросов в Prostore
    • 19.9.7. Пример Proxy API запросов в Rest-Uploader
  • 19.10. Сводная таблица услуг организации

Дополнительная информация

• Список бандлов
• История изменений
• История изменений (архив)
• Пример сборки витрины c кластером Postgres. Экспорт и импорт профиля.
• Документация в формате Word