3. Назначение программы

Datamart Platform Studio представляет собой интегрированное многокомпонентное программное обеспечение для конфигурирования и управления гетерогенным ИТ-ландшафтом (включающим публичные и частные облака, ПАКи и кластеры Kubernetes), а также для развертывания и эксплуатации приложений распределенным способом, реализующим облачную модель предоставления рабочих нагрузок (приложений и сервисов).

Datamart Platform Studio обеспечивает автоматизацию развертывания и настройки, мониторинг и логирование, резервирвное копирование и восстановление, контроль доступа и защиты конфигураций установленного ПО, а также предоставляет инструменты формирования и управления комплексными (много-компонентными) программными сервисами.

Ядром платформы является Программа оркестрации компонентов витрин данных Datamart Studio (Свидетельство ФИПС Роспатента № 2021681309 от 21.12.2021, Единый реестр российских программ для ЭВМ и баз данных № 13423 от 29.04.2022), обеспечивающий функции CI/CD, учета ресурсов, логирования и средства защиты информации (сертификат №4726 ФСТЭК). Платформа так же предоставляет модули для подключения виртуальных ресурсов инфраструктуры, сервисов мониторинга платформ виртуализации, пакетирования программных комплексов и портал самообслуживания.

3.1. Область применения

Основным предназначением Программы является автоматизация процессов и минимизация затрат на разворачивание и настройку комплексных услуг по обработке данных (в т.ч. Витрин данных).

Установщик Datamart Platform Studio оптимизирует развертывание услуг и входящих в их состав инсталляций, кластеров, баз данных, приложений, коннекторов и адаптеров с использованием отлаженных и протестированных компонентов Datamart, что позволяет существенно экономить время и избегать множества ошибок при развертывании услуг.

Datamart Platform Studio предоставляет возможность оперативного развертывания из поддерживаемых репозиториев (Gitea, Gitlab) самых свежих версий релизов (в виде бандлов) каждого компонента системы, а также пакетов обновлений. По каждому установленному приложению программа позволяет настраивать параметры, обновлять конфигурации, отслеживать логи.

Datamart Platform Studio позволяет задавать требуемые настройки конфигураций хранилищ, отслеживать статус функционирования приложений и вести контроль ключевых показателей назначения, а также производит централизованное журналирование всех отслеживаемых событий и предоставляет возможность использования инструментов анализа лог-файлов через web-интерфейс Grafana.

Datamart Platform Studio организует удобное масштабирование. Реализует функции управления сайзингом комплексных услуг, позволяя добавлять новые программные и аппаратные компоненты, конфигурировать доступ к серверам через шлюзы, а также добавлять и удалять ресурсы инфраструктуры. В том числе, Datamart Studio предоставляет возможность добавления и удаления ресурсов виртуальных Датацентров и управления их настройками в процессе эксплуатации, что позволит создавать и эксплуатировать комплексные информационные системы в отказоустойчивых и геораспределённых конфигурациях.

3.2. Состав компонентов ПО Datamart Platform Studio

ПО Datamart Platform Studio функционирует как набор приложений в docker-контейнерах. Состав: контейнеров приведён в таблице:

Таблица 3.1 Содержание docker-контейнеров
Наименование	Версия	Описание	Лицензия
Studio App	2.5.0	Веб-приложение для обеспечения веб-интерфейса к Datamart Platform Studio, синхронизирует работу остальных компонентов системы. В состав контейнера также входит Ansible, который обеспечивает удалённое управление конфигурациями, позволяет настраивать удаленные машины и разворачивать компоненты Услуг на локальном или удаленных серверах / виртуальных машинах	ООО «Датамарт»
Sonatype Nexus	3.35.0	Хранилище объектов для Datamart Platform Studio. Интегрированная платформа управления приложениями Nexus обеспечивает хранение пакетов необходимых для Ansible-бандлов	Свободно распространяемое ПО под лицензией Apache-2.0
СУБД Postgres SQL ^*	13.4	База данных, в которой хранятся служебные данные, необходимые для работы Datamart Platform Studio	Свободно распространяемое ПО под лицензией The PostgreSQL Licence
СУБД Pangolin ^*	5.2 - 6.х	База данных, в которой хранятся служебные данные, необходимые для работы Datamart Platform Studio	Лицензия СберТех. ПО парегистрирован в Едином реестре №13436 от 29.04.2022
Gitea	1.15.3	Система управления репозиториями Git, в которой хранятся Ansible-бандлы приложений	Свободно распространяемое ПО под лицензией MIT License
Redis Server	7.0.11	Резидентная система управления базами данных класса NoSQL с открытым исходным кодом, работающая со структурами данных типа «ключ - значение». Используется для реализации кэшей и брокеров сообщений	Свободно распространяемое ПО под лицензией BSD-3
Watchtower	1.5.8-1-ge10f453	Программа автоматизации обновления Docker-контейнеров	Свободно распространяемое ПО под лицензией Apache-2.0

Примечание

для работы Datamart Platform Studio используется одна из СУБД (Postgres или Pangolin). Возможна установка в конфигурации, когда СУБД не запускается в отдельном контейнере, а подключение к СУБД производится к сервису внешней СУБД (см. конфигурацию для обеспечения SLA 99.9%).

3.3. Логическая схема взаимодействия компонентов ПО Datamart Platform Studio

Логическая схема взаимодействия основных компонентов программы Datamart Platform Studio представлена на рисунке

3.4. Уровень доступности

Уровень доступности Datamart Platform Studio определяется условиями доступности инфраструктуры платформы, на которой развернуто ПО. Для Datamart Platform Studio, развернутой на платформе Platform V Kubernetes уровень доступности составляет 99.95%.

Доступность измеряется в процентах и рассчитывается по формуле: (СВД – ВН) / СВД) х 100, где: - СВД – согласованное время доступности Сервиса; - ВН – время недоступности Сервиса (на основании зарегистрированных обращений оператора информационной системы в период ее эксплуатации).

3.5. Диаграмма развертывания

Программа Datamart Platform Studio может быть развернута, как сервис SaaS и функционировать в среде Kubernetes, во взаимодействиями со внешними для Datamart Platform Studio сервисами журналирования, аудита, мониторинга, логирования, авторизации и аутентификации.

Целевая архитектура развертывания представлена на диаграмме:

Диаграмма развертывания |prod| — Рисунок 3.2 Диаграмма развертывания Datamart Platform Studio

3.6. Диаграмма развертывания для обеспечения SLA 99.5%

При заказе Datamart Platform Studio в качестве параметра «Сервис оркестрации» с показателем уровня доступности 99.5%, «Сервис оркестрации» использует в качестве БД для хранения настроек «Витрины НСУД» СУБД Pangolin, входящая в комплект поставки «Сервиса оркестрации». Для реализации потоковой обработки данных между элементами развертывания «Витрины НСУД» будет использоваться Corax, входящий в комплект поставки «Сервиса оркестрации». БД и ПО потоковой обработки данных будут развернуты в составе Витрны данных на ВМ, заказанных в рамках услуги 1.18 с параметром «Сервис оркестрации». Диаграмма развертывания «Сервиса оркестрации» Datamart Studio для Витрин данных с показателем уровня доступности 99.5% и размером менее 1ТБ представлена на рисунке (см. Рисунок 3.3):

Диаграмма развертывания |prod| при заказе услуги с показателем уровня доступности 99.5% — Рисунок 3.3 Диаграмма развертывания Datamart Platform Studio при заказе услуги с показателем уровня доступности 99.5%

3.7. Диаграмма развертывания для обеспечения SLA 99.9%

При заказе Datamart Platform Studio в качестве параметра «Сервис оркестрации» показателем уровня доступности 99.9%, «Сервис оркестрации» должен использовать в качестве БД для хранения данных «Витрины НСУД» независимый сервис транзакционной СУБД, обеспечивающий SLA 99.9% и для реализации потоковой обработки данных между элементами развертывания «Витрины НСУД» должен использоваться независимый Сервис управления очередями сообщений, основанный на использовании технолоий Kafka и Zookeeper, обеспечивающий SLA 99.9%.

Диаграмма развертывания «Сервиса оркестрации» Datamart Studio для Витрин данных с показателем уровня доступности 99.9% и размером менее 1ТБ представлена на рисунке (см. Рисунок 3.4):