Обзор схемы

Этот раздел предоставляет обзор структуры схем данных DataHub, помогая вам понять, как организованы данные и как к ним эффективно обращаться. Хранилище разработано, чтобы предоставить вам полный и гибкий доступ к данным Платформы через структурированную систему базы данных.

Чему вы научитесь:

• Как данные структурированы по слоям и схемам

• Ключевые таблицы в каждой схеме и что они содержат

• Как таблицы данных связаны между собой

• Как получать доступ к данным с помощью SQL-запросов

• Как работает проверка данных

• Предстоящие улучшения структуры данных

Ключевые термины:

• Слой: Уровень в хранилище данных, представляющий этап обработки, организации или доступа к данным, каждый из которых имеет свою функцию.

• Схема: Логическая группировка объектов базы данных (таблицы, представления и т. д.)

Структура данных

DataHub использует многоуровневую архитектуру хранения для организации ваших данных. Эта архитектура обеспечивает надежность, производительность и масштабируемость, одновременно гарантируя надлежащее разделение данных между клиентами.

Слои данных

Система следует трехслойной модели организации данных:

Bronze слой

• Исходные данные с минимальной трансформацией

• Прямой ввод из бизнес-источников и телематических источников данных

• Исходная структура данных с единообразными соглашениями об именовании

Silver слой

• Данные, уже обработанные с проверкой и обогащением

• Преобразованные структуры для улучшенной аналитики

• Внедрен контроль качества данных и применение бизнес-правил

Gold слой

• Наборы данных, готовые для бизнеса и оптимизированные для отчетности

• Предварительно агрегированные метрики и денормализованные структуры

• Куратированные представления, согласованные с конкретными бизнес-процессами отчетности

Далее в этом разделе документации вы найдете более подробные схемы данных для каждого слоя.

Архитектура базы данных

Для каждого клиента выделен отдельный экземпляр базы данных для обеспечения изоляции и безопасности данных. В рамках этой базы данных:

Схема	Описание	Содержимое
raw_business_data	Бизнес-сущности и операционные данные	Основные таблицы сущностей, операционные данные, справочные данные, исторические данные, таблицы отношений
raw_telematics_data	Отслеживание устройств и данные датчиков	Основные данные отслеживания, входные данные, данные состояний
repo	Управление активами и инвентаризацией	Определения типов активов, настраиваемые поля, экземпляры активов, взаимосвязи активов, иерархии инвентаря, геопространственные данные
Метаданные	Справочные данные системы	таблица description_parameters

При запросе данных вы должны указывать как схему (например, raw_business_data), так и имя таблицы (например, objects):

SELECT * FROM raw_business_data.objects;

Метаданные клиента и изоляция данных

Система использует таблицы метаданных для обеспечения надлежащей изоляции данных и поддержки мультиарендности:

• Метаданные дилеров отслеживает отношения дилер–клиент и параметры инфраструктуры

• Метаданные клиента отражают бизнес- и телематические данные по схемам

• Сопоставление клиент–устройство обеспечивает правильную ассоциацию телематических данных с соответствующим клиентом

Этот слой метаданных гарантирует, что:

• Каждый клиент может обращаться только к своим данным

• Телематические и бизнес-данные могут быть корректно объединены

• Операции на уровне системы корректно сегментируются по клиентам