Visão geral do esquema

Esta seção fornece uma visão geral da estrutura dos esquemas de dados do DataHub, ajudando-o a entender como os dados são organizados e como acessá-los de forma eficaz. O data warehouse foi projetado para lhe dar acesso completo e flexível aos dados da sua Plataforma por meio de um sistema de banco de dados estruturado.

O que você aprenderá:

• Como os dados são estruturados em camadas e esquemas

• Tabelas principais em cada esquema e o que elas contêm

• Como as tabelas de dados se relacionam entre si

• Como acessar os dados usando consultas SQL

• Como funciona a validação de dados

• Melhorias futuras na estrutura de dados

Termos-chave:

• Camada: Um nível em um data warehouse que representa uma etapa do processamento, organização ou acesso aos dados, cada um com uma função distinta.

• Esquema: Uma agrupamento lógico de objetos de banco de dados (tabelas, visões, etc.)

Estrutura de dados

O DataHub utiliza uma arquitetura de armazenamento em múltiplas camadas para organizar seus dados. Essa arquitetura oferece confiabilidade, desempenho e escalabilidade, ao mesmo tempo que garante o isolamento adequado de dados entre clientes.

Camadas de dados

O sistema segue um modelo de três camadas para a organização dos dados:

Camada Bronze

• Dados brutos com transformação mínima

• Ingestão direta de fontes de dados de negócios e telemática

• Estrutura de dados original com convenções de nomenclatura consistentes

Camada Silver

• Dados já processados com validação e enriquecimento

• Estruturas transformadas para análises aprimoradas

• Introdução de controle de qualidade de dados e aplicação de regras de negócio

Camada Gold

• Conjuntos de dados prontos para negócios e otimizados para relatórios

• Métricas pré-agregadas e estruturas desnormalizadas

• Visões curadas alinhadas com processos específicos de reporting de negócios

Adiante nesta seção da documentação, você encontrará esquemas de dados mais detalhados para cada camada.

Arquitetura do banco de dados

Cada cliente possui uma instância de banco de dados dedicada para garantir isolamento e segurança dos dados. Dentro deste banco de dados:

Esquema	Descrição	Conteúdo
raw_business_data	Entidades de negócio e dados operacionais	Tabelas de entidades principais, dados operacionais, dados de referência, históricos, tabelas de relacionamento
raw_telematics_data	Rastreamento de dispositivos e dados de sensores	Dados de rastreamento principais, dados de entrada, dados de estado
repo	Gestão de ativos e inventário	Definições de tipos de ativo, campos personalizados, instâncias de ativos, relacionamentos entre ativos, hierarquias de inventário, dados geoespaciais
Metadados	Dados de referência do sistema	tabela description_parameters

Ao consultar dados, você deve especificar tanto o esquema (por exemplo, raw_business_data) quanto o nome da tabela (por exemplo, objects) :

SELECT * FROM raw_business_data.objects;

Metadados do cliente e isolamento de dados

O sistema utiliza tabelas de metadados para permitir o isolamento adequado de dados e suporte multitenant:

• Metadados do dealer rastreia relações dealer-cliente e parâmetros de infraestrutura

• Metadados do cliente mapeia dados de negócios e telemática entre esquemas

• Mapeamento cliente-dispositivo garante que os dados telemáticos sejam corretamente associados ao cliente correto

Essa camada de metadados garante que:

• Cada cliente possa acessar apenas seus próprios dados

• Dados telemáticos e de negócios possam ser devidamente combinados

• Operações em nível de sistema sejam devidamente segmentadas por cliente