Visão geral do esquema

Obtenha uma visão geral das camadas e esquemas do IoT Query e de como referenciar tabelas em SQL.

Esta seção fornece uma visão geral do Consulta IoT esquema de dados, ajudando você a entender como os dados estão organizados e como acessá-los de forma eficaz. O data warehouse foi projetado para oferecer acesso total e flexível aos seus dados da Plataforma por meio de um sistema de banco de dados estruturado.

O que você aprenderá:

• Como os dados são estruturados em camadas e esquemas

• Tabelas principais em cada esquema e o que elas contêm

• Como as tabelas de dados se relacionam entre si

• Como acessar dados usando consultas SQL

• Como funciona a validação de dados

• Melhorias futuras na estrutura de dados

Termos-chave:

• Camada: Um nível em um data warehouse que representa uma etapa do processamento, organização ou acesso aos dados, cada um com uma função distinta.

• Esquema: Um agrupamento lógico de objetos de banco de dados (tabelas, views, etc.)

Estrutura de dados

O Consulta IoT usa uma arquitetura de armazenamento em múltiplas camadas para organizar seus dados. Essa arquitetura fornece confiabilidade, desempenho e escalabilidade, garantindo ao mesmo tempo o isolamento adequado dos dados entre clientes.

Camadas de dados

O sistema segue um modelo de três camadas para organização dos dados:

Camada Raw data

• Dados brutos com transformação mínima

• Ingestão direta de fontes de dados de negócios e telemática

• Estrutura de dados original com convenções de nomenclatura consistentes

• Medallion - Bronze

Camada Transformation

• Dados já processados com validação e enriquecimento

• Estruturas transformadas para análises aprimoradas

• Introdução de controle de qualidade de dados e aplicação de regras de negócio

• Medallion - Silver

Camada Insight

• Conjuntos de dados prontos para uso empresarial, otimizados para relatórios

• Métricas pré-aggregate das e estruturas desnormalizadas

• Views organizadas alinhadas a processos específicos de relatório empresarial

• Medallion - Gold

Mais adiante nesta seção da documentação, você encontrará esquemas de dados mais detalhados para cada camada.

Arquitetura de banco de dados

Cada cliente possui uma instância de banco de dados dedicada para garantir isolamento e segurança dos dados. Dentro desse banco de dados:

Esquema	Descrição	Conteúdo
raw_business_data	Entidades de negócio e dados operacionais	Tabelas centrais de entidades, dados operacionais, dados de referência, dados históricos, tabelas de relacionamento
raw_telematics_data	Rastreamento de dispositivos e dados de sensores	Dados centrais de rastreamento, dados de entrada, dados de estado
repo	Gerenciamento de ativos e inventário	Definições de tipo de ativo, campos personalizados, instâncias de ativos, relacionamentos de ativos, hierarquias de inventário, dados geoespaciais
Metadados	Dados de referência do sistema	tabela description_parameters

Ao consultar dados, você deve especificar tanto o esquema (por exemplo, raw_business_data) quanto o nome da tabela (por exemplo, objects):

SELECT * FROM raw_business_data.objects;

Metadados do cliente e isolamento de dados

O sistema utiliza tabelas de metadados para permitir o isolamento adequado de dados e o suporte a multi-tenant:

• Metadados do revendedor rastreia os relacionamentos revendedor-cliente e os parâmetros de infraestrutura

• Metadados do cliente mapeia dados de negócios e telemática entre esquemas

• Mapeamento cliente-dispositivo garante que os dados telemáticos estejam corretamente associados ao cliente correto

Esta camada de metadados garante que:

• Cada cliente possa acessar apenas seus próprios dados

• Dados telemáticos e de negócios possam ser corretamente unidos

• As operações em nível de sistema sejam devidamente segmentadas por cliente