Camada de transformação

Saiba como os dados de origem são validados e remodelados em entidades prontas para análise, e o que observar ao consultar.

Em breve!

A arquitetura da camada de Transformação descrita nesta página está atualmente em desenvolvimento. Embora as capacidades centrais de transformação estejam operacionais, detalhes de implementação podem evoluir antes do lançamento final. Se estiver interessado em acesso antecipado ou tiver dúvidas, contate [e-mail].

O que a camada de Transformação faz

O Camada Transformation processa dados brutos do Camada Raw data em entidades analíticas normalizadas e prontas para consulta. Enquanto a camada de Dados brutos contém tudo capturado de dispositivos e sistemas (pontos individuais, eventos e valores de campo úteis para verificação e solução de problemas), a camada de Transformação converte esses dados brutos em objetos significativos, como viagens, visitas a zonas e estados operacionais.

Camada de Transformação em resumo: a camada de Dados brutos é tudo o que é coletado; a camada de Transformação é com o que você pode trabalhar.

Essa camada intermediária elimina a preparação manual de dados repetitiva e deixa seus dados prontos para análises práticas. Operadores de frotas podem responder a perguntas operacionais comuns sem processamento de dados extensivo, e integradores ganham uma base estável para construir relatórios escaláveis e soluções de BI.

As transformações podem ser projetadas e configuradas usando o Transformation Builder, uma ferramenta visual que permite criar entidades analíticas personalizadas por meio de uma interface de fluxo de trabalho com arrastar e soltar. Para detalhes sobre como construir e gerenciar transformações, consulte a documentação do Transformation Builder.

Como os dados são organizados

A camada de Transformação usa uma abordagem de esquema dinâmico onde as estruturas de banco de dados se formam automaticamente com base nas transformações ativas. Ao contrário da camada de Dados brutos, com suas definições de esquema fixas, a camada de Transformação contém apenas as tabelas que correspondem às transformações atualmente ativas. As tabelas disponíveis e suas estruturas dependem de quais transformações estão configuradas em sua Consulta IoT instância.

Os dados da camada de Transformação são organizados em dois schemas do PostgreSQL: processed_common_data e processed_custom_data.

processed_common_data

O processed_common_data schema contém transformações desenvolvidas e mantidas pela Navixy. Esse schema é compartilhado entre todos os clientes e fornece entidades analíticas padronizadas que atendem a casos de uso telemáticos comuns. As tabelas aparecem neste schema conforme a Navixy implanta novas transformações para atender requisitos analíticos de ampla aplicabilidade.

O processed_common_data schema é somente leitura para clientes externos. Você pode consultar os dados livremente, mas não pode modificar tabelas, inserir registros ou alterar estruturas neste schema. Para criar suas próprias entidades analíticas, use o processed_custom_data schema por meio do Transformation Builder.

processed_custom_data

O processed_custom_data schema contém transformações específicas do cliente criadas para atender a requisitos de negócios únicos. Cada cliente possui uma instância isolada desse schema, então seus dados não são visíveis para outras organizações. As tabelas neste schema correspondem às transformações que você configura e gerencia por meio do Transformation Builder.

Você tem plena propriedade deste schema: você decide quais transformações criar, como elas processam os dados e quando elas são executadas. O Transformation Builder gera a configuração e o SQL necessários para produzir suas entidades analíticas personalizadas.

O que acontece quando as transformações mudam

Quando você ativa uma transformação, o sistema cria automaticamente a estrutura de tabela correspondente no schema apropriado. Quando transformações são desativadas ou removidas, suas tabelas podem ser arquivadas ou excluídas com base nas políticas de retenção de dados.

Essa formação dinâmica é o motivo pelo qual a camada de Transformação não fornece descrições de esquema fixas como a camada de Dados brutos. As tabelas disponíveis e suas estruturas refletem as transformações específicas configuradas para sua instância do IoT Query.

Características do processamento de dados

As entidades da camada de Transformação são mantidas automaticamente por meio de processos agendados. Ao consultar esses dados, considere as seguintes características de processamento.

• Atualizações agendadas. Cada transformação processa novos registros da camada de Dados brutos de acordo com sua programação configurada. Atualizações normalmente ocorrem a cada hora ou a cada poucas horas, dependendo da complexidade e configuração da transformação.

• Janelas de processamento. As transformações operam em segmentos baseados em tempo para processar eficientemente porções gerenciáveis de dados em vez de varrer conjuntos de dados inteiros. Essa abordagem equilibra desempenho de processamento com atualidade dos dados.

• Comportamento de recálculo. Quando alterações de configuração acionam um recálculo, dados recentes podem apresentar breves inconsistências durante janelas de processamento ativas. Essas inconsistências se resolvem automaticamente assim que o ciclo de processamento for concluído.

• Comportamento específico por schema. Transformações em processed_common_data são atualizadas simultaneamente para todos os clientes que compartilham esse schema, já que a Navixy gerencia a programação centralmente. Transformações em processed_custom_data executam de forma independente por cliente, permitindo que você personalize a programação e a lógica de processamento para suas necessidades específicas.

O que considerar ao consultar

Ao escrever consultas SQL contra dados da camada de Transformação, tenha em mente estes pontos:

• Use o formato completo schema.tabela. Sempre referencie tabelas com seu prefixo de schema para evitar ambiguidades:

SELECT *
FROM processed_common_data.table_name
WHERE device_time >= CURRENT_DATE - INTERVAL '7 days';

• Inclua filtros por intervalo de tempo. Adicione condições baseadas em tempo em suas WHERE cláusulas para limitar o volume de dados varridos. Isso melhora o desempenho da consulta e reduz o tempo de execução.

• Verifique as programações das transformações. Os dados nas tabelas da camada de Transformação refletem o ciclo de processamento concluído mais recente. Se você precisar de dados com apenas alguns minutos de idade, a camada de Dados brutos pode ser mais apropriada até que o próximo ciclo de transformação seja executado.

• Lembre-se de que processed_common_data é somente leitura. Use este schema para consultar entidades padronizadas mantidas pela Navixy. Para criar suas próprias entidades analíticas, configure transformações no processed_custom_data schema por meio do Transformation Builder.

Próximos passos

• Transformation Builder: Projete entidades analíticas personalizadas usando a interface de fluxo de trabalho visual.

• Camada Raw data: Explore os schemas de origem (raw_telematics_data e raw_business_data) que alimentam as transformações.

• Livro de Receitas SQL: Aprenda padrões de consulta e melhores práticas para trabalhar com tabelas da camada de Transformação no Dashboard Studio.