Capa de transformación

Aprenda cómo los datos origen se validan y reestructuran en entidades preparadas para análisis, y qué tener en cuenta al consultar.

Próximamente.

La arquitectura de la capa de Transformación descrita en esta página está actualmente en desarrollo. Si bien las capacidades principales de transformación están operativas, los detalles de implementación pueden evolucionar antes del lanzamiento final. Si está interesado en acceso anticipado o tiene preguntas, contacte a [e-mail].

Qué hace la capa de Transformación

El Capa de transformación procesa datos sin procesar desde la Capa de datos en crudo en entidades analíticas normalizadas y listas para consultas. Mientras que la capa de Datos sin procesar contiene todo lo capturado desde dispositivos y sistemas (puntos individuales, eventos y valores de campo útiles para verificación y resolución de problemas), la capa de Transformación convierte esos datos sin procesar en objetos significativos como viajes, visitas a zonas y estados operativos.

Capa de Transformación en breve: la capa de Datos sin procesar es todo lo recopilado, la capa de Transformación es con lo que puede trabajar.

Esta capa intermedia elimina la preparación de datos manual repetitiva y deja sus datos listos para análisis prácticos. Los operadores de flotas pueden responder preguntas operativas comunes sin procesamiento extensivo de datos, y los integradores obtienen una base estable para construir soluciones escalables de informes y BI.

Las transformaciones pueden diseñarse y configurarse usando el Transformation Builder, una herramienta visual que le permite crear entidades analíticas personalizadas mediante una interfaz de flujo de trabajo de arrastrar y soltar. Para detalles sobre cómo construir y gestionar transformaciones, consulte la documentación del Constructor de Transformaciones.

Cómo se organiza la información

La capa de Transformación utiliza un enfoque de esquema dinámico donde las estructuras de la base de datos se forman automáticamente en función de las transformaciones activas. A diferencia de la capa de Datos sin procesar con sus definiciones de esquema fijas, la capa de Transformación contiene solo las tablas que corresponden a transformaciones que están actualmente activas. Las tablas disponibles y sus estructuras dependen de qué transformaciones estén configuradas en su Consulta de IoT instancia.

Los datos de la capa de Transformación se organizan en dos esquemas de PostgreSQL: processed_common_data y processed_custom_data.

processed_common_data

El processed_common_data el esquema contiene transformaciones desarrolladas y mantenidas por Navixy. Este esquema se comparte entre todos los clientes y proporciona entidades analíticas estandarizadas que abordan casos de uso telemático comunes. Las tablas aparecen en este esquema a medida que Navixy despliega nuevas transformaciones para atender requisitos analíticos de amplia aplicabilidad.

El processed_common_data el esquema es solo lectura para clientes externos. Puede consultar los datos libremente, pero no puede modificar tablas, insertar registros ni alterar estructuras en este esquema. Para construir sus propias entidades analíticas, utilice el processed_custom_data esquema a través del Transformation Builder.

processed_custom_data

El processed_custom_data el esquema contiene transformaciones específicas del cliente creadas para abordar requisitos comerciales únicos. Cada cliente tiene una instancia aislada de este esquema, por lo que sus datos no son visibles para otras organizaciones. Las tablas en este esquema corresponden a las transformaciones que usted configura y gestiona a través del Transformation Builder.

Usted tiene la propiedad total de este esquema: decide qué transformaciones crear, cómo procesan los datos y cuándo se ejecutan. El Constructor de Transformaciones genera la configuración y el SQL necesarios para producir sus entidades analíticas personalizadas.

Qué ocurre cuando las transformaciones cambian

Cuando activa una transformación, el sistema crea automáticamente la estructura de tabla correspondiente en el esquema apropiado. Cuando las transformaciones se desactivan o eliminan, sus tablas pueden archivarse o eliminarse según las políticas de retención de datos.

Esta formación dinámica es la razón por la que la capa de Transformación no proporciona descripciones de esquema fijas como lo hace la capa de Datos sin procesar. Las tablas disponibles y sus estructuras reflejan las transformaciones específicas configuradas para su instancia de IoT Query.

Características del procesamiento de datos

Las entidades de la capa de Transformación se mantienen automáticamente mediante procesos programados. Cuando consulte estos datos, considere las siguientes características de procesamiento.

• Actualizaciones programadas. Cada transformación procesa nuevos registros de la capa de Datos sin procesar según su programación configurada. Las actualizaciones suelen ocurrir cada hora o cada pocas horas, dependiendo de la complejidad y configuración de la transformación.

• Ventanas de procesamiento. Las transformaciones operan en segmentos basados en el tiempo para procesar de manera eficiente porciones manejables de datos en lugar de escanear conjuntos de datos completos. Este enfoque equilibra el rendimiento de procesamiento con la frescura de los datos.

• Comportamiento de recálculo. Cuando los cambios de configuración desencadenan un recálculo, los datos recientes pueden mostrar breves inconsistencias durante las ventanas activas de procesamiento. Estas inconsistencias se resuelven automáticamente una vez que finaliza el ciclo de procesamiento.

• Comportamiento específico por esquema. Las transformaciones en processed_common_data se actualizan simultáneamente para todos los clientes que comparten ese esquema, ya que Navixy gestiona la programación de forma centralizada. Las transformaciones en processed_custom_data se ejecutan de manera independiente por cliente, permitiéndole personalizar la programación y la lógica de procesamiento según sus necesidades específicas.

Qué considerar al consultar

Al escribir consultas SQL contra los datos de la capa de Transformación, tenga en cuenta estos puntos:

• Use el formato completo esquema.tabla. Siempre haga referencia a las tablas con su prefijo de esquema para evitar ambigüedad:

SELECT *
FROM processed_common_data.table_name
WHERE device_time >= CURRENT_DATE - INTERVAL '7 days';

• Incluya filtros por rango de tiempo. Agregue condiciones basadas en tiempo en sus WHERE cláusulas para limitar el volumen de datos escaneados. Esto mejora el rendimiento de las consultas y reduce el tiempo de ejecución.

• Compruebe las programaciones de transformación. Los datos en las tablas de la capa de Transformación reflejan el ciclo de procesamiento completado más reciente. Si necesita datos que tengan solo unos minutos de antigüedad, la capa de Datos sin procesar puede ser más apropiada hasta que se ejecute el siguiente ciclo de transformación.

• Recuerde que processed_common_data es solo lectura. Use este esquema para consultar entidades estandarizadas mantenidas por Navixy. Para crear sus propias entidades analíticas, configure transformaciones en el processed_custom_data esquema a través del Transformation Builder.

Próximos pasos

• Transformation Builder: Diseñe entidades analíticas personalizadas usando la interfaz visual de flujo de trabajo.

• Capa de datos en crudo: Explore los esquemas de origen (raw_telematics_data y raw_business_data) que alimentan las transformaciones.

• Libro de recetas SQL: Aprenda patrones de consulta y mejores prácticas para trabajar con tablas de la capa de Transformación en Dashboard Studio.