Couche de transformation

Découvrez comment les données source sont validées et restructurées en entités prêtes pour l'analyse, et ce qu'il faut surveiller lors des requêtes.

Bientôt disponible !

L'architecture de la couche de Transformation décrite sur cette page est actuellement en développement. Bien que les capacités de transformation principales soient opérationnelles, les détails de mise en œuvre peuvent évoluer avant la version finale. Si vous êtes intéressé par un accès anticipé ou si vous avez des questions, contactez [e-mail].

Ce que fait la couche de Transformation

Le Couche Transformation traite les données brutes provenant de la Couche Raw data en entités analytiques normalisées et prêtes pour les requêtes. Là où la couche de Données brutes contient tout ce qui est capturé depuis les appareils et systèmes (points individuels, événements et valeurs de champs utiles pour la vérification et le dépannage), la couche de Transformation transforme ces données brutes en objets significatifs tels que les trajets, les visites de zones et les états opérationnels.

Couche de Transformation en bref : la couche de Données brutes est tout ce qui est collecté, la couche de Transformation est ce avec quoi vous pouvez travailler.

Cette couche intermédiaire élimine les préparations manuelles de données répétitives et rend vos données prêtes pour des analyses concrètes. Les exploitants de flotte peuvent répondre aux questions opérationnelles courantes sans traitement de données intensif, et les intégrateurs obtiennent une base stable pour construire des solutions de reporting et de BI évolutives.

Les transformations peuvent être conçues et configurées en utilisant le Transformation Builder, un outil visuel qui vous permet de créer des entités analytiques personnalisées via une interface de flux de travail par glisser-déposer. Pour plus de détails sur la façon de créer et de gérer les transformations, consultez la documentation du Transformation Builder.

Comment les données sont organisées

La couche de Transformation utilise une approche de schéma dynamique où les structures de la base de données se forment automatiquement en fonction des transformations actives. Contrairement à la couche de Données brutes avec ses définitions de schéma fixes, la couche de Transformation ne contient que les tables correspondant aux transformations actuellement actives. Les tables disponibles et leurs structures dépendent des transformations configurées dans votre Requête IoT instance.

Les données de la couche de Transformation sont organisées en deux schémas PostgreSQL : processed_common_data et processed_custom_data.

processed_common_data

Le processed_common_data ce schéma contient des transformations développées et maintenues par Navixy. Ce schéma est partagé entre tous les clients et fournit des entités analytiques standardisées répondant aux cas d'utilisation télématiques courants. Les tables apparaissent dans ce schéma au fur et à mesure que Navixy déploie de nouvelles transformations pour répondre à des besoins analytiques largement applicables.

Le processed_common_data le schéma est en lecture seule pour les clients externes. Vous pouvez interroger librement les données, mais vous ne pouvez pas modifier les tables, insérer des enregistrements ou altérer les structures dans ce schéma. Pour créer vos propres entités analytiques, utilisez le processed_custom_data schéma via le Transformation Builder.

processed_custom_data

Le processed_custom_data ce schéma contient des transformations spécifiques au client créées pour répondre à des exigences métier uniques. Chaque client dispose d'une instance isolée de ce schéma, de sorte que vos données ne sont pas visibles par d'autres organisations. Les tables de ce schéma correspondent aux transformations que vous configurez et gérez via le Transformation Builder.

Vous avez la pleine propriété de ce schéma : vous décidez des transformations à créer, de la façon dont elles traitent les données et du moment où elles s'exécutent. Le Transformation Builder génère la configuration et le SQL nécessaires pour produire vos entités analytiques personnalisées.

Ce qui se passe lorsque les transformations changent

Lorsque vous activez une transformation, le système crée automatiquement la structure de table correspondante dans le schéma approprié. Lorsque des transformations sont désactivées ou supprimées, leurs tables peuvent être archivées ou supprimées en fonction des politiques de rétention des données.

Cette formation dynamique explique pourquoi la couche de Transformation ne fournit pas de descriptions de schéma fixes comme le fait la couche de Données brutes. Les tables disponibles et leurs structures reflètent les transformations spécifiques configurées pour votre instance IoT Query.

Caractéristiques du traitement des données

Les entités de la couche de Transformation sont maintenues automatiquement via des processus planifiés. Lorsque vous interrogez ces données, prenez en compte les caractéristiques de traitement suivantes.

• Mises à jour planifiées. Chaque transformation traite les nouveaux enregistrements de la couche Données brutes selon son calendrier configuré. Les mises à jour ont généralement lieu toutes les heures ou toutes les quelques heures, en fonction de la complexité et de la configuration de la transformation.

• Fenêtres de traitement. Les transformations opèrent sur des segments temporels afin de traiter efficacement des portions de données gérables plutôt que de scanner des ensembles de données entiers. Cette approche équilibre la performance de traitement et la fraîcheur des données.

• Comportement de recalcul. Lorsque des modifications de configuration déclenchent un recalcul, les données récentes peuvent présenter de brèves incohérences pendant les fenêtres de traitement actives. Ces incohérences se résolvent automatiquement une fois le cycle de traitement terminé.

• Comportement spécifique au schéma. Les transformations dans processed_common_data se mettent à jour simultanément pour tous les clients partageant ce schéma, puisque Navixy gère le calendrier centralement. Les transformations dans processed_custom_data s'exécutent indépendamment par client, vous permettant de personnaliser la planification et la logique de traitement selon vos besoins spécifiques.

Ce qu'il faut prendre en compte lors des requêtes

Lorsque vous écrivez des requêtes SQL contre les données de la couche de Transformation, gardez ces points à l'esprit :

• Utilisez le format complet schema.table. Référencez toujours les tables avec leur préfixe de schéma pour éviter toute ambiguïté :

SELECT *
FROM processed_common_data.table_name
WHERE device_time >= CURRENT_DATE - INTERVAL '7 days';

• Incluez des filtres par plage temporelle. Ajoutez des conditions basées sur le temps dans vos WHERE clauses pour limiter le volume de données analysé. Cela améliore la performance des requêtes et réduit le temps d'exécution.

• Vérifiez les calendriers des transformations. Les données des tables de la couche de Transformation reflètent le cycle de traitement le plus récemment complété. Si vous avez besoin de données âgées de seulement quelques minutes, la couche de Données brutes peut être plus appropriée jusqu'à la prochaine exécution du cycle de transformation.

• Rappelez-vous que processed_common_data est en lecture seule. Utilisez ce schéma pour interroger les entités standardisées maintenues par Navixy. Pour créer vos propres entités analytiques, configurez des transformations dans le processed_custom_data schéma via le Transformation Builder.

Étapes suivantes

• Transformation Builder : Concevez des entités analytiques personnalisées en utilisant l'interface de flux de travail visuelle.

• Couche Raw data: Explorez les schémas sources (raw_telematics_data et raw_business_data ) qui alimentent les transformations.

• Livre de recettes SQL : Apprenez les modèles de requêtes et les bonnes pratiques pour travailler avec les tables de la couche de Transformation dans Dashboard Studio.