Enregistrer les données IoT dans un fichier CSV

Dans certains cas, les TSP, intégrateurs et développeurs ont besoin de voir les données originales et non altérées provenant de leurs traceurs GPS. Ces données non modifiées sont souvent appelées « données brutes ». Consulter les données brutes leur permet d'obtenir une compréhension plus approfondie des données collectées et d'avoir une vision plus claire de leurs caractéristiques.

L'examen des données brutes peut également réduire le temps nécessaire pour déterminer pourquoi des dispositifs ne fonctionnent pas correctement. Cela signifie que vous pouvez aider les utilisateurs à résoudre les problèmes plus rapidement, ce qui peut renforcer leur confiance dans votre produit. De plus, cela vous permet de consacrer davantage de temps à la création de nouvelles solutions pour vos clients.

En outre, les progrès récents de la technologie, de l'intelligence artificielle et de l'apprentissage automatique créent de nouvelles façons d'utiliser ces données. Vous pouvez récupérer ces données brutes et les utiliser dans d'autres systèmes (par exemple CRM, ERP, etc.) pour des analyses supplémentaires ou dans d'autres domaines de votre activité. Cette approche vous permet d'extraire les données brutes en une seule étape, au lieu de collecter les données des dispositifs et capteurs via différents appels API.

Approfondissons la notion de « données brutes ». En nous appuyant sur les retours précieux fournis par nos partenaires et sur des expérimentations réalisées dans Navixy Lab, nous avons élaboré la définition concise ci-dessous.

Les données brutes analysées sont le résultat du décodage (parsing) des paquets de données entrants, en tenant compte du protocole et des spécificités du modèle d'appareil d'origine. Après décodage, le paquet est enregistré sous forme de paramètres universels de la plateforme tels que latitude, longitude, can_fuel_liters, etc.

Exportation de données brutes

À partir de notre recherche et développement, nous avons créé un nouvel outil. Cet outil permet aux TSP, intégrateurs, développeurs et même aux utilisateurs avancés d'obtenir des données brutes analysées pour n'importe lequel de leurs appareils. Ils peuvent collecter des données sur n'importe quels paramètres des 30 derniers jours au format CSV. Pour faciliter son utilisation, nous avons ajouté une section d'exportation de données brutes à l'interface utilisateur sous « Devices and Settings ».

Nous avons choisi le format de fichier CSV pour sa simplicité et son usage courant. Il est facile à transformer en tableaux ou à fournir à des programmes exploitant l'intelligence artificielle ou l'apprentissage automatique.

Exportation de données brutes

Fonctionnalités de l'exportation de données brutes

Examinons les fonctionnalités de ce nouvel outil :

  • Il vous permet d'exporter des données brutes analysées pour n'importe quel traceur GPS sur notre plateforme.

  • Vous pouvez choisir n'importe quels paramètres parmi tous les modèles d'appareils disponibles à inclure dans votre fichier. De plus, vous pouvez sélectionner uniquement les paramètres utiles à votre tâche spécifique. Pour choisir les paramètres, vous pouvez facilement rechercher dans la liste des options disponibles pour votre traceur GPS choisi.

  • Il n'est pas nécessaire d'activer l'enregistrement des données avant de vouloir obtenir les données. Toutes les données pour tous les appareils sont enregistrées automatiquement. Vous pouvez télécharger ces données quand vous le souhaitez.

  • Vous pouvez accéder jusqu'à 30 jours de données brutes analysées pour n'importe quel traceur GPS.

  • Pour les grands clients opérant dans différents pays et fuseaux horaires, nous avons simplifié la gestion des informations. L'outil peut ajuster les horodatages des paquets pour correspondre au fuseau horaire que vous avez sélectionné.

Cas d'utilisation typiques de l'exportation de données brutes

Comme mentionné précédemment, ce nouvel outil est utile pour quiconque utilise des traceurs GPS. Voyons maintenant quelques façons dont vous pourriez utiliser cet outil.

Analytique, Machine Learning et IA

Vous pouvez utiliser les données entrantes des traceurs GPS dans un format lisible par des machines. Ces données peuvent être fournies à l'intelligence artificielle ou à l'apprentissage automatique pour traitement. Les usages sont innombrables. Par exemple, l'IA pourrait détecter et signaler les usages inappropriés des véhicules, de leurs ressources et du carburant, ou générer des cartes thermiques.

Vérifications de configuration des traceurs GPS

Vous pouvez vérifier la configuration de vos traceurs en examinant les données sur les paramètres. Vous pouvez voir si un paramètre est configuré pour envoyer des données à la plateforme et si ses données sont bien reçues dans les paquets de l'appareil. Par exemple, s'il n'y a pas de données, cela signifie que le paramètre n'est pas configuré pour l'envoi ou que le capteur a été déconnecté du dispositif GPS et envoie un code d'erreur ou aucune information du tout.

Diagnostic des données de capteurs

Vous pouvez vérifier le fonctionnement du capteur en lisant les informations sans multiplicateurs ni tables d'étalonnage. Par exemple, si les contacts du capteur de carburant sont oxydés, la plateforme peut recevoir des lectures de niveau de carburant faussées. Il est beaucoup plus difficile de repérer ces changements en utilisant des données calibrées et des rapports de variation du niveau de carburant qu'avec les données brutes. Ainsi, les données téléchargées seront très utiles pour ajuster finement et corriger un mauvais fonctionnement. Les données peuvent également être utilisées pour recalibrer le capteur s'il affiche des valeurs incorrectes.

Diagnostic de déclenchement des règles

Vous pouvez vérifier comment les appareils traitent les événements en suivant les ID d'événements. Vous pouvez essayer de déclencher manuellement un événement et tester si la plateforme le déclenche et si l'appareil a envoyé des données le concernant.

Diagnostic hors ligne des appareils

Vous pouvez déterminer plus précisément pourquoi un appareil est hors ligne. Comme pour les autres cas, il s'agit d'une situation courante. Par exemple, si l'appareil a cessé d'apparaître sur la plateforme, l'exportation des données brutes vous permet de voir quelles données sur la puissance du signal, la charge de la batterie interne et externe étaient envoyées à la plateforme avant la déconnexion. Il peut y avoir eu des événements de déconnexion, mais aucune règle n'a été créée. Sans cet outil, vous ne pourriez rassembler des informations sur la batterie externe que via un rapport, et pour les événements sans règle, vous auriez dû contacter le support. Désormais, vous pouvez suivre les relevés historiques pour tous les paramètres en une seule fois afin de trouver les raisons possibles de la déconnexion de l'appareil ou de l'absence de données provenant de l'appareil.

Solutions personnalisées pour les clients

Vous pouvez créer des solutions personnalisées pour vos clients. Par exemple, un client a souvent besoin de données pour l'analyse de différentes lectures d'appareils dans un seul rapport. Désormais, vous pouvez le faire en utilisant les données brutes des appareils. Vous pouvez également utiliser ces données dans Grafana ou PowerBi pour construire des analyses avancées.

Comment utiliser l'exportation de données brutes

Tout d'abord, vous devez aller dans la section « Devices and Settings » et rechercher l'appareil qui vous intéresse dans l'interface utilisateur :

Interface onglet Devices and Settings

Ou bien, trouvez les paramètres du traceur pour un appareil spécifique dans le panneau d'administration :

Paramètres du traceur Panneau d'administration

Ensuite, cliquez sur le bouton « Export data » dans le portlet « Raw data » :

Cela ouvrira l'outil « Raw data export ». Ici, vous devez choisir la plage de dates, le fuseau horaire et les paramètres que vous souhaitez inclure dans un fichier csv.

Fenêtre de l'outil Raw data export

Nous avons veillé à ce que vous ne fermiez pas accidentellement la fenêtre en cliquant en dehors de l'outil « Raw data export ». Vous ne pouvez la fermer qu'en cliquant sur le « X » en haut à droite. De plus, si vous n'avez pas choisi un autre appareil ou actualisé la page, l'outil « Raw data export » se souviendra de tous les paramètres que vous avez précédemment sélectionnés. Cela facilite la vérification des paramètres de n'importe quel traceur GPS ou capteur, puis de revenir et continuer votre travail.

Choix de la plage de dates

Ce processus est identique à celui de la création d'un historique de déplacement. Vous pouvez sélectionner au maximum les 30 derniers jours.

Sélectionnez une plage de dates soit en cliquant sur le calendrier, soit en entrant les dates manuellement. Vous pouvez également définir une heure spécifique. Voici quelques options pratiques pour choisir rapidement une période :

  • Hier

  • La semaine dernière

  • Les 30 derniers jours

Lorsque vous cliquez sur ces options, la plateforme sélectionnera automatiquement la plage appropriée.

Sélecteur de plage de données Raw data export

Pour vous faciliter la tâche, nous avons ajouté un compteur indiquant combien de jours vous avez sélectionnés. Si vous essayez de choisir une date qui remonte à plus de 30 jours, un message s'affichera. Le bouton de sélection ne sera pas disponible.

Choix d'un fuseau horaire

Vous pouvez choisir n'importe quel fuseau horaire dont vous avez besoin. Par exemple, si vous devez fournir des données à l'IA ou au ML, qui nécessitent un même fuseau horaire pour tous les messages, même si vous fournissez des services dans différents pays et fuseaux horaires.

Voici comment vous pouvez choisir le fuseau horaire souhaité :

  • Choisissez-en un dans une liste de tous les fuseaux horaires possibles.

  • Saisissez le nom du fuseau horaire.

  • Entrez le fuseau horaire, par exemple -8, +2, etc.

Sélecteur de fuseau horaire Raw data export

Sélection des paramètres

La liste des paramètres parmi lesquels vous pouvez choisir peut varier selon le modèle. Elle inclut tous les paramètres possibles qui ont été intégrés dans la plateforme pour chaque modèle. Vous pouvez sélectionner jusqu'à 1000 paramètres au total.

Voici ce que vous pouvez faire :

  • Sélectionner tous les paramètres en cliquant sur la case à cocher à gauche de la recherche.

  • Choisir uniquement les paramètres dont vous avez besoin en cliquant sur la case à cocher à gauche de chaque paramètre de la liste.

  • Trouver les paramètres dont vous avez besoin en saisissant leur nom ou une partie de leur nom.

S'il existe plusieurs entrées du même type, elles sont numérotées (2, 3, 4...). Dans ce cas, seule l'entrée avec l'indice le plus élevé est renvoyée. Par exemple, si des AVL IOs de 1 à 100000 sont disponibles pour un appareil, seul avl_io_100000 est renvoyé, même si des AVL IOs avec des indices plus petits existent également.

Une fois que vous sélectionnez un tel paramètre indicé sur le côté droit, la plateforme vous demandera de préciser quels indices doivent être ajoutés au fichier. Saisissez une liste de nombres séparés par des virgules, ou définissez une plage de nombres avec un tiret. Par exemple, 1-2, 4, 7.

Pour tous les paramètres et chaque paramètre indicé, vous verrez un compteur affichant combien vous en avez déjà choisis.

Chaque paramètre que vous choisissez ajoutera une colonne supplémentaire au fichier.

Sélection des paramètres Raw data export

Téléchargement du fichier de données brutes

Une fois que vous avez choisi tous les paramètres, cliquez sur le bouton « Download CSV » pour lancer le téléchargement. Vous pouvez ouvrir le fichier avec n'importe quel éditeur de texte ou visualiseur de tableaux. Ce fichier CSV utilise la virgule comme séparateur de données.

Le nom du fichier inclut l'ID de l'appareil, le libellé du traceur et la plage de date et d'heure dans le fuseau horaire.

Chaque ligne, à partir de la deuxième, correspond à un message envoyé par l'appareil à la plateforme. La première ligne affiche toujours l'heure du message dans le fuseau horaire sélectionné et le reste correspond aux paramètres que vous avez sélectionnés.

Exemple de colonnes de données brutes

Pour plus d'informations sur la lecture et la compréhension du fichier de données brutes suivez notre prochain article.

Nous espérons que ce nouvel outil sera utile pour votre entreprise et vos clients. Il devrait vous permettre de créer de nombreuses nouvelles solutions en utilisant les fichiers de données brutes. N'oubliez pas que même les plus petits détails peuvent conduire à de grandes découvertes. Bonne exploration !

Mis à jour

Ce contenu vous a-t-il été utile ?