Сохранение данных IoT в CSV-файл
В некоторых случаях TSP, интеграторам и разработчикам необходимо видеть исходные, неизменённые данные от их GPS-трекеров. Эти неподдельные данные часто называют «raw data» (сырые данные). Просмотр raw data позволяет глубже понять собранные данные и получить более чёткое представление об их характеристиках.
Анализ raw data также может сократить время на выяснение причин некорректной работы устройств. Это означает, что вы сможете помогать пользователям устранять проблемы быстрее, что повысит доверие к вашему продукту. Кроме того, это освободит больше времени для разработки новых решений для ваших клиентов.
Кроме того, недавние достижения в технологиях, искусственном интеллекте и машинном обучении открывают новые способы использования этих данных. Вы можете извлечь raw data и использовать их в других системах (например, CRM, ERP и т. д.) для дополнительного анализа или в разных областях бизнеса. Такой подход позволяет получить сырые данные за один шаг, вместо того чтобы собирать данные с устройств и датчиков через разные вызовы API.
Давайте поглубже разберёмся с понятием «raw data». Опираясь на ценные отзывы наших партнёров, а также на эксперименты в Navixy Lab, мы подготовили краткое определение ниже.
Экспорт raw data
В результате наших исследований и разработок мы создали новый инструмент. Этот инструмент позволяет TSP, интеграторам, разработчикам и даже продвинутым пользователям получать парсенные raw data с любых их устройств. Они могут собрать данные по любым параметрам за последние 30 дней в формате CSV. Для удобства мы добавили раздел экспорта raw data в пользовательский интерфейс в «Devices and Settings».
Мы выбрали формат CSV за его простоту и широкое распространение. Его легко преобразовать в таблицы или передать программам, использующим искусственный интеллект или машинное обучение.
Функциональные возможности экспорта raw data
Давайте рассмотрим возможности этого нового инструмента:
Он позволяет выгружать парсенные raw data для любого GPS-трекера на нашей платформе.
Вы можете выбрать любые параметры из всех доступных моделей устройств для включения в файл. Кроме того, можно выбрать только те параметры, которые полезны для вашей конкретной задачи. Для выбора параметров вы можете легко искать в списке доступных опций для выбранного GPS-трекера.
Нет необходимости включать сохранение данных заранее — все данные для всех устройств записываются автоматически. Вы можете скачать эти данные в любое время.
Вы можете получить доступ к парсенным raw data за последние 30 дней для любого GPS-трекера.
Для крупных клиентов, работающих в разных странах и часовых поясах, мы упростили работу с информацией. Инструмент может корректировать временные метки пакетов в соответствии с выбранным часовым поясом.
Типичные сценарии использования экспорта raw data
Как уже упоминалось, этот новый инструмент полезен для всех, кто работает с GPS-трекерами. Далее приведены некоторые варианты использования этого инструмента.
Аналитика, машинное обучение и ИИ
Вы можете использовать входящие данные от GPS-трекеров в формате, который понятен машинам. Эти данные можно передавать в системы искусственного интеллекта или машинного обучения для обработки. Способы использования таких данных практически безграничны. Например, ИИ может выявлять и указывать случаи неправильного использования транспортных средств, их ресурсов и топлива или строить тепловые карты.
Проверки конфигурации GPS-трекера
Вы можете проверить, как настроены ваши трекеры, посмотрев данные по параметрам. Вы увидите, настроен ли параметр на отправку данных на платформу и принимаются ли его данные в пакетах устройства. Например, если данных нет, это означает, что параметр не настроен на отправку или датчик отключён от GPS-устройства и отправляет код ошибки или вообще не передаёт информацию.
Диагностика данных датчиков
Вы можете проверить работу датчика, читая информацию без множителей или таблиц калибровки. Например, если контакты топливного датчика заржавели, платформа может получать искажённые показания уровня топлива. Эти изменения гораздо труднее обнаружить, используя калиброванные данные и отчёты об изменении уровня топлива, чем по raw data. Поэтому загруженные данные будут очень полезны для тонкой настройки и устранения некорректной работы. Данные также можно использовать для перекалибровки датчика, если он показывает неверные значения.
Диагностика срабатывания правил
Вы можете проверить, как устройства обрабатывают события, отслеживая ID событий. Можно попытаться вручную инициировать событие и протестировать, срабатывает ли оно на платформе и отправил ли устройство данные о нём.
Диагностика офлайн-устройств
Вы сможете точнее определить, почему устройство оказалось офлайн. Как и в других случаях, это распространённая ситуация. Например, если устройство перестало отображаться на платформе, экспорт raw data позволит увидеть, какие данные о силе сигнала, уровне внутренней и внешней батареи отправлялись на платформу до отключения. Возможны события разъединения, для которых не было создано правило. Без этого инструмента вы могли бы собирать информацию о внешней батарее только через отчёт, а по событиям без правила пришлось бы обращаться в поддержку. Теперь вы можете отслеживать исторические показания по всем параметрам одновременно, чтобы найти возможные причины отключения устройства или отсутствия данных от устройства.
Пользовательские решения для клиентов
Вы можете создавать кастомные решения для своих клиентов. Например, клиенту часто нужны данные для аналитики по различным показателям устройства в одном отчёте. Теперь вы можете сделать это, используя raw data устройств. Эти данные также можно использовать в Grafana или PowerBi для построения продвинутой аналитики.
Как пользоваться экспортом raw data
Сначала необходимо перейти в раздел «devices and settings» и найти интересующее вас устройство в пользовательском интерфейсе:
Или найдите настройки трекера для конкретного устройства в админ-панели:
Далее нажмите кнопку «Export data» в портлете «Raw data»:
Откроется инструмент «Raw data export». Здесь нужно выбрать диапазон дат, часовой пояс и параметры, которые вы хотите включить в csv-файл.
Мы сделали так, чтобы вы случайно не закрыли окно, кликнув вне инструмента «Raw data export». Закрыть его можно только кнопкой «X» в правом верхнем углу. Также, если вы не выбрали другое устройство и не обновили страницу, инструмент «Raw data export» запомнит все ранее выбранные настройки. Это упрощает проверку настроек любого GPS-трекера или датчика, возврат к предыдущей задаче и продолжение работы.
Выбор диапазона дат
Этот процесс аналогичен созданию истории поездок. Вы можете выбрать максимум последние 30 дней.
Выберите диапазон дат, нажав в календаре или введя даты вручную. Также можно указать конкретное время. Вот несколько удобных опций для быстрого выбора периода:
Вчера
Прошлая неделя
Последние 30 дней
При нажатии на эти опции платформа автоматически установит соответствующий диапазон.
Чтобы вам было проще, мы добавили счётчик количества выбранных дней. Если вы попытаетесь выбрать дату старше 30 дней, вы получите сообщение. Кнопка выбора будет недоступна.
Выбор часового пояса
Вы можете выбрать любой необходимый часовой пояс. Например, если вам нужно передать данные для AI или ML, которые требуют единого часового пояса для всех сообщений, даже если вы предоставляете услуги в разных странах и часовых поясах.
Вот как вы можете выбрать нужный часовой пояс:
Выберите один из списка всех возможных часовых поясов.
Введите название часового пояса.
Укажите смещение часового пояса, например -8, +2 и т. д.
Выбор параметров
Список параметров, доступных для выбора, может различаться в зависимости от модели. Он включает все возможные параметры, интегрированные в платформу для каждой модели. Всего вы можете выбрать до 1000 параметров.
Вот что вы можете сделать:
Выбрать все параметры, поставив галочку слева от поля поиска.
Выбрать только нужные параметры, поставив галочку слева от каждого параметра в списке.
Найти нужные параметры, введя их название или часть названия.
Если имеется несколько входов одного типа, они нумеруются (2, 3, 4...). В этом случае возвращается только вход с наивысшим индексом. Например, если для устройства доступны AVL IOs с 1 по 100000, будет возвращён только avl_io_100000, даже если AVL IOs с меньшими индексами также существуют.
После выбора такого индексного параметра справа платформа попросит указать, какие индексы должны быть добавлены в файл. Введите список чисел, разделённых запятыми, или задайте диапазон чисел с помощью дефиса. Например: 1-2, 4, 7.
Для всех параметров и каждого индексного параметра вы увидите счётчик, показывающий, сколько вы уже выбрали.
Каждый выбранный параметр добавит дополнительный столбец в файл.
Скачивание файла raw data
После того как вы выбрали все параметры, нажмите кнопку «Download CSV», чтобы начать загрузку. Вы можете открыть файл в любом текстовом редакторе или просмотрщике таблиц. В этом CSV-файле данные разделяются запятой.
Имя файла включает device ID, метку трекера и диапазон дат и времени в выбранном часовом поясе.
Каждая строка, начиная со второй, представляет собой сообщение от устройства, отправленное на платформу. Первая строка всегда показывает время сообщения в выбранном часовом поясе, а остальные — выбранные вами параметры.
Для получения дополнительной информации о чтении и понимании файла raw data следуйте нашей следующей статье.
Надеемся, что этот новый инструмент окажется полезным для вашего бизнеса и ваших клиентов. Он позволит вам создавать множество новых решений на основе файлов raw data. Помните, даже самые мелкие детали могут привести к большим открытиям. Приятного изучения!
Последнее обновление
Это было полезно?