Salvar dados de IoT em arquivo CSV
Em determinadas situações, TSPs, integradores e desenvolvedores precisam ver os dados originais e não alterados de seus rastreadores GPS. Esses dados não adulterados são frequentemente chamados de "dados brutos". Ver os dados brutos permite que obtenham uma compreensão mais profunda dos dados coletados e uma visão mais clara de suas características.
Examinar os dados brutos também pode reduzir o tempo necessário para descobrir por que os dispositivos não estão funcionando corretamente. Isso significa que você pode ajudar os usuários a resolver problemas mais rapidamente, o que pode aumentar a confiança deles em seu produto. Além disso, permite que você dedique mais tempo à criação de novas soluções para seus clientes.
Além disso, avanços recentes em tecnologia, inteligência artificial e aprendizado de máquina estão criando novas formas de usar esses dados. Você pode capturar esses dados brutos e usá-los em outros sistemas (por exemplo, CRM, ERP etc.) para análises adicionais ou em diferentes áreas do seu negócio. Dessa forma, é possível recuperar dados brutos em uma etapa, em vez de coletar dados de dispositivos e sensores por meio de diferentes chamadas de API.
Vamos nos aprofundar no conceito de "dados brutos". Com base no valioso feedback fornecido por nossos parceiros e em experimentos realizados no Navixy Lab, elaboramos a definição concisa abaixo.
Dados brutos analisados são o resultado após a decodificação (parsing) dos pacotes de dados recebidos, considerando o protocolo e as especificidades do modelo do dispositivo de origem. Após a decodificação, o pacote é armazenado como parâmetros universais da plataforma, tais como latitude, longitude, can_fuel_liters etc.
Exportação de dados brutos
A partir de nossa pesquisa e desenvolvimento, criamos uma nova ferramenta. Essa ferramenta permite que TSPs, integradores, desenvolvedores e até usuários avançados obtenham dados brutos analisados de qualquer um de seus dispositivos. Eles podem coletar dados de quaisquer parâmetros dos últimos 30 dias em formato CSV. Para facilitar o uso, adicionamos uma seção de exportação de dados brutos à interface do usuário em 'Devices and Settings'.
Escolhemos o formato de arquivo CSV por sua simplicidade e uso comum. É fácil transformá-lo em tabelas ou fornecê-lo a programas que utilizam inteligência artificial ou aprendizado de máquina.
Recursos da exportação de dados brutos
Vamos explorar os recursos desta nova ferramenta:
Ela permite exportar dados brutos analisados de qualquer rastreador GPS em nossa plataforma.
Você pode escolher quaisquer parâmetros de todos os modelos de dispositivo disponíveis para incluir no seu arquivo. Além disso, pode selecionar apenas os parâmetros que são úteis para sua tarefa específica. Para escolher parâmetros, você pode pesquisar facilmente na lista de opções disponíveis para o rastreador GPS selecionado.
Não é necessário ativar o salvamento de dados antes de desejar obtê-los. Todos os dados de todos os dispositivos são gravados automaticamente. Você pode baixar esses dados quando quiser.
Você pode acessar até 30 dias de dados brutos analisados para qualquer rastreador GPS.
Para clientes de grande porte que operam em diferentes países e fusos horários, tornamos mais fácil trabalhar com as informações. A ferramenta pode ajustar os carimbos de data/hora dos pacotes para corresponder ao fuso horário selecionado.
Casos de uso típicos para exportação de dados brutos
Como mencionamos anteriormente, essa nova ferramenta é útil para qualquer pessoa que utilize rastreadores GPS. Agora, vamos falar sobre algumas maneiras de usar esta ferramenta.
Analytics, Machine Learning e IA
Você pode usar os dados recebidos dos rastreadores GPS em um formato que máquinas conseguem ler. Esses dados podem ser fornecidos a sistemas de inteligência artificial ou aprendizado de máquina para processamento. Existem inúmeras formas de utilizar esses dados. Por exemplo, a IA poderia verificar e apontar quando veículos, seus recursos e combustível estão sendo utilizados indevidamente, ou poderia criar mapas de calor.
Verificações de configuração do rastreador GPS
Você pode verificar como seus rastreadores estão configurados observando os dados dos parâmetros. É possível ver se um parâmetro está configurado para enviar dados à plataforma e se seus dados são recebidos nos pacotes do dispositivo. Por exemplo, se não houver dados, isso significa que o parâmetro não está configurado para enviar ou que o sensor foi desconectado do dispositivo GPS e está enviando um código de erro ou nenhuma informação.
Diagnóstico de dados de sensores
Você pode verificar o funcionamento do sensor lendo informações sem multiplicadores ou tabelas de calibração. Por exemplo, se os contatos do sensor de combustível estiverem corroídos, a plataforma pode receber leituras distorcidas do nível de combustível. É muito mais difícil detectar essas alterações usando dados calibrados e relatórios de variação do nível de combustível do que com os dados brutos. Portanto, os dados baixados serão realmente úteis para ajustes finos e correção de funcionamento incorreto. Os dados também podem ser usados para recalibrar o sensor caso ele esteja apresentando leituras incorretas.
Diagnóstico de acionamento de regras
Você pode verificar como os dispositivos processam eventos acompanhando os IDs de evento. É possível tentar disparar um evento manualmente e testar se a plataforma o aciona e se o dispositivo enviou dados sobre ele.
Diagnóstico de dispositivo offline
Você pode identificar com mais precisão por que um dispositivo está offline. Como os outros casos, esta é uma situação comum. Por exemplo, se o dispositivo deixou de aparecer na plataforma, a exportação de dados brutos permite ver quais dados sobre intensidade de sinal, nível da bateria interna e externa estavam sendo enviados à plataforma antes da desconexão. Pode ter ocorrido alguns eventos de desconexão, mas nenhuma regra foi criada. Sem esta ferramenta, você só poderia reunir informações sobre a bateria externa por meio de um relatório e, para eventos sem regra, teria que verificar com o suporte. Agora, você pode rastrear leituras históricas de todos os parâmetros de uma vez para encontrar possíveis razões para a desconexão do dispositivo ou falta de recebimento de dados pelo dispositivo.
Soluções personalizadas para clientes
Você pode criar soluções personalizadas para seus clientes. Por exemplo, um cliente frequentemente precisa de dados para análise de diferentes leituras de dispositivos em um único relatório. Agora, você pode fazer isso usando dados brutos do dispositivo. Você também pode usar esses dados no Grafana ou PowerBi para construir análises avançadas.
Como usar a exportação de dados brutos
Primeiro, é necessário ir à seção 'devices and settings' e procurar na interface do usuário o dispositivo de seu interesse:
Ou, encontre as configurações do rastreador para um dispositivo específico no painel de administração:
Em seguida, clique no botão 'Export data' no portlet 'Raw data':
Isso abrirá a ferramenta 'Raw data export'. Aqui, você precisa escolher o intervalo de datas, o fuso horário e os parâmetros que deseja incluir em um arquivo csv.
Garantimos que a janela não seja fechada acidentalmente ao clicar fora da ferramenta 'Raw data export'. Só é possível fechá-la clicando no 'X' no canto superior direito. Além disso, se você não escolheu outro dispositivo ou atualizou a página, a ferramenta 'Raw data export' lembrará todas as configurações selecionadas anteriormente. Isso facilita verificar as configurações de qualquer rastreador GPS ou sensor, retornar e continuar trabalhando.
Escolhendo o intervalo de datas
Esse processo é igual ao de quando você está criando um histórico de viagens. Você pode selecionar no máximo os últimos 30 dias.
Selecione um intervalo de datas clicando no calendário ou inserindo as datas manualmente. Também é possível definir um horário específico. Aqui estão algumas opções úteis para escolher rapidamente um período:
Ontem
Semana passada
Últimos 30 dias
Ao clicar nessas opções, a plataforma selecionará automaticamente o intervalo correto.
Para facilitar, adicionamos um contador de quantos dias você selecionou. Se tentar escolher uma data com mais de 30 dias, receberá uma mensagem. O botão de seleção não estará disponível.
Escolhendo um fuso horário
Você pode escolher qualquer fuso horário necessário. Por exemplo, se precisar fornecer dados para IA ou ML, que exigem um mesmo fuso horário para todas as mensagens, mesmo que você preste serviços em diferentes países e fusos horários.
Veja como você pode escolher o fuso horário desejado:
Escolha um a partir de uma lista de todos os fusos horários possíveis.
Digite o nome do fuso horário.
Insira o fuso horário, por exemplo -8, +2 etc.
Selecionando parâmetros
A lista de parâmetros que você pode escolher pode variar dependendo do modelo. Inclui todos os parâmetros possíveis que foram integrados à plataforma para cada modelo. Você pode selecionar até 1000 parâmetros no total.
Veja o que você pode fazer:
Selecionar todos os parâmetros clicando na caixa de seleção à esquerda da pesquisa.
Escolher apenas os parâmetros necessários clicando na caixa de seleção à esquerda de cada parâmetro na lista.
Encontrar os parâmetros necessários digitando seu nome ou parte dele.
Se houver mais de uma entrada do mesmo tipo, elas são numeradas (2, 3, 4...). Nesse caso, apenas a entrada com o índice mais alto é retornada. Por exemplo, se AVL IOs de 1 a 100000 estiverem disponíveis para um dispositivo, apenas avl_io_100000 é retornado, embora existam AVL IOs com índices menores.
Depois de selecionar um parâmetro com índice no lado direito, a plataforma solicitará que você especifique quais índices devem ser adicionados ao arquivo. Insira uma lista de números separados por vírgulas ou defina um intervalo de números com um traço. Por exemplo: 1-2, 4, 7.
Para todos os parâmetros e para cada parâmetro de índice, você verá uma contagem mostrando quantos já selecionou.
Cada parâmetro escolhido adicionará uma coluna extra ao arquivo.
Baixando o arquivo de dados brutos
Depois de escolher todos os parâmetros, clique no botão 'Download CSV' para iniciar o download. Você pode abrir o arquivo com qualquer editor de texto ou visualizador de planilhas. Este arquivo CSV usa vírgula para separar os dados.
O nome do arquivo inclui o device ID, o rótulo do rastreador e o intervalo de data e hora no fuso horário.
Cada linha, a partir da segunda, é uma mensagem enviada pelo dispositivo para a plataforma. A primeira linha sempre mostra o horário da mensagem no fuso horário selecionado e o restante são os parâmetros que você selecionou.
Para mais informações sobre como ler e entender o arquivo de dados brutos siga nosso próximo artigo.
Esperamos que esta nova ferramenta seja útil para seu negócio e para seus clientes. Ela deve permitir que você crie muitas novas soluções usando arquivos de dados brutos. Lembre-se, até os menores detalhes podem levar a grandes descobertas. Boas explorações!
Atualizado
Isto foi útil?