Архивирование данных

Navixy — это приложение с интенсивным использованием базы данных: чем больше у вас устройств, тем быстрее будет расти объём данных. В результате архивация данных становится важным аспектом для системных администраторов и часто вызывает вопросы. В этой статье мы предоставим ценные рекомендации по процессу архивации данных.

Таблицы с интенсивным объёмом данных

Важно знать, какие таблицы содержат наибольшее количество данных, чтобы эффективно управлять дисковым пространством. В Navixy используются две базы данных: для Бизнес-данных и для IoT-данных.

В бизнес-базе данныхнаиболее объёмными являются следующие таблицы:

• sensor_data – хранит значения датчиков для устройств;

• history – хранит уведомления, генерируемые платформой;

• counters_data – хранит значения для одометра, моточасов и подобного.

Что касается IoT-базы данных, администратор может просмотреть каждую таблицу и архивировать данные, которые превышают определённую точку, независимо от её конфигурации. Выбор этой точки будет зависеть от конкретных потребностей организации и требований к срокам хранения данных.

Инструменты для архивации данных

В качестве системного администратора вы можете использовать любой инструмент или утилиту, с которыми вы предпочитаете работать или имеете опыт, для архивации данных в Navixy. Тем не менее мы рекомендуем использовать pt-archiver инструмент от Percona, поскольку он предоставляет три удобных варианта:

• удаление данных

• экспорт данных во внешний файл

• экспорт данных в отдельную таблицу

Процесс достаточно настраиваемый, поэтому мы рекомендуем ознакомиться с официальной документацией Percona перед началом работ. Это позволит вам тонко настроить процесс архивации под ваши бизнес-потребности, обеспечив его оптимальность и эффективность.

Освобождение дискового пространства

После завершения процесса архивации данных важно выполнить оператор OPTIMIZE TABLE для дополнительного управления дисковым пространством и оптимизации базы данных. Этот оператор скопирует данные в новую таблицу, удалит старую таблицу и переименует новую в оригинальное имя. Хотя эта процедура может занять значительное время, она является эффективным способом освободить дисковое пространство, улучшить производительность системы и обеспечить стабильную работу вашей инстанции Navixy.

Перед выполнением операции OPTIMIZE TABLE важно убедиться, что опция innodb_file_per_table была включена с самого начала. Начиная с MySQL 5.7 эта опция включена по умолчанию, но в более ранних версиях она могла быть отключена. Если эта опция отключена, её включение на данном этапе может привести к увеличению размера файла ibdata1, что ещё больше усложнит управление дисковым пространством. В таком случае оптимальным вариантом будет экспорт данных, переустановка Navixy и повторный импорт данных в базу. Этот подход позволит вам включить опцию innodb_file_per_table и создать более управляемый размер базы данных, что обеспечит эффективную архивацию данных и оптимизированную производительность. Следуя этим шагам, вы обеспечите оптимизацию инстанции Navixy для эффективного управления данными и повышения производительности системы.