Подключение Apache Superset

В этой статье мы пройдем процесс подключения Apache Superset к аналитической базе данных. Чтобы сделать материал более наглядным, мы также создадим панель мониторинга, которая подключается к аналитической базе данных и отслеживает состояние транспортных средств в режиме реального времени — всё с использованием Apache Superset.

Это руководство является частью IoT Query наборa документации и специально охватывает подключение Power BI к вашему хранилищу данных. Если вы всё ещё выбираете BI‑инструмент, обратитесь к Выбор инструментов BI обзору.

Функции панели мониторинга

• Отображение общего количества объектов

• Визуализация статусов движения транспортных средств (движется/остановлено/припарковалось)

• Визуализация статусов подключения (активен/в простое/офлайн)

• Подробная таблица с текущим статусом всех транспортных средств

• Фильтрация по типу транспортного средства, группе, статусу движения и статусу подключения

• Возможности экспорта данных и отчетов

• Настраиваемые уведомления и оповещения

Технические требования

• Docker и Docker Compose

• Минимум 4 ГБ ОЗУ (рекомендуется 8 ГБ)

• 20 ГБ свободного дискового пространства

• Linux/Windows с WSL2/macOS

• Python 3.8+

• Доступ в интернет для подключения к базе данных

Установка и настройка

1. Установка с помощью Docker (рекомендуемый метод)

1. Установите Docker и Docker Compose, следуя официальной документации:

• Установка Docker

• Установка Docker Compose

1. Скачайте официальный файл docker-compose:

curl -fL https://raw.githubusercontent.com/apache/superset/master/docker-compose-non-dev.yml -o docker-compose.yml

1. Запустите Superset:

docker-compose up -d

1. Создайте администратора:

docker-compose exec superset superset fab create-admin \
  --username admin \
  --firstname Superset \
  --lastname Admin \
  --email [email protected] \
  --password admin

1. Инициализируйте базу данных:

docker-compose exec superset superset db upgrade

1. Загрузите примеры и инициализируйте роли:

docker-compose exec superset superset init

2. Установка через pip (для разработки)

1. Создайте виртуальное окружение:

python -m venv venv
source venv/bin/activate  # для Linux/macOS
# или
.\venv\Scripts\activate  # для Windows

1. Установите Superset:

pip install apache-superset

1. Инициализируйте базу данных:

superset db upgrade

1. Создайте администратора:

export FLASK_APP=superset
superset fab create-admin

1. Загрузите примеры и инициализируйте роли:

superset init

1. Запустите Superset:

superset run -p 8088 --with-threads --reload --debugger

Подключение к базе данных

1. Войдите в Superset (по умолчанию: http://localhost:8088)

2. Перейдите в Data → Databases

3. Нажмите "+" чтобы добавить новую базу данных

4. Заполните параметры подключения:

   1. Database: PostgreSQL

   2. SQLAlchemy URI: postgresql://${DB_USER}:${DB_PASS}@${DB_HOST}:${DB_PORT}/${DB_NAME}

   3. Display Name: Analytics Database

   4. Extra: {"engine_params": {"connect_args": {"sslmode": "require"}}}

5. Нажмите Test Connection чтобы проверить подключение

6. Сохраните настройки

Справочник параметров подключения

Параметр Lakehouse	Расположение настройки в Apache Superset	Примечания
Хост	DB_HOST в SQLAlchemy URI	Адрес сервера базы данных, указанный в вашем приветственном письме
Порт	DB_PORT в SQLAlchemy URI	По умолчанию 5432 для PostgreSQL
Имя базы данных	DB_NAME в SQLAlchemy URI	Назначенное вам имя базы данных
Имя пользователя	DB_USER в SQLAlchemy URI	Ваше имя пользователя базы данных
Пароль	DB_PASS в SQLAlchemy URI	Ваш защищённый пароль базы данных
Режим SSL	connect_args в параметрах Extra	Установите значение require в JSON‑конфигурации Extra
Схема	Настройка набора данных	Укажите схему (raw_business_data или raw_telematics_data) в каждом наборе данных

Импорт панели мониторинга и диаграмм

1. Клонируйте репозиторий bi-integratons репозиторий:

git clone https://github.com/SquareGPS/bi-intergrations.git

1. В Superset перейдите в Settings → Import/Export

2. Импортируйте файлы в следующем порядке:

   1. datasets.json - datasets

   2. charts.json - charts

   3. dashboards.json - dashboards

3. После импорта обновите подключения к базам данных в каждом наборе данных

Устранение неполадок

Проблемы с подключением к базе данных

• Ошибка подключения: Проверьте правильность учетных данных и параметров подключения

• Ошибка брандмауэра: Убедитесь, что ваш IP‑адрес добавлен в allowlist

• Проблемы с SSL: Проверьте настройки SSL в параметрах подключения

Проблемы с производительностью

• Медленная загрузка визуализаций:

  • Оптимизируйте SQL‑запросы

  • Уменьшите количество одновременно отображаемых элементов

  • Используйте кэширование результатов

• Высокое потребление памяти:

  • Увеличьте ресурсы Docker‑контейнера

  • Оптимизируйте запросы к базе данных

Другие проблемы

Вот несколько трюков, которые могут помочь исправить распространённые проблемы:

1. Проверьте логи Superset:

docker-compose logs superset

1. Перезапустите контейнеры:

docker-compose restart

1. Очистите кэш браузера

2. Проверьте версию Superset и при необходимости обновите

Дальнейшие шаги

После успешного подключения Power BI к вашему IoT Query экземпляру, мы рекомендуем вам:

• Изучите доступные схемы данных, просматривая раздел Обзор схемы чтобы лучше понять структуру данных и взаимосвязи.

• Начните с простых запросов, ориентированных на конкретные бизнес‑сущности, прежде чем создавать сложные панели — ознакомьтесь с нашим примером запросов в качестве примера.

Поддержка

По техническим вопросам или запросам доступа к демонстрационной базе данных, пожалуйста, свяжитесь: [email protected]