Lapisan transformasi

Pelajari bagaimana data sumber divalidasi dan dibentuk ulang menjadi entitas siap-analitik, serta hal yang perlu diperhatikan saat melakukan kueri.

Segera hadir!

Arsitektur lapisan Transformasi yang dijelaskan pada halaman ini saat ini sedang dalam pengembangan. Sementara kemampuan transformasi inti sudah berfungsi, rincian implementasi mungkin berubah sebelum rilis final. Jika Anda tertarik mendapat akses awal atau memiliki pertanyaan, hubungi [e-mail].

Apa yang dilakukan lapisan Transformasi

Skema Lapisan Transformasi memproses data mentah dari Lapisan data mentah menjadi entitas analitis yang dinormalisasi dan siap untuk kueri. Jika lapisan Data Mentah berisi semua yang ditangkap dari perangkat dan sistem (titik individual, kejadian, dan nilai bidang yang berguna untuk verifikasi dan pemecahan masalah), lapisan Transformasi mengubah data mentah tersebut menjadi objek bermakna seperti perjalanan, kunjungan zona, dan status operasional.

Ringkasan lapisan Transformasi: lapisan Data Mentah adalah semua yang dikumpulkan, lapisan Transformasi adalah apa yang dapat Anda gunakan.

Lapisan perantara ini menghilangkan persiapan data manual yang berulang dan membuat data Anda siap untuk analitik praktis. Operator armada dapat menjawab pertanyaan operasional umum tanpa pemrosesan data yang ekstensif, dan integrator mendapatkan fondasi yang stabil untuk membangun pelaporan dan solusi BI yang dapat diskalakan.

Transformasi dapat dirancang dan dikonfigurasi menggunakan Transformation Builder, sebuah alat visual yang memungkinkan Anda membuat entitas analitis khusus melalui antarmuka alur kerja seret-dan-jatuhkan. Untuk rincian tentang cara membangun dan mengelola transformasi, lihat dokumentasi Transformation Builder.

Bagaimana data diatur

Lapisan Transformasi menggunakan pendekatan skema dinamis di mana struktur basis data terbentuk secara otomatis berdasarkan transformasi yang aktif. Berbeda dengan lapisan Data Mentah yang memiliki definisi skema tetap, lapisan Transformasi hanya berisi tabel yang sesuai dengan transformasi yang saat ini aktif. Tabel yang tersedia dan strukturnya bergantung pada transformasi mana yang dikonfigurasi dalam IoT Query instans Anda.

Data lapisan Transformasi diatur ke dalam dua skema PostgreSQL: processed_common_data dan processed_custom_data.

processed_common_data

Skema processed_common_data skema berisi transformasi yang dikembangkan dan dipelihara oleh Navixy. Skema ini dibagi di antara semua klien dan menyediakan entitas analitis standar yang menangani kasus penggunaan telematika umum. Tabel muncul dalam skema ini saat Navixy menerapkan transformasi baru untuk memenuhi kebutuhan analitis yang berlaku luas.

Skema processed_common_data skema adalah hanya-baca untuk klien eksternal. Anda dapat melakukan kueri terhadap data secara bebas, tetapi Anda tidak dapat memodifikasi tabel, menyisipkan catatan, atau mengubah struktur dalam skema ini. Untuk membangun entitas analitis Anda sendiri, gunakan processed_custom_data skema melalui Transformation Builder.

processed_custom_data

Skema processed_custom_data skema berisi transformasi spesifik-klien yang dibuat untuk memenuhi kebutuhan bisnis yang unik. Setiap klien memiliki instans terisolasi dari skema ini, sehingga data Anda tidak terlihat oleh organisasi lain. Tabel dalam skema ini sesuai dengan transformasi yang Anda konfigurasikan dan kelola melalui Transformation Builder.

Anda memiliki kepemilikan penuh atas skema ini: Anda memutuskan transformasi mana yang dibuat, bagaimana mereka memproses data, dan kapan mereka dijalankan. Transformation Builder menghasilkan konfigurasi dan SQL yang diperlukan untuk menghasilkan entitas analitis kustom Anda.

Apa yang terjadi ketika transformasi berubah

Ketika Anda mengaktifkan sebuah transformasi, sistem secara otomatis membuat struktur tabel yang sesuai dalam skema yang tepat. Ketika transformasi dinonaktifkan atau dihapus, tabelnya mungkin diarsipkan atau dihapus berdasarkan kebijakan retensi data.

Pembentukan dinamis inilah sebabnya lapisan Transformasi tidak menyediakan deskripsi skema tetap seperti yang dilakukan lapisan Data Mentah. Tabel yang tersedia dan strukturnya mencerminkan transformasi spesifik yang dikonfigurasi untuk instans IoT Query Anda.

Karakteristik pemrosesan data

Entitas lapisan Transformasi dipelihara secara otomatis melalui proses terjadwal. Saat Anda melakukan kueri terhadap data ini, pertimbangkan karakteristik pemrosesan berikut.

• Pembaruan terjadwal. Setiap transformasi memproses catatan lapisan Data Mentah baru sesuai jadwal yang dikonfigurasikan. Pembaruan biasanya terjadi setiap jam atau beberapa jam sekali, tergantung pada kompleksitas dan konfigurasi transformasi.

• Jendela pemrosesan. Transformasi beroperasi pada segmen berbasis waktu untuk memproses bagian data yang dapat dikelola secara efisien daripada memindai seluruh kumpulan data. Pendekatan ini menyeimbangkan kinerja pemrosesan dengan kesegaran data.

• Perilaku perhitungan ulang. Ketika perubahan konfigurasi memicu perhitungan ulang, data terbaru mungkin menunjukkan ketidakkonsistenan sementara selama jendela pemrosesan aktif. Ketidakkonsistenan ini akan terselesaikan secara otomatis setelah siklus pemrosesan selesai.

• Perilaku spesifik skema. Transformasi dalam processed_common_data memperbarui secara bersamaan untuk semua klien yang berbagi skema tersebut, karena Navixy mengelola jadwal secara terpusat. Transformasi dalam processed_custom_data dijalankan secara independen per klien, memungkinkan Anda menyesuaikan penjadwalan dan logika pemrosesan sesuai kebutuhan spesifik Anda.

Hal yang perlu dipertimbangkan saat melakukan kueri

Saat menulis kueri SQL terhadap data lapisan Transformasi, perhatikan hal-hal berikut:

• Gunakan format schema.table lengkap. Selalu referensikan tabel dengan prefiks skemanya untuk menghindari ambigu:

SELECT *
FROM processed_common_data.table_name
WHERE device_time >= CURRENT_DATE - INTERVAL '7 days';

• Sertakan filter rentang waktu. Tambahkan kondisi berbasis waktu dalam WHERE klausa untuk membatasi volume data yang dipindai. Ini meningkatkan kinerja kueri dan mengurangi waktu eksekusi.

• Periksa jadwal transformasi. Data dalam tabel lapisan Transformasi mencerminkan siklus pemrosesan yang telah selesai paling baru. Jika Anda memerlukan data yang hanya beberapa menit umurannya, lapisan Data Mentah mungkin lebih sesuai sampai siklus transformasi berikutnya dijalankan.

• Ingat bahwa processed_common_data adalah hanya-baca. Gunakan skema ini untuk melakukan kueri terhadap entitas standar yang dipelihara oleh Navixy. Untuk membuat entitas analitis Anda sendiri, konfigurasikan transformasi dalam processed_custom_data skema melalui Transformation Builder.

Langkah selanjutnya

• Transformation Builder: Rancang entitas analitis kustom menggunakan antarmuka alur kerja visual.

• Lapisan data mentah: Jelajahi skema sumber (raw_telematics_data dan raw_business_data) yang memasok ke transformasi.

• Buku Resep SQL: Pelajari pola kueri dan praktik terbaik untuk bekerja dengan tabel lapisan Transformasi di Dashboard Studio.