Pembuat Transformasi

Bangun transformasi kustom secara visual, pratinjau hasil, validasi alur kerja, dan ekspor untuk dieksekusi.

Segera hadir!

Transformation Builder saat ini sedang dalam pengembangan. Deskripsi fitur pada halaman ini mencerminkan fungsionalitas yang direncanakan. Detail implementasi mungkin berubah sebelum rilis akhir. Jika Anda tertarik mendapat akses awal atau memiliki pertanyaan, hubungi [e-mail].

Apa itu Transformation Builder

Transformation Builder adalah alat visual untuk merancang alur kerja transformasi data tanpa perlu mengembangkan dan memelihara pipeline data yang kompleks. Anda menyusun logika pemrosesan sebagai sebuah grafik di mana setiap langkah direpresentasikan oleh blok (node) terpisah, dan alat ini mengompilasi grafik Anda menjadi SQL yang dapat dieksekusi.

Transformation Builder dirancang untuk analis, spesialis BI, dan siapa pun dengan pengetahuan dasar SQL yang ingin mengendalikan logika persiapan data secara mandiri. Alat ini membantu Anda menjawab pertanyaan utama persiapan data: dari mana data berasal, bagaimana data digabungkan, filter dan transformasi apa yang diterapkan, bagaimana deret waktu diagregasi, dan dalam bentuk apa data harus muncul di Lapisan Transformasi.

Transformation Builder bukanlah orkestrator ETL penuh atau platform data. Ini adalah perancang alur kerja yang terfokus yang menghasilkan konfigurasi dan SQL untuk eksekusi runtime eksternal.

Cara kerjanya

Sebuah alur kerja di Transformation Builder adalah grafik berarah dari node yang disusun dari sumber data ke keluaran:

Data mentah → Node transformasi → Keluaran

Setiap node sesuai dengan satu langkah pemrosesan logis. Anda dapat menggabungkan beberapa sumber menjadi satu node transformasi, dan hasil dari satu node dapat memberi makan beberapa node hilir. Grafik ini memberi Anda representasi visual yang jelas dari seluruh jalur data dari tabel sumber ke entitas analitis target.

Builder mengompilasi grafik Anda menjadi satu query SQL menggunakan Common Table Expressions (CTE). Setiap node menjadi sebuah CTE dalam query akhir. Pendekatan kompilasi ini berarti Builder tidak menulis data langsung ke basis data. Sebagai gantinya, ia menghasilkan konfigurasi yang mengeksekusi pemrosesan data aktual berdasarkan jadwal.

Data dalam grafik harus mengalir hanya ke satu arah. Siklus tidak diperbolehkan. Jika Builder mendeteksi siklus, ia mengembalikan kesalahan validasi.

Menghubungkan ke basis data

Sebelum Anda mulai membangun alur kerja, Anda perlu menghubungkan ke basis data PostgreSQL Anda. Tanpa koneksi aktif, pratinjau data dan penemuan tabel tidak tersedia.

Panel koneksi memungkinkan Anda menentukan URL Koneksi, menghubungkan atau memutuskan, dan melihat jumlah tabel yang ditemukan di setiap kategori. Builder menggunakan dua skema di basis data Anda:

• raw_telematics_data untuk data telematika dan sensor perangkat

• raw_business_data untuk data referensi bisnis (kendaraan, karyawan, geofence, dan entitas serupa)

Setelah terhubung, Builder secara otomatis menemukan tabel dan kolom yang tersedia, yang kemudian dapat Anda pilih saat mengonfigurasi node sumber data.

Node sumber data

Node sumber data menentukan dari mana alur kerja Anda membaca data. Setiap node sumber sesuai dengan satu tabel di lapisan Data mentah.

Data mentah: Telematika

Node ini memuat data deret waktu dari raw_telematics_data skema.

Parameter	Deskripsi
Nama tabel	Pilih dari daftar tabel yang ditemukan saat Anda terhubung ke basis data.
Kolom waktu	Kolom timestamp yang digunakan untuk pengurutan dan filter berbasis waktu. Secara default ke device_time.
Kolom	Daftar kolom spesifik untuk disertakan, atau * untuk memilih semua kolom.
Kondisi filter	SQL opsional WHERE kondisi yang diterapkan langsung pada query sumber.
Jendela waktu (menit)	Batas waktu opsional (dalam menit) untuk membatasi jendela data dalam SQL. Biarkan kosong jika tidak ada batas.

Setiap node Data mentah: Telematika membaca tepat dari satu tabel. Untuk menggunakan data dari beberapa tabel, tambahkan node terpisah untuk setiap tabel.

Data mentah: Bisnis

Node ini memuat data referensi dari raw_business_data skema. Tabel tipikal meliputi objects, vehicles, devices, dan sensor_description.

Parameter	Deskripsi
Nama tabel	Pilih dari daftar tabel bisnis yang ditemukan.
Kolom kunci	Kolom kunci untuk tabel ini (misalnya, object_id atau sensor_id).
Kolom	Daftar kolom spesifik untuk disertakan, atau * untuk memilih semua kolom.

Node Data mentah: Bisnis terutama digunakan sebagai input kedua untuk node SQL Transform, memungkinkan Anda bergabungkan data referensi dengan deret waktu telematika.

Node transformasi

Node transformasi menentukan apa yang terjadi pada data Anda setelah dimuat dari sumber. Setiap tipe transformasi menangani pola pemrosesan tertentu.

SQL Transform

Menggabungkan data dari tepat dua node sumber menggunakan operasi SQL JOIN .

Parameter	Deskripsi
Tipe join	Jenis join: INNER, LEFT, RIGHT, atau FULL (full outer join).
Kondisi join	Kondisi untuk mencocokkan baris antara dua input (misalnya, mencocokkan pada device_id).
Pilih kolom	Daftar kolom yang akan disertakan dalam keluaran. Mendukung notasi prefix seperti source.* untuk memilih semua kolom dari input tertentu.

SQL Transform membutuhkan tepat dua input. Input dapat berupa kombinasi node sumber data atau keluaran dari node transformasi lain.

Filter

Menyaring data berdasarkan rentang waktu dan kondisi kustom. Semua kondisi dieksekusi di basis data sebagai bagian dari klausa WHERE (penyaringan pushdown).

Parameter	Deskripsi
Kolom waktu	Kolom timestamp yang digunakan untuk penyaringan berbasis waktu. Secara default ke device_time.
Awal / akhir rentang waktu	Batas awal dan akhir untuk filter waktu.
Kondisi dinamis	Daftar kondisi SQL yang digabungkan dengan AND. Gunakan ini untuk penyaringan tambahan di luar rentang waktu.

Resampling

Mengagregasi data deret waktu ke interval waktu tetap. Ini berguna untuk mengonversi titik data frekuensi tinggi menjadi statistik ringkasan selama periode reguler.

Parameter	Deskripsi
Kolom waktu	Kolom timestamp yang digunakan untuk pengelompokan interval. Secara default ke device_time.
Interval	Interval agregasi: 1min, 5min, 15min, 1hour, atau 1day.
Group by	Kolom tambahan untuk pengelompokan (selain interval waktu).
Agregasi	Daftar pasangan kolom-metode yang menentukan bagaimana setiap kolom diagregasi. Metode yang tersedia: avg, sum, min, max, first, last, count.

Aritmetika

Menambah atau mengganti kolom menggunakan ekspresi SQL. Gunakan node ini untuk membuat kolom terhitung berdasarkan data yang ada.

Parameter	Deskripsi
Ekspresi	Daftar definisi ekspresi. Setiap entri mencakup kolom sumber opsional, sebuah ekspresi SQL, dan alias keluaran yang wajib.

Misalnya, untuk mengonversi nilai kecepatan, Anda dapat mengatur kolom sumber ke speed, ekspresinya menjadi speed * 1.2, dan alias menjadi speed_adjusted. Alias wajib untuk setiap ekspresi.

Custom SQL

Menyediakan input SQL bebas-bentuk untuk logika kompleks yang tidak dapat diungkapkan oleh tipe node lain. Gunakan ini ketika Anda membutuhkan kontrol penuh atas query.

Parameter	Deskripsi
Custom SQL	Sebuah SELECT query di mana node hulu dapat diakses dengan alias CTE mereka.

Alias node sumber mengikuti pola a_<node_id> (misalnya, a_node_1, a_filter_1). Identifier node disanitasi menjadi identifier SQL yang valid, dengan spasi dan karakter khusus diganti dengan garis bawah.

Node Custom SQL menerima satu atau dua input. Query Anda dapat mereferensikan CTE terkait dengan alias mereka.

Konfigurasi keluaran

Keluaran

Skema Keluaran mendefinisikan bagaimana hasil transformasi Anda harus ditulis ke Lapisan Transformasi. Node ini menentukan metadata tabel target yang digunakan runtime eksternal untuk menyimpan data yang diproses.

Parameter	Deskripsi
Nama tabel	Nama tabel target di processed_custom_data skema.
Kolom waktu	Kolom timestamp dalam data keluaran (misalnya, device_time).
Partisi berdasarkan	Ekspresi partisi untuk mengatur penyimpanan data (misalnya, DATE(device_time)).
Kunci utama	Daftar kolom yang secara unik mengidentifikasi setiap baris (misalnya, [device_id, device_time]).
Mode penulisan	Cara data ditulis ke tabel target: append (menambahkan baris baru), overwrite (mengganti data yang ada), atau upsert (memperbarui baris yang ada, menyisipkan yang baru).

Membangun sebuah alur kerja

Alur kerja tipikal mengikuti langkah-langkah ini:

1

Buka Transformation Builder

Luncurkan antarmuka Transformation Builder.

2

Hubungkan ke basis data Anda

Masukkan URL koneksi PostgreSQL Anda dan buat koneksi. Builder secara otomatis menemukan tabel dan kolom yang tersedia.

3

Tambahkan node sumber data

Tambahkan sebuah Data mentah: Telematika node dan pilih tabel serta kolom yang ingin Anda gunakan. Jika Anda membutuhkan data referensi (misal, detail kendaraan atau deskripsi sensor), tambahkan juga sebuah Data mentah: Bisnis node.

4

Tambahkan node transformasi

Sisipkan node transformasi yang diperlukan alur kerja Anda:

• SQL Transform untuk menggabungkan data

• Filter untuk mempersempit hasil

• Resampling untuk mengagregasi deret waktu

• Aritmetika untuk menambahkan kolom terhitung

• Custom SQL untuk logika kompleks.

5

Konfigurasikan node Output

Tambahkan Keluaran node dan atur nama tabel target, kolom kunci utama, dan mode penulisan untuk entitas analitis Anda.

6

Hubungkan node

Gambar tepi antara node untuk menentukan aliran data. Hubungkan node sumber ke node transformasi, dan node transformasi ke node Output. Data mengalir dari kiri ke kanan, dari sumber ke keluaran.

7

Tinjau dan perbaiki kesalahan

Periksa petunjuk validasi untuk masalah konfigurasi apa pun. Perbaiki kesalahan pada parameter node atau struktur grafik sesuai kebutuhan.

8

Pratinjau hasil

Klik Eksekusi untuk menjalankan pratinjau alur kerja Anda. Builder mengompilasi grafik ke dalam SQL dan mengeksekusinya terhadap basis data Anda, mengembalikan hingga 100 baris sehingga Anda dapat memverifikasi keluaran.

Ekspor

Anda dapat mengekspor alur kerja yang sudah selesai sebagai file YAML untuk eksekusi runtime atau dibagikan dengan rekan. Lihat Referensi YAML Workflow untuk detail format.

9

Jadwalkan eksekusi

Klik Jadwal untuk membuka dialog konfigurasi, di mana Anda dapat menentukan waktu dan frekuensi eksekusi alur kerja secara tepat. Pada waktu yang ditetapkan, sebuah fungsi di basis data akan memicu alur kerja dan menyimpan hasilnya ke Lapisan Transformasi.

Contoh alur transformasi lengkap

Pratinjau hasil

Setelah Anda klik Eksekusi di bilah alat, Builder mengompilasi grafik alur kerja Anda menjadi satu query SQL dengan CTE dan menjalankannya terhadap basis data PostgreSQL yang terhubung. Hasil muncul di panel bawah.

Pada eksekusi yang berhasil, panel menampilkan:

• Tabel hasil yang menampilkan hingga 100 baris data keluaran

• Query SQL yang dieksekusi (query CTE lengkap yang dihasilkan oleh compiler)

• Jumlah baris, jumlah kolom, dan waktu eksekusi

• Opsi untuk mengekspor hasil ke CSV

Pada kesalahan eksekusi, panel menampilkan:

• Pesan kesalahan yang menjelaskan apa yang salah

• Query SQL yang dieksekusi (jika kompilasi berhasil)

• Detail kesalahan basis data (jika kesalahan terjadi selama eksekusi query)

Pratinjau hasil memerlukan koneksi PostgreSQL aktif. Tanpa koneksi, pratinjau mengembalikan hasil kosong tanpa SQL yang dieksekusi. Pratinjau selalu menggunakan data nyata dari basis data Anda, bukan data tiruan.

Hasil alur yang dieksekusi

Validasi dan kompilasi

Builder memvalidasi alur kerja Anda pada dua tingkat.

1. Validasi grafik memeriksa struktur keseluruhan alur kerja Anda. Grafik harus berupa directed acyclic graph (DAG) yang valid, artinya data mengalir ke satu arah tanpa siklus. Jika Builder mendeteksi siklus, ia mengembalikan kesalahan dan menyoroti node yang terdampak.

2. Validasi node memeriksa konfigurasi setiap node secara individual. Builder memverifikasi bahwa bidang yang diperlukan terisi, bahwa kolom yang direferensikan ada dalam keluaran node hulu, dan bahwa parameter node konsisten dengan tipenya (misalnya, SQL Transform harus memiliki tepat dua input).

Selama kompilasi, Builder mengubah grafik Anda menjadi satu query SQL. Setiap node menjadi sebuah CTE dengan alias a_<node_id>. Node-node disusun dalam urutan topologis sehingga setiap CTE dapat merujuk keluaran dari node pendahulunya. Jika kompilasi gagal karena kesalahan konfigurasi atau struktur grafik yang tidak valid, Builder mengembalikan detail kesalahan beserta SQL parsial yang berhasil dihasilkan.

Mengekspor

Ekspor dan impor YAML

Anda dapat mengekspor alur kerja yang selesai sebagai file YAML menggunakan tombol Ekspor di bilah alat. File yang diekspor berisi definisi alur kerja lengkap dalam format versi 2, termasuk semua konfigurasi node, tepi grafik, dan posisi tata letak.

Untuk memuat alur kerja yang disimpan sebelumnya, gunakan fungsi Impor dan pilih sebuah .yaml atau .yml file. Untuk dokumentasi format lengkap, lihat Referensi YAML Workflow.

Batasan saat ini

Transformation Builder saat ini dalam rilis awalnya, dan beberapa batasan berlaku:

• Pratinjau memerlukan koneksi PostgreSQL aktif. Tanpa koneksi, Anda tidak dapat mempratinjau hasil. Pratinjau dibatasi hingga 100 baris.

• Grafik harus bebas siklus. Data mengalir hanya dalam satu arah, dari sumber ke keluaran.

• Tidak ada mesin eksekusi bawaan. Builder menghasilkan konfigurasi dan SQL untuk eksekusi runtime eksternal. Ia tidak memproses atau menyimpan data sendiri.

• Pemrosesan batch saja. Pemrosesan data streaming tidak didukung.

Langkah selanjutnya

• Lapisan Transformasi: Pelajari bagaimana Lapisan Transformasi mengatur data yang diproses ke dalam skema dan bagaimana cara mengkuerinya.

• Referensi YAML Workflow: Tinjau spesifikasi lengkap untuk format ekspor dan impor YAML.

• Lapisan data mentah: Jelajahi skema sumber (raw_telematics_data dan raw_business_data) yang menyediakan data input untuk alur kerja Anda.