Ikhtisar skema

Bagian ini memberikan gambaran tentang struktur skema data DataHub, membantu Anda memahami bagaimana data diatur dan bagaimana mengaksesnya secara efektif. Gudang data dirancang untuk memberi Anda akses penuh dan fleksibel ke data Platform melalui sistem basis data yang terstruktur.

Yang akan Anda pelajari:

• Bagaimana data disusun dalam lapisan dan skema

• Tabel kunci di setiap skema dan apa yang mereka berisi

• Bagaimana tabel data saling berhubungan

• Cara mengakses data menggunakan query SQL

• Bagaimana validasi data bekerja

• Peningkatan mendatang pada struktur data

Istilah kunci:

• Lapisan: Sebuah tingkat dalam gudang data yang mewakili tahap pemrosesan, organisasi, atau akses data, masing-masing dengan fungsi yang berbeda.

• Skema: Pengelompokan logis objek basis data (tabel, view, dll.)

Struktur data

DataHub menggunakan arsitektur penyimpanan berlapis untuk mengatur data Anda. Arsitektur ini menyediakan keandalan, kinerja, dan skalabilitas sambil memastikan isolasi data yang tepat antara klien.

Lapisan data

Sistem mengikuti model tiga lapis untuk organisasi data:

Lapisan Bronze

• Data mentah dengan transformasi minimal

• Ingest langsung dari sumber data bisnis dan telematika

• Struktur data asli dengan konvensi penamaan yang konsisten

Lapisan Silver

• Data yang sudah diproses dengan validasi dan pengayaan

• Struktur yang ditransformasikan untuk analitik yang lebih baik

• Diperkenalkannya kontrol kualitas data dan penerapan aturan bisnis

Lapisan Gold

• Dataset siap bisnis yang dioptimalkan untuk pelaporan

• Metrik prapenggabungan dan struktur denormalisasi

• View yang dikurasi selaras dengan proses pelaporan bisnis tertentu

Lebih jauh dalam bagian dokumentasi ini, Anda akan menemukan skema data yang lebih rinci untuk setiap lapisan.

Arsitektur basis data

Setiap klien memiliki instance basis data khusus untuk memastikan isolasi dan keamanan data. Dalam basis data ini:

Skema	Deskripsi	Konten
raw_business_data	Entitas bisnis dan data operasional	Tabel entitas inti, data operasional, data referensi, data histori, tabel relasi
raw_telematics_data	Pelacakan perangkat dan data sensor	Data pelacakan inti, data input, data status
repo	Manajemen aset dan inventaris	Definisi jenis aset, field kustom, instance aset, relasi aset, hierarki inventaris, data geospasial
Meta data	Data referensi sistem	tabel description_parameters

Saat melakukan kueri data, Anda harus menentukan baik skema (mis. raw_business_data) maupun nama tabel (mis. objects) :

SELECT * FROM raw_business_data.objects;

Metadata klien dan isolasi data

Sistem menggunakan tabel metadata untuk memungkinkan isolasi data yang tepat dan dukungan multi-tenant:

• Metadata dealer melacak hubungan dealer-ke-klien dan parameter infrastruktur

• Metadata klien memetakan data bisnis dan telematika di seluruh skema

• Pemetaan klien-perangkat memastikan data telematik dikaitkan dengan benar ke klien yang tepat

Lapisan metadata ini memastikan bahwa:

• Setiap klien hanya dapat mengakses data mereka sendiri

• Data telematik dan bisnis dapat digabungkan dengan benar

• Operasi tingkat sistem disegmentasi dengan benar menurut klien