Data Analytic (OLAP) di Elysia-Light
Elysia-Light menyediakan utilitas OLAP untuk kebutuhan analitik dan logging berbasis ClickHouse. Utility ini dibangun di atas ClickHouse client resmi, dengan tambahan query builder ringan agar query analitik umum bisa ditulis lebih ringkas dan konsisten.
Konsep OLAP di Elysia-Light
OLAP (Online Analytical Processing) digunakan untuk menyimpan dan menganalisis data dalam jumlah besar, seperti log, event, metric, dan data historis. Di Elysia-Light, OLAP dipisahkan dari database utama (OLTP) agar query analitik tidak membebani API transaksional.
Teknologi yang Digunakan
- Database — ClickHouse
- Client — ClickHouse official client
- Query Builder — Built-in wrapper Elysia-Light
Query Data Analitik
Gunakan da.query() untuk membaca data dari ClickHouse. Query builder bawaan memudahkan penulisan query analitik tanpa harus selalu menulis SQL mentah.
Kode berhasil di copy!
5
Insert Data ke ClickHouse
Untuk memasukkan data ke ClickHouse, gunakan da.insert. Utility ini mendukung format insert ClickHouse seperti JSONEachRow dan dirancang untuk batch insert berkecepatan tinggi.
Kode berhasil di copy!
5
Kapan Menggunakan OLAP
- Access log dan error log
- Event tracking
- Analitik performa
- Statistik penggunaan aplikasi
- Data historis skala besar
OLTP vs OLAP
Gunakan ORM/Knex (OLTP) untuk transaksi harian aplikasi, dan gunakan OLAP untuk analitik. Pemisahan ini menjaga performa sistem tetap stabil meskipun volume data analitik sangat besar.
Best Practice
Gunakan batch insert untuk ClickHouse. Jangan gunakan OLAP untuk query transaksional. Jadikan OLAP sebagai append-only storage untuk data analitik dan logging.