Resume Data Warehouse Pertemuan 7 (ETL)

ETL (Extraction, Transformation, Loading)

Apa itu ETL ?

ETL kependekan dari Extraction, Transformation dan Loading yang digunakan sebagai tools untuk proses integrasi dalam data warehouse. Sesuai namanya aplikasi ETL melakukan proses Extract, Transform dan Load.

A. Ekstraksi

Ekstraksi disini maksudnya adalah mengambil data dari sumber-sumber data yang berbeda. Data yang diambil pun tidak semua data operasional, tetapi data-data yang matang saja. Proses Extract ini harus mengakomodir berbagai macam teknologi yang digunakan oleh sumber data dan diintegrasikan ke dalam database tunggal.

Metode Ekstraksi ada 3 yaitu :

1. Metode ekstrasi secara umum

    - Statis

    - Terjadwal (Berdasarkan waktu dan perbedaan)

    - Seketika (dengan mekanisme log transaksi, mekanisme basis data trigger, dan sumber aplikasi)

2. Metode ekstrasi logical

    - Ekstrasi Full

    - Ekstrasi Inkremental 

3. Metode ekstrasi fisik

    - Ekstrasi Online

    - Ekstrasi Offline

B. Transformasi

Data- data hasil ekstrasi tersebut selanjutnya ditransformasikan dari data dengan format operasional menjadi format data warehouse. Proses tranformasi ini berupa seperti mengkoversi tipe data, melakukan beberapa perhitungan, penyaringan data yang tidak relevan, dan meringkasnya. Proses Trasnsformasi dibutuhkan untuk memenuhi kebutuhan bisnis suatu perusahaan.

Tahap-tahap transformasi :

1. Seleksi

2. Pemisahan dan penggambungan

3. Konversi, dilakukan karena 2 alasan :

    - standarisasi pengambilan data dari berbagai sumber data

    - membuat field dapat digunakan data warehouse dan dipahami oleh pengguna

4. Ringkasan

5. Pengayaan

C. Loading

Proses loading adalah proses mengirim data yang telah menjalani proses transformasi ke dalam data warehouse dimana aplikasi reporting dan business intelegent siap mengaksesnya. 

Fase load ada 4 metode :

1. Panggil

2. Tambah

3. Destructive merge

4. Conscructive merge

Penyedia ETL Tools 

1. Berbayar

    - IBM Infosphere Datastage 

    - Informatica Power Center

    - Oracle Warehouse Builder (OWB)

    - Oracle Data Integrater (ODI)

    - Microsoft SQL Server

2. Gratis

    - Pentaho Data Integration (Kettle)

    - Talent Integrator Suite

    - CloverETL

    - Jasper ETL

Referensi :

- Slide Presentasi Kelompok 7

- http://dessysapitri.blogspot.com/2011/05/apa-itu-etl.html

- http://katenjo17.blogspot.com/2012/07/etl-extract-transform-load-sebagai-data.html