Resume Data Warehouse Pertemuan 12

Data Transformation Service adalah Sekumpulan utilitas yang memungkinkan proses Extract, Transform, dan Load secara otomatis dari atau ke database.

DTS berfungsi untuk melakukan import, export dan transport data yang beragam antara satu atau lebih sumber data, seperti misalnya SQL Server, Microsoft Excel atau Microsoft Access. 

Microsoft SQL Server Integration Service (SSIS)

Platform untuk membangun kinerja tinggi solusi integrasi data, termasuk ekstraksi, transformasi, dan load (ETL) paket untuk data warehousing.

Perbedaan DTS dan SSIS :

DTS :

1.DTS adalah sekumpulan dari obyek yang digunakan sebagai alat ETS Tools untuk mengekstrak, mentransform dan memuat informasi dari sebuah database

2.DTS adalah bagian dari Microsoft SQL Server 2000

3.Menggunakan Activex Script (Salah satu komponen dalam Visual Basic)

4.Tidak ada cara cepat

5.Transformasi yang tersedia terbatas

6.Tidak didukung fungsi Business Intelegent

7.Hanya bisa dikembangkan di server local

SSIS :

1.SSIS adalah sebuah alat yang disediakan Microsoft untuk mengekstrak data dari sumber lain

2.SSIS adalah komponen dari Microsoft SQL Server 2005

3.Menggunakan Scripting Language

4.Ada cara cepat

5.Tersedianya fitur tranformasi yang sangat besar

6.Didukung oleh fungsi Business Intellegent

7.Dapat dikembangkan di berbagai server menggunakan BIDS (Business Intelligence Development Studio)

Resume Data Warehouse Pertemuan 11 (DTS)

DTS (Data Transformation Service)
Data Transformation Services adalah salah satu modul pada SQL Server yang bisa mengkonversi data dari SQL Server ke format data yang lain yang kompatibel dengan OLE DB, ODBC, dan file teks.

Sebuah paket DTS pada dasarnya adalah keterangan yang terperinci mengenai operasi-operasi yang harus dilakukan untuk mengimpor, mengekspor, atau mentransformasi suatu data. 

Paket DTS bisa mencakup meng-copy tabel-tabel antardatabase dan mentransformasi data dari 1 format ke format yang lain dengan menggunakan ODBC, AktiveX, dan perintah SQL, atau bahkan program-program eksternal yangbisa menjadi bagian dari paket DTS.

Data Transformation Services Apakah Usang?

Anda harus merencanakan untuk menghapus ketergantungan pada DTS ini untuk mengantisipasi rilis masa depan SQL Server. Meskipun SQL Server 2005 dan SQL Server 2008 masih menyertakan fungsi DTS, kemampuan untuk bermigrasi atau menjalankan paket DTS mungkin tidak didukung pada rilis berikutnya.

Berikut fungsi DTS telah usang:

- DTS runtime.

- DTS API.

- Paket Migrasi Wizard untuk bermigrasi paket DTS ke versi berikutnya dari Layanan Integrasi.

- Dukungan untuk pemeliharaan paket DTS di SQL Server Management Studio.

- Execute DTS 2000 Paket tugas.

Resume Data Warehouse Pertemuan 10

Menentukan ketetapan data untuk ETL

Data Quality

- Mark Mosley (2008) mengatakan Data Quality adalah level data yang menyatakan data tersebut akurat, lengkap, terbaru, konsisten dan sesuai dengan semua kebutuhan bisnis.

Data Quality Characteristic

- Accuracy

Data harus benar, nilai valid adalah nilai yang akurat. Kesalahan penulisan (typografi) nama adalah contoh ketidakakuratan data, misalnya salah dalam ejaan, singkatan dll.

- Accessibility

Data dapat dengan mudah diakses, dan dimengerti , serta dapat digunakan sesuai dengan keperluan yang dibutuhkan.

- Completeness

Data harus relevan dengan tujuan meraka disimpan. Kita bisa menyimpan dengan sangat akurat, contoh : data tentang warna kesukaan dan jenis rambut datap diisikan dengan tepat waktu, tapi apakah data ini sesuai dengan kebutuhan untuk perawatan pasien?

- Consistency

Data berkualitas harus konsisten. Penggunaan singkatan yang memiliki 2 arti berbeda merupakan contoh yang tepat akan kurangnya konsistensi dapat menimbulkan masalah.

Contoh : perawat yang mungkin menggunakan singkatan CPR untuk cardiopulmonary Resuscititation (teknik penyelamatan hidup yang berguna dalam keadaan darurat, termasuk serangan jantung atau hampir tenggelam) dan menggunakan CPR untuk computer-based patient record (informasi tentang status kesehatan individu dan perawatan. ini berfokus pada tugas-tugas yang berkaitan langsung dengan perawatan pasien) di lain waktu, akan membingungkan.

  

- Integrity

Setiap data harus berhubungan atau dapat dihubungkan dengan data-data lain sehingga setiap data bisa saling terkait.

- Timeliness

Ketetapan waktu atau up to date, jadi data itu harus teruptodate agar bisa digunakan untuk mengambil keputusan.

Contoh : nilai lab untuk pemeriksaan kritis harus tersedia untuk penyedia layanan kesehatan dengan tepat waktu. Hasil akurat yang terlambat disediakan dari tenggat waktu yang seharusnya atau bahkan tersedia setelah kepulangan pasien akan mengecilkan atau meniadakan nilai gunanya bagi perawatan pasien.

- Validity

Validitas data adalah sejauh mana data tersebut dapat di jelaskan dengan benar dan sah sesuai dengan fakta-fakta yang ada sebenarnya.

Resume Data Warehouse Pertemuan 7 (ETL)

ETL (Extraction, Transformation, Loading)

Apa itu ETL ?

ETL kependekan dari Extraction, Transformation dan Loading yang digunakan sebagai tools untuk proses integrasi dalam data warehouse. Sesuai namanya aplikasi ETL melakukan proses Extract, Transform dan Load.

A. Ekstraksi

Ekstraksi disini maksudnya adalah mengambil data dari sumber-sumber data yang berbeda. Data yang diambil pun tidak semua data operasional, tetapi data-data yang matang saja. Proses Extract ini harus mengakomodir berbagai macam teknologi yang digunakan oleh sumber data dan diintegrasikan ke dalam database tunggal.

Metode Ekstraksi ada 3 yaitu :

1. Metode ekstrasi secara umum

    - Statis

    - Terjadwal (Berdasarkan waktu dan perbedaan)

    - Seketika (dengan mekanisme log transaksi, mekanisme basis data trigger, dan sumber aplikasi)

2. Metode ekstrasi logical

    - Ekstrasi Full

    - Ekstrasi Inkremental 

3. Metode ekstrasi fisik

    - Ekstrasi Online

    - Ekstrasi Offline