Description

Data Pre-Processing 

Definisi: Prapemrosesan data adalah langkah awal dalam persiapan data, yang melibatkan pembersihan, transformasi, dan pengorganisasian data agar sesuai untuk analisis atau tugas pembelajaran mesin selanjutnya. Hal ini memastikan data berkualitas tinggi, konsisten, dan dalam format yang sesuai dengan algoritme yang dipilih.

Tujuan:

• Pembersihan Data: Menangani nilai yang hilang, pencilan, dan ketidakkonsistenan untuk meningkatkan kualitas data.
• Transformasi Data: Menormalkan, menskalakan, atau menyandikan data untuk memastikan kompatibilitas dengan algoritme.
• Rekayasa Fitur Data: Membuat fitur baru dari fitur yang sudah ada untuk meningkatkan analisis.
• Pengurangan Data: Mengurangi dimensi atau menghilangkan fitur yang berlebihan untuk meningkatkan efisiensi.

Teknik:

• Pembersihan Data: Memasukkan nilai yang hilang, menghapus pencilan, dan menangani ketidakkonsistenan data.
• Transformasi Data: Menstandarkan data, menormalkan fitur, dan mengkodekan variabel kategorikal.
• Rekayasa Fitur: Membuat fitur baru, mendapatkan interaksi, dan melakukan pemilihan fitur.
• Pengurangan Data: Menerapkan teknik seperti Analisis Komponen Utama (PCA) atau algoritme pengurangan dimensi.

Manfaat:

• Peningkatan Kualitas Data: Memastikan data dapat diandalkan, konsisten, dan sesuai untuk analisis.
• Peningkatan Kinerja Algoritme: Mempersiapkan data dalam format yang dapat diproses oleh algoritme secara efektif.
• Mengurangi Biaya Komputasi: Preprocessing dapat mengurangi beban komputasi analisis.
• Generalisasi Model yang Lebih Baik: Meningkatkan kemampuan model untuk menggeneralisasi data baru.

Exploratory Data Analysis 

Definisi: Analisis data eksploratif (EDA) adalah proses menyelidiki dan meringkas karakteristik kumpulan data untuk mendapatkan wawasan dan mengungkap pola. Hal ini membantu ilmuwan data memahami distribusi data, hubungan, dan potensi masalah.

Tujuan

• Pemahaman Data: Mendapatkan pemahaman yang komprehensif tentang struktur, variabel, dan nilai data.
• Identifikasi Pola: Mengungkap pola, tren, dan anomali tersembunyi di dalam data.
• Pembuatan Hipotesis: Merumuskan hipotesis dan pertanyaan untuk memandu analisis lebih lanjut.
• Visualisasi Data: Membuat visualisasi informatif untuk mengomunikasikan wawasan secara efektif.

Teknik

• Statistik Deskriptif: Menghitung statistik ringkasan seperti rata-rata, median, modus, deviasi standar, dan kuartil.
• Visualisasi Data: Buat bagan, grafik, dan plot untuk memvisualisasikan distribusi, hubungan, dan tren data.
• Pembuatan Profil Data: Menganalisis jenis data, nilai yang hilang, dan pencilan untuk mengidentifikasi masalah potensial.
• Analisis Korelasi Data: Memeriksa hubungan antar variabel dengan menggunakan koefisien korelasi.

Manfaat:

• Peningkatan Pemahaman Data: Memberikan pemahaman yang lebih mendalam tentang karakteristik dan pola data.
• Pembuatan Hipotesis yang Terinformasi: Memfasilitasi perumusan hipotesis yang beralasan untuk analisis lebih lanjut.
• Komunikasi Data yang Efektif: Memungkinkan komunikasi yang jelas dan ringkas tentang wawasan data kepada para pemangku kepentingan.
• Peningkatan Kualitas Data: Mengidentifikasi potensi masalah data yang dapat memengaruhi analisis selanjutnya.