Back
Cover Course Big Data Analysis dengan Apache Spark & Flink
Beginner Free +20 Points

BISA AI Academy

Big Data Analysis dengan Apache Spark & Flink

Course ini memberikan pemahaman menyeluruh tentang analisis Big Data menggunakan Apache Spark dan Apache Flink, dimulai dari pengenalan konsep dasar kedua framework untuk pemrosesan data skala besar, instalasi serta konfigurasi lingkungan kerja, hingga kemampuan pemrograman menggunakan berbagai abstraksi seperti RDD, DataFrame, dan Dataset. Peserta juga akan mempelajari pemrosesan data real-time melalui modul streaming di Flink, teknik pengelolaan dan analisis data terdistribusi menggunakan Spark SQL dan Flink SQL, serta penyelesaian studi kasus industri untuk mengintegrasikan seluruh kemampuan yang telah dipelajari dalam skenario nyata.

Material Author Fikri Ramadhan, S.Kom.

Course Details

About this class

Summary of materials, learning objectives, and class assessment rules.

General Information

Big Data Analysis dengan Apache Spark & Flink adalah bidang yang berfokus pada pengolahan dan analisis data dalam skala besar menggunakan dua framework terkemuka untuk komputasi terdistribusi. Apache Spark menawarkan kemampuan pemrosesan batch yang cepat dengan dukungan RDD, DataFrame, dan SQL, sementara Apache Flink unggul dalam pemrosesan data real-time dengan latensi rendah dan arsitektur streaming yang kuat. Keduanya memungkinkan organisasi mengolah data dalam volume besar, kecepatan tinggi, dan berbagai format untuk menghasilkan insight yang relevan bagi kebutuhan bisnis. Melalui pemanfaatan Spark dan Flink, perusahaan dapat membangun pipeline data yang scalable, efisien, serta mampu mendukung aplikasi analitik dan operasional modern seperti rekomendasi, deteksi fraud, pemantauan sistem, dan analisis perilaku pengguna.

Learning Objectives

  • Memahami konsep Big Data serta alasan penggunaan framework terdistribusi seperti Apache Spark dan Apache Flink.
  • Menjelaskan arsitektur, komponen utama, dan perbedaan mendasar antara Spark dan Flink.
  • Melakukan instalasi, konfigurasi, dan verifikasi lingkungan kerja Spark dan Flink.
  • Mampu memprogram aplikasi menggunakan abstraksi utama Spark: RDD, DataFrame, dan Dataset.
  • Mengembangkan alur pemrosesan data streaming menggunakan Apache Flink untuk menangani data real-time.
  • Menyelesaikan studi kasus industri untuk membangun solusi Big Data end-to-end menggunakan Spark dan Flink.

Specifications

Course ini membutuhkan perangkat komputer yang sudah terinstal virtual machine (virtual box) dan menjalankan sistem operasi Ubuntu didalamnya. Rekomendasi komputer untuk menjalankan virtual box dengan baik adalah sebagai berikut:

  • CPU : Intel or AMD x86/x86‑64 processor. 8 core direkomendasikan
  • RAM : 4GB. 8GB direkomendasikan
  • Storage: SSD 256 GB (sisa ruang kosong minimal 50 GB)
  • GPU : Integrated Graphics (Intel HD/UHD atau Vega)

Passing Criteria

Participants are required to take the quiz for each syllabus in the course. The final assignment can be accessed if participants have completed the quiz in each syllabus with a score that meets the minimum passing criteria (KKM) of 70. After participants complete the quizzes and final assignment, they will receive a certificate.

Assessment Scheme

A. Quiz (80%)
The quiz questions in each syllabus consist of multiple-choice questions that participants must answer. A quiz score can be obtained if participants can complete the quiz in each syllabus perfectly. The quiz score for each syllabus will be accumulated at 10%.

B. Final assignment (20%)
The final assignment consists of one analytical question taken from the syllabus. A final assignment score can be obtained if participants successfully complete the final assignment well.