Penerapan Deep Neural Network

Novany Sheila Viki

Sosial Media


0 orang menyukai ini
Suka

Summary

Berikut contoh penerapan neural network. Tepatnya pada proses deteksi ujian kebencian pada kolom komentar Instagram menggunakan Deep Neural Network. Tahapannya meliputi pengambilan data dari kolom komentar Instagram melalui Public API dan format JSON, diikuti dengan tahap pre-processing seperti case folding, filtering, stemming, dan tokenizing. Selanjutnya, dilakukan ekstraksi ciri dengan metode POS Tagging dan TF-IDF. Arsitektur Deep Neural Network digunakan dengan input dari bobot TF-IDF yang telah dinormalisasi. Selanjutnya, dilakukan perhitungan menggunakan proses forward dan backpropagation untuk mengubah bobot dan menghitung nilai error. Terakhir, dilakukan uji performansi menggunakan tabel confusion matrix untuk menghasilkan metrik seperti akurasi, presisi, recall, dan skor f-1.

2110511085 - Novany Sheila Viki

Description

Deteksi Ujian Kebencian Pada Kolom Instagram Menggunakan Deep Neural Network

Langkah yang dilakukan dalam melakukan Proses pendeteksi ujian kebencian pada instagram menggunakan Deep Neural Networks

i Data Retrieval 

Pengambilan data ini yaitu berasal dari kolom komentar instagram yang diperkirakan mengandung ujian kebencian. Dimana terdapat data latih dan data uji. Proses pengambilan data menggunakan Public API Instagram dan menggunakan format JSON. Informasi yang diperoleh seperti post, caption, dan komentar dengan format JSON lalu diambil dengan memakai phyton.

ii. Text Pre-processing

Setelah data tersebut diambil, maka selanjutnya akan dilakukan tahap pre-processing. Berikut 4 tahap pre-processing sebagai berikut : 

  • Case Folding : Proses mengubah huruf kapital menjadi huruf kecil.
  • Filtering : Proses pembuangan kata yang tidak relevan pada proses selanjutnya, seperti kata hubung dan kata yang tidak baku.
  • Stemming : Mengubah kata menjadi kata dasar.
  • Tokenizing : Proses memotong kalimat menjadi bagian yang disebut token.

iii. Ekstraksi Ciri

Pembobotan kata merupakan tahap untuk menyeleksi kata penting yaitu kata yang memiliki bobot dan kata yang tidak memiliki bobot. Menggunakan metode POS Tagging dan TF-IDF pada tahap ekstraksi ciri. Berikut tahapan yang dilakukan. 

  1. Proses pertama yang dilakukan komentar yang diambil diberikan keterangan masing-masing berdasarkan tagset, seperti kata sifat, kata benda, ataupun kata penentu
  2. Kemudian dilakukan pembobotan kata dengan metode TF-IDF dengan parameter POS Tagging, yaitu memberikan nilai pada kata yang mengandung kebencian.
  3. Melakukan normalisasi untuk mempersempit selisih antara bobot TF-IDF yang diperoleh menggunakan persamaan berikut.

v : bobot TF-IDF yang akan dinormalisasi.

iv. Deep Neural Network 

a. Arsitektur Deep Neural Network
Pada arsitektur deep neural network yang digunakan, dimana terdapat input yang diperoleh dari bobot TF-IDF yang telah dinormalisasi atau ini terdapat pada layer pertama. Lalu ada layer output atau layer terakhir. Serta terdapat hidden layer yang dimana masing-masing layer memiliki beberapa neuron yaitu tepatnya diantara layer input dan output. Berikut salah satu contoh gambar arsitektur Deep Neural Network.

 

b. Perhitungan Case Ujaran Kebencian

Tahap yang dilakukan pada proses ini yaitu : 

  • Inisialisasi perangkat jaringan deep neural network, antara lain : 
  1. Jumlah hidden layer dan neuron dari setiap hidden layer.
  2. Learning rate ().
  3. Bobot acak (w) dengan interval 0-1.
  • Hitung output pada proses input-hidden layer pertama dengan persamaan : 

Ket : 

i = input

w = bobot acak 

b = nilai bias

h = output

Setelah diperoleh hasil dari output tersebut, kemudian dilakukan perhitungan sigmoid, dengan persamaan : 

Dimana e merupakan eksponen dan x merupakan output dari proses itu. Output ini yang akan dijadikan input untuk proses selanjutnya.

  • Hitung output dari proses hidden layer pertama-hidden layer kedua dengan proses sebelumnya. Kemudian menghitung sigmoidnya.
  • Hitung output dari proses hidden layer kedua-layer output dengan persamaan sebelumnya kemudian menghitung sigmoidnya.
  • Hitung nilai error dari output sigmoid pada proses hidden layer dan output layer dengan persamaan crossentropy, sebagai berikut.

Ket : N = jumlah data

k = konstanta

O = output

  • Kemudian proses backpropagation untuk mengubah bobot acak yang telah dipakai semua neuron pada input layer, hidden layer, dan output layer agar nilai error yang diperoleh dapat diterima yaitu [1,0 ; 0,0] atau nilai epoch maksimal. Proses backpropagation yaitu : 

1. Mengubah nilai bobot dari output layer ke hidden layer kedua, dengan persamaan berikut. 

Menghitung nilai turunan dari setiap output dengan persamaan berikut.

Hitung turunan dari setiap input ke masing-masing neuron dengan memperhitungkan bobot dari masing-masing input dengan persamaan berikut. 

Hitung perubahan bobot wk1l1 menggunakan persamaan berikut.

Dengan learning rate = 0.9, maka bobot akhir yang telah diperbarui dapat diperoleh dengan persamaan berikut.

2. Setelah mengubah nilai bobot dari output layer-hidden layer kedua. Lalu menghitung untuk mengubah nilai bobot dari hidden layer kedua-hidden layer pertama dengan persamaan berikut.

Hitung turunan dari setiap input ke masing-masing neuron dengan memperhitungkan bobot dari masing-masing input dengan persamaan berikut. 

Hitung perubahan bobot wj3k1 dengan persamaan berikut.

Dengan learning rate = 0.9, maka bobot akhir yang telah diperbaharui diperoleh dengan persamaan berikut.

3. Terakhir yaitu mengubah bobot pada hidden layer pertama ke input layer. Lalu menghitung turunan dari setiap input ke masing-masing neuron dengan memperhitungkan bobot dari masing-masing input dengan persamaan berikut.

Lalu hitung perubahan bobot wi3j1 dengan persamaan ini.

Dengan learning rate = 0.9, maka bobot akhir yang diperbarui diperoleh dengan persamaan.

Setelah nilai bobot diperbarui, maka perhitungan forward kembali dilakukan dan akan berhenti jika nilai error yang diperoleh dapat diterima yaitu [1.0 ; 0.0].

v. Uji Performansi 

Dilakukan uji performansi data menggunakan tabel confusion matrix berikut.

Lalu akan dihasilkan perhitungan confusion matrixnya, seperti accuracy, precision, recall, dan f-1 score.  

Informasi Course Terkait
  Kategori: Data Science / Big Data
  Course: Information Retrieval for Beginner