Bagging dalam Machine Learning: Konsep dan Penerapannya

Dalam machine learning, sering kali kita dihadapkan pada masalah model yang terlalu sensitif terhadap data latihnya. Model seperti ini bisa tampil sangat baik di data training, tapi hasilnya tidak konsisten saat diuji di data baru. Dalam banyak kasus, ini disebabkan oleh overfitting, di mana model terlalu “menghafal” data dibandingkan belajar pola umumnya. Salah satu pendekatan yang terbukti ampuh untuk mengatasi ini adalah Bootstrap Aggregating, atau yang lebih akrab disebut bagging.

Konsep Dasar Bagging

Bagging bekerja dengan ide sederhana yaitu daripada hanya membuat dan melatih satu model, kita buat beberapa versi model yang sama, lalu latih masing-masing pada subset data pelatihan yang berbeda. Data subset ini diambil secara acak dari dataset utama menggunakan teknik bootstrap sampling, yaitu pengambilan data dengan pengembalian (with replacement). Artinya, satu data point bisa muncul lebih dari sekali dalam satu subset.

Setelah semua model selesai dilatih, hasil prediksi dari masing-masing model digabungkan (aggregated) menjadi satu prediksi akhir. Untuk masalah klasifikasi, metode yang sering digunakan adalah majority voting, sedangkan untuk regresi, digunakan rata-rata (mean) dari semua prediksi.

Detail Proses Teknikal

1. Bootstrap Sampling
   Misalkan anda memiliki dataset dengan 10.000 baris data. Dengan bootstrap sampling, kita bisa membentuk, misalnya, 100 subset data, masing-masing tetap berisi 10.000 baris, tapi diambil acak dengan pengembalian. Jadi, beberapa baris bisa muncul lebih dari sekali, dan sebagian baris mungkin tidak muncul sama sekali di subset tertentu. Hal ini menciptakan variasi antar subset.
2. Model Paralel
   Setiap subset data digunakan untuk melatih satu model. Biasanya digunakan model dengan kompleksitas rendah seperti decision tree, karena mereka cepat dilatih dan sangat sensitif terhadap data, sehingga variasi antar subset bisa menghasilkan model-model yang benar-benar berbeda. Model-model ini dilatih secara independen dan paralel, sehingga teknik bagging sangat cocok diterapkan pada sistem multi-core atau komputasi terdistribusi.
3. Agregasi Hasil Prediksi
   Setelah semua model memberikan prediksinya, kita gabungkan prediksi tersebut. Dalam klasifikasi, jika 7 dari 10 model memprediksi bahwa pasien memiliki risiko penyakit tinggi, maka prediksi akhir adalah “risiko tinggi”. Dalam regresi, kita cukup mengambil rata-rata dari seluruh output numerik.

Mengapa Bagging Efektif?

Salah satu kekuatan utama bagging adalah kemampuannya mengurangi varians model. Model seperti decision tree sangat powerful, tapi juga sangat mudah overfit terhadap noise atau outlier. Dengan membuat banyak model berdasarkan variasi data, kita memperkecil kemungkinan semua model “terjebak” pada pola yang sama.

Anda bisa membayangkan ini seperti sistem voting dalam juri lomba coding. Jika hanya satu orang yang menilai, penilaian bisa bias karena preferensi pribadi. Tapi jika ada 10 juri, masing-masing dengan sudut pandang berbeda, maka hasil akhirnya lebih fair dan representatif.

Studi Kasus: Random Forest

Contoh paling umum dari bagging yang sukses besar adalah algoritma Random Forest. Ia tidak hanya menggunakan teknik bagging untuk membangun banyak decision tree dari subset data yang berbeda, tetapi juga menambahkan variasi tambahan dengan hanya memilih sebagian fitur (kolom) secara acak saat membangun setiap pohon.

Misalnya, dari total 30 fitur, hanya 5 yang dipilih secara acak untuk setiap percabangan pada pohon. Kombinasi dari bootstrap sampling + feature sampling membuat Random Forest mampu menciptakan model ensemble yang sangat beragam dan kuat, sekaligus lebih tahan terhadap overfitting dibanding decision tree tunggal.

Penerapan di Dunia Nyata

Bagging punya banyak aplikasi nyata, terutama di kasus-kasus di mana noise dan variabilitas data sangat tinggi. Misalnya:

• Sistem prediksi penyakit yang menggunakan data dari berbagai rumah sakit dengan kualitas dan struktur data berbeda.
• Model penilaian risiko kredit di perbankan yang harus tetap akurat meskipun ada banyak outlier atau perubahan pola perilaku nasabah.
• Deteksi penipuan di e-commerce, di mana data bisa sangat tidak seimbang dan sering berubah dengan cepat.

Model tunggal bisa dengan mudah tertipu oleh pola-pola aneh, tapi sistem bagging lebih stabil karena tidak bertumpu pada satu "sudut pandang".

Kapan Harus Menggunakan Bagging?

• Saat anda menggunakan model yang rentan overfitting seperti decision tree atau KNN.
• Saat dataset mengandung banyak noise atau outlier.
• Saat anda memiliki cukup resource komputasi untuk melatih banyak model paralel.
• Saat anda ingin meningkatkan stabilitas dan konsistensi prediksi.

Sebaliknya, bagging mungkin tidak terlalu efektif untuk model yang sudah secara alami memiliki bias tinggi dan varians rendah, seperti linear regression.

Bagging bukan solusi ajaib, tapi bagging menawarkan pendekatan kolaboratif yang masuk akal untuk membuat model lebih tahan banting. Daripada bergantung pada satu model yang bisa salah besar, kita minta “pendapat” dari banyak model yang dilatih dengan cara yang berbeda. Di era di mana data makin kompleks dan noisy, pendekatan seperti ini jadi sangat masuk akal.

Kalau anda sedang bereksperimen dengan model yang gampang ngambek sama data baru, mungkin sudah saatnya anda bikin versi-versi alternatifnya dan ajak mereka kerja bareng lewat teknik bagging.