Logistic regression adalah salah satu algoritma machine learning untuk klasifikasi biner (binary classification) yang menggunakan teknik probabilitas. Output dari model logistic regression bersifat kategori (categorical).
Dalam artikel ini, Anda akan belajar konsep logistic regression yang sangat berguna dalam perkembangan machine learning lebih jauh untuk neural network.
Logistic Function
Penamaan model logistic regression sendiri berdasarkan pada nama fungsi yang menjadi inti dari model ini yaitu fungsi logistik. Logistic function atau dikenal juga sebagai sigmoid function merupakan fungsi dalam statistika yang membagi data menjadi dua class (class=1 dan class=0).
Fungsi sigmoid memiliki bentuk menyerupai huruf S yang mana memetakan bilangan real ke dalam nilai di antara 0 dan 1. Sigmoid function didefinisikan sebagai berikut.
$\sigma(z)=\frac{1}{1+e^{-z}}$ ...(1)
Di mana $e$ adalah bilangan natural atau Euler number dan $z$ adalah bilangan real yang akan ditransformasikan. Berikut adalah grafik fungsi sigmoid yang memetakan bilangan real dari -5 sampai 5.
Sampai sini Anda telah mengetahui tentang fungsi logisitik yang menjadi visioner untuk generative AI. Berikutnya mari kita pahami bagaimana logistic function ini diterapkan untuk model logistic regression.
Representasi Logistic Regression
Di artikel sebelumnya, kita telah belajar tentang linear regression yang didefinisikan oleh fungsi berikut.
$y=\beta+\alpha x$ ...(2)
Persamaan logistic regression didefinisikan sebagai
$y=\frac{e^{\beta+\alpha x}}{1+e^{\beta+\alpha x}}$ ...(3)
Atau dengan sedikit modifikasi matematika, bentuk persamaan (3) tersebut bisa diubah menjadi
$y=\frac{1}{1+e^{-(\beta+\alpha x)}}$ ...(4)
Perhatikan bahwa persamaan (4) memiliki bentuk yang sama dengan persamaan (1) untuk sigmoid function. Dimana $y$ adalah nilai prediksi, $\beta$ adalah bias model, $\alpha$ adalah gradien input $x$.
Probabilitas Logitic Regression
Probabilitas model logistic regression secara default adalah class=1, dengan kata lain bisa kita ungkapkan sebagai berikut.
Berapa persen probabilitas input yang diberikan merupakan anggota class=1?
Secara matematis dapat kita tuliskan sebagai berikut.
$P(X) = P(Y=1|X)$ ...(5)
Terapkan untuk probabilitas logistic regression maka akan diketahui fungsi probabilitasnya sebagai berikut.
$P(X) = \frac{1}{1+e^{-(\beta+\alpha x)}}$ ...(6)
Prediksi Logistic Regression
Secara sederhana, prediksi logistic regression bisa kita lakukan dengan menggunakan persamaan (4) di atas. Nilai $\beta$ dan $\alpha$ diperoleh berdasarkan dataset yang tersedia, silahkan pelajari materi regresi linear untuk mengetahui caranya.
Sedangkan untuk konsep yang lebih advance, nilai $\beta$ dan $\alpha$ dapat diperoleh salah satunya dengan menggunakan gradient descent.
Misalkan diketahui bahwa nilai $\beta=100$ dan $\alpha=-0.6$, kita ingin memprediksi seberapa besar probabilitas tinggi badan 160 cm adalah laki-laki.
Maka tinggal kita hitung dengan persamaan (6)
$P(Y=laki-laki|X) = \frac{1}{1+e^{-(\beta+\alpha x)}}$
$P(Y=laki-laki|160) = \frac{1}{1+e^{-(100+(-0.6)(160))}}$
$P(Y=laki-laki|160) = \frac{1}{1+e^{-4}}=0.98201379=98.20%$
Sehingga hasil prediksi logistic regression berdasarkan parameter yang diberikan memperoleh bahwa tinggi badan 160 cm itu 98.20% laki-laki.