Sensitivitas dan spesifisitas adalah dua istilah yang kental dengan dunia medis dan memiliki kesesuaian dengan machine learning. Kedua istilah tersebut digunakan untuk menilai performa testing.
Umumnya metode untuk menilai performa testing biasa menggunakan metrik akurasi. Namun di beberapa kasus tertentu, metrik akurasi tidak merepresentasikan hasil yang tepat. Di bawah akan dijelaskan kenapa akurasi tidak cukup berguna untuk kasus tertentu.
Confussion Matrix
Sebelum memahami apa itu sensitivitas dan spesifisitas, alangkah baiknya jika kita memahami terlebih dahulu tabel confussion matrix.
Tabel confussion matrix memiliki dua sisi, sisi actual dan sisi prediction. Masing-masing sisi terdiri dari positive dan negative. Supaya lebih jelas, silahkan perhatikan gambar berikut.
Berdasarkan gambar di atas, terdapat empat kolom, True Negative (TN), False Positive (FP), False Negative (FN) dan True Positive (TP).
Apa itu True Negative, False Positive, False Negative dan True Positive?
- True Negative (TN): Negative diprediksi Negative
- False Positive (FP): Negative diprediksi Positive
- True Positive (TP): Positive diprediksi Positive
- False Negative (FN): Positive diprediksi Negative
Bagaimana masih bingung?
Cara tergampang yang saya lakukan untuk memahami hal tersebut yaitu dengan melihat True atau False nya.
Misal, True Negative, berarti benar menganggap negative. False Positive, berarti salah menganggap positive. True Positive, berarti benar menganggap positive. False Negative, berarti salah menganggap negative.
Sensitivitas dan Spesifisitas
Sensitivitas adalah kemampuan memprediksi positive terhadap data yang seharusnya positive. Dalam kasus medis berarti kemampuan mendiagnosis sebagai positive terhadap orang yang benar-benar sakit.
Jika dihubungakan dengan confussion matrix, orang yang benar dianggap positive yaitu True Positive (TP). Sedangkan orang yang seharusnya positive itu terdiri dari True Positive (TP) dan False Negative (FN).
Rumus Sensitivitas:
$Sensitivitas=\frac{TP}{TP+FN}$
Spesifisitas adalah kemampuan memprediksi negative terhadap data yang seharusnya negative. Dalam kasus medis berarti kemampuan mendiagnosis sebagai negative terhadap orang yang benar-benar sehat.
Jika dihubungakan dengan confussion matrix, orang yang benar dianggap negative yaitu True Negative (TN). Sedangkan orang yang seharusnya negative itu terdiri dari True Negative (TN) dan False Positive (FP).
Rumus Spesifisitas:
$Spesifisitas=\frac{TN}{TN+FP}$
Metrik Akurasi Tidak Berguna
Sekarang mari saya tunjukkan bahwa metrik akurasi tidak berguna di kasus tertentu. Berikut rumus akurasi berdasakan confussion matrix.
$Akurasi=\frac{TN+TP}{TN+FP+TP+FN}$
Misalkan terdapat 100 orang akan dites kesehatan. Sebenarnya yang benar-benar sakit ada 10 orang, dan yang benar-benar sehat 90 orang.
Seluruh orang tersebut dites kesehatannya menggunakan alat testing yang sama. Hasilnya diperoleh terdapat 2 orang sakit yang dianggap sakit dan 85 orang sehat dianggap sehat. Orang yang sehat dianggap sakit 5 orang, orang yang sakit dianggap sehat 8.
Apakah alat testing tersebut sudah bagus?
Mari kita cek, orang yang benar-benar sehat itu ada 90, tetapi alat memprediksi ada 85 orang sehat dianggap sehat, berarti True Negative (TN) = 85, False Positive (FP) = 5.
Orang yang benar-benar sakit itu ada 10, tetapi alat memprediksi ada 2 orang sakit yang dianggap sakit, berarti True Positive (TP) = 2, False Negative (FN) = 8.
Jika kita menggunakan metrik akurasi maka hasilnya seperti berikut:
$Akurasi=\frac{85+2}{85+5+2+8}=\frac{87}{100}=87$%
Perhatikan nilai akurasi testing mencapai 87%, ini tergolong bagus untuk nilai akurasi. Tapi apakah benar alat tersebut bagus?
Sekarang mari kita cek mengguakan metrik sensitivitas dan spesifisitas.
$Sensitivitas=\frac{2}{2+8}=\frac{2}{10}=20$%
Nilai sensitivitas 20% menandakan bahwa alat tidak cukup bagus untuk memprediksi orang sakit dengan benar.
$Spesifisitas=\frac{85}{85+5}=\frac{85}{90}=94$%
Nilai spesifisitas 94% menandakan bahwa alat cukup bagus untuk memprediksi orang sehat dengan benar.
Dalam kasus alat testing medis, tentu saja dengan melihat nilai sensitivitas 20% tidak layak alat dikatakan bagus. Bayangkan orang yang seharusnya diobati karena sebenarnya sakit tetapi diprediksi sehat, maka akan sangat berbahaya.
Oleh karena itu, metrik akurasi tidak tepat digunakan untuk kasus seperti ini.
Hubungannya dengan machine learning apa?
Hubungannya tentu saja ketika Anda mengembangkan alat testing berbasis Artificial Intelligence untuk medis atau yang semisalnya perlu mempertimbangkan metrik evaluasi dengan baik.