BerandaComputers and TechnologyTerlalu banyak peneliti AI yang menganggap masalah dunia nyata tidak relevan

Terlalu banyak peneliti AI yang menganggap masalah dunia nyata tidak relevan

Setiap peneliti yang berfokus pada penerapan pembelajaran mesin untuk masalah dunia nyata kemungkinan besar telah menerima tanggapan seperti ini: “Penulis menyajikan solusi untuk yang orisinal dan sangat memotivasi masalah, tetapi ini adalah aplikasi dan signifikansinya tampaknya terbatas untuk komunitas pemelajaran mesin. ”

Kata-kata ini langsung dari ulasan yang saya terima untuk makalah yang saya kirimkan ke Konferensi NeurIPS (Neural Information Processing Systems) , tempat teratas untuk penelitian pembelajaran mesin. Saya telah melihat refrain berkali-kali dalam ulasan makalah di mana rekan penulis saya dan saya menyajikan metode yang dimotivasi oleh aplikasi, dan saya telah mendengar cerita serupa dari banyak orang lain.

saya bertanya-tanya: Jika komunitas merasa bahwa bertujuan untuk menyelesaikan masalah dunia nyata berdampak tinggi dengan pembelajaran mesin memiliki signifikansi terbatas, lalu apa yang ingin kami capai?

Tujuan kecerdasan buatan (pdf) adalah untuk mendorong batas kecerdasan mesin. Di bidang pembelajaran mesin, pengembangan baru biasanya berarti algoritme atau prosedur baru, atau — dalam kasus pembelajaran mendalam — arsitektur jaringan baru. Seperti yang ditunjukkan orang lain, hiperfokus pada metode baru ini mengarah pada momok makalah yang melaporkan peningkatan marjinal atau tambahan pada kumpulan data benchmark dan menunjukkan beasiswa cacat (pdf) saat para peneliti berlomba untuk menduduki puncak papan peringkat .

Sementara itu, banyak makalah yang mendeskripsikan aplikasi baru menyajikan konsep baru dan hasil berdampak tinggi. Tetapi bahkan sedikit kata “aplikasi” tampaknya merusak makalah untuk pengulas. Akibatnya, penelitian semacam itu terpinggirkan di konferensi-konferensi besar. Satu-satunya harapan nyata penulis mereka adalah agar makalah mereka diterima di lokakarya, yang jarang mendapat perhatian yang sama dari komunitas.

Ini adalah masalah karena pembelajaran mesin sangat menjanjikan untuk memajukan kesehatan, pertanian, penemuan ilmiah, dan banyak lagi. Gambar lubang hitam pertama diproduksi menggunakan pembelajaran mesin. Prediksi paling akurat dari struktur protein , langkah penting untuk penemuan obat, dibuat dengan menggunakan pembelajaran mesin. Jika orang lain di bidang ini telah memprioritaskan aplikasi dunia nyata, penemuan inovatif apa lagi yang akan kita buat sekarang?

Ini bukan wahyu baru. Mengutip makalah klasik berjudul “ Machine Learning that Matters” (pdf) , oleh ilmuwan komputer NASA Kiri Wagstaf f : “Sebagian besar mesin saat ini penelitian pembelajaran telah kehilangan hubungannya dengan masalah impor ke dunia sains dan masyarakat yang lebih luas. ” Pada tahun yang sama Wagstaff menerbitkan makalahnya, jaringan saraf konvolusional bernama AlexNet memenangkan kompetisi profil tinggi untuk pengenalan gambar yang berpusat pada ImageNet populer kumpulan data, yang mengarah ke ledakan minat dalam pembelajaran mendalam . Sayangnya, keterputusan yang dia gambarkan tampaknya semakin memburuk sejak saat itu.

Pertanyaan yang salah

Penelitian aplikasi marjinal memiliki konsekuensi nyata. Kumpulan data benchmark, seperti ImageNet atau COCO , telah menjadi kunci untuk memajukan pembelajaran mesin. Mereka memungkinkan algoritme untuk melatih dan dibandingkan pada data yang sama. Namun, kumpulan data ini mengandung bias yang dapat dimasukkan ke dalam model yang dihasilkan.

Lebih dari setengah gambar di ImageNet (pdf) berasal dari AS dan Inggris Raya, misalnya. Ketidakseimbangan tersebut menyebabkan sistem mengklasifikasikan gambar secara tidak akurat dalam kategori yang berbeda menurut geografi (pdf) . Kumpulan data wajah yang populer, seperti AT&T Database of Faces , terutama berisi subjek pria berkulit terang, yang mengarah ke sistem yang kesulitan mengenali wajah wanita dan berkulit gelap .

Sementara para peneliti mencoba untuk mengalahkan satu sama lain pada tolok ukur yang dibuat-buat, satu dari setiap sembilan orang di dunia sedang kelaparan.

Ketika studi tentang aplikasi pembelajaran mesin dunia nyata dikecualikan dari arus utama, sulit bagi peneliti untuk melihat dampak dari bias mereka model, sehingga jauh lebih kecil kemungkinannya mereka akan bekerja untuk memecahkan masalah ini.

Salah satu alasan penelitian aplikasi diminimalkan mungkin karena orang lain dalam pembelajaran mesin menganggap pekerjaan ini terdiri dari hanya menerapkan metode yang sudah ada. Pada kenyataannya, mengadaptasi alat pembelajaran mesin ke masalah dunia nyata tertentu membutuhkan pekerjaan algoritmik dan rekayasa yang signifikan. Peneliti pembelajaran mesin yang gagal menyadari hal ini dan mengharapkan alat untuk bekerja “langsung dari rak” sering kali akhirnya membuat model yang tidak efektif. Entah mereka mengevaluasi kinerja model menggunakan metrik yang tidak diterjemahkan ke dampak dunia nyata, atau mereka memilih target yang salah sama sekali.

Misalnya, sebagian besar studi yang menerapkan pembelajaran mendalam ke analisis ekokardiogram mencoba untuk melampaui kemampuan dokter untuk memprediksi penyakit. Tapi memprediksi normal fungsi jantung (pdf) sebenarnya akan menghemat lebih banyak waktu ahli jantung dengan mengidentifikasi pasien yang tidak membutuhkan keahlian mereka. Banyak penelitian yang menerapkan pembelajaran mesin pada pemeliharaan anggur bertujuan untuk mengoptimalkan hasil anggur (pdf) , tetapi pembuat anggur “menginginkan kadar gula dan asam yang tepat, bukan hanya banyak beri berair besar”, kata Drake Whitcraft dari Pabrik Anggur Whitcraft di California.

Lebih banyak kerugian daripada kebaikan

Alasan lain penelitian aplikasi harus penting bagi pembelajaran mesin arus utama adalah bahwa kumpulan data patokan lapangan sayangnya tidak dapat disentuh dengan kenyataan.

Model pembelajaran mesin baru diukur terhadap kumpulan data besar yang dikurasi yang tidak memiliki noise dan memiliki kategori yang jelas dan berlabel eksplisit (kucing, anjing, burung). Pembelajaran mendalam berhasil untuk masalah ini karena mengasumsikan dunia yang sebagian besar stabil (pdf) .

Namun dalam dunia nyata, kategori ini terus berubah seiring waktu atau sesuai dengan konteks geografis dan budaya. Sayangnya, tanggapannya belum mengembangkan metode baru yang mengatasi kesulitan data dunia nyata; sebaliknya, ada dorongan bagi peneliti aplikasi untuk membuat kumpulan data tolok ukur mereka sendiri.

Tujuan dari upaya ini pada dasarnya adalah untuk memasukkan masalah dunia nyata ke dalam paradigma bahwa peneliti pembelajaran mesin lainnya digunakan untuk mengukur kinerja. Tetapi kumpulan data khusus domain kemungkinan tidak lebih baik dari versi yang ada dalam mewakili skenario dunia nyata. Hasilnya bisa lebih berbahaya daripada kebaikan. Orang-orang yang mungkin terbantu oleh pekerjaan para peneliti ini akan kecewa dengan teknologi yang berkinerja buruk pada saat yang paling penting.

Karena prioritas lapangan yang salah arah, orang-orang yang mencoba untuk memecahkan tantangan terbesar di dunia tidak mendapatkan keuntungan sebanyak yang mereka bisa dari janji AI yang sangat nyata. Sementara para peneliti mencoba untuk mengalahkan satu sama lain dalam benchmark yang dibuat-buat, satu dari setiap sembilan orang di dunia kelaparan . Bumi memanas dan permukaan laut naik pada tingkat yang mengkhawatirkan.

Sebagai ahli saraf dan pemimpin pemikiran AI Gary Marcus pernah menulis (pdf) : “Kontribusi terbesar AI kepada masyarakat… pada akhirnya dapat dan harus datang dalam domain seperti penemuan ilmiah otomatis, yang memimpin di antara hal-hal lain menuju versi pengobatan yang jauh lebih canggih daripada yang mungkin saat ini. Tetapi untuk sampai di sana, kami perlu memastikan bahwa bidang secara keseluruhan tidak terjebak di minimum lokal. ”

Agar dunia dapat memperoleh manfaat dari pembelajaran mesin, komunitas harus kembali bertanya pada dirinya sendiri, seperti yang pernah dikatakan Wagstaff: “Apa fungsi objektif bidang itu?” Jika jawabannya ingin berdampak positif di dunia, kita harus mengubah cara berpikir kita tentang aplikasi.

Hannah Kerner adalah asisten profesor riset di University of Maryland di College Park. Dia meneliti metode pembelajaran mesin untuk aplikasi penginderaan jauh dalam pemantauan pertanian dan ketahanan pangan sebagai bagian dari NASA Harvest program.

Read More

RELATED ARTICLES

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Most Popular

Recent Comments