Penemuan ilmiah adalah salah satu aktivitas manusia yang paling kompleks. Pertama, para ilmuwan perlu memahami pengetahuan yang ada dan mengidentifikasi kesenjangan terbesarnya.

Selanjutnya, mereka harus merumuskan pertanyaan penelitian, merancang dan melakukan eksperimen untuk mencari jawabannya.

Mereka kemudian harus menganalisis dan menafsirkan hasil percobaan, yang mungkin menimbulkan pertanyaan penelitian lain.

Bisakah proses rumit seperti ini diotomatisasi? minggu lalu, Sakana AI Labs telah diumumkan Ciptakan “ilmuwan AI” – sistem kecerdasan buatan yang mereka klaim dapat membuat penemuan ilmiah di bidang pembelajaran mesin dengan cara yang sepenuhnya otomatis.

Dengan menggunakan model bahasa besar generatif (LLM) seperti yang ada di balik ChatGPT dan chatbot bertenaga AI lainnya, sistem dapat melakukan brainstorming, memilih ide yang menjanjikan, membuat kode algoritme baru, membuat sketsa hasilnya, dan menulis makalah yang merangkum eksperimen dan hasilnya, dengan referensi.

Sakana mengklaim alat AI dapat menjalankan seluruh siklus hidup eksperimen ilmiah dengan biaya hanya US$15 per kertas – lebih murah dari biaya makan siang seorang ilmuwan.

Ini adalah beberapa klaim besar. Apakah ini realistis? Meski realistis, apakah sepasukan ilmuwan AI yang menghasilkan makalah penelitian dengan kecepatan luar biasa merupakan kabar baik bagi sains?

Bagaimana komputer dapat melakukan “sains”

Sebagian besar ilmu pengetahuan dilakukan secara terbuka, dan hampir semua pengetahuan ilmiah dituliskan di suatu tempat (jika tidak, kita tidak akan dapat “mengetahuinya”). Jutaan makalah ilmiah tersedia secara gratis secara online di repositori seperti arksif Dan PubMed.

Siswa LLM dilatih dalam menangkap data bahasa dan pola sains. Maka mungkin tidak heran jika mahasiswa LLM bisa menghasilkan sesuatu yang terlihat seperti karya ilmiah yang bagus – mereka sudah menyerap banyak contoh yang bisa mereka tiru.

Yang kurang jelas adalah apakah sistem AI mampu berproduksi Menarik Penelitian ilmiah yang baik membutuhkan inovasi.

Tapi apakah ini menarik?

Para ilmuwan tidak mau diberitahu hal-hal yang sudah diketahui. Sebaliknya, mereka ingin mempelajari hal-hal baru, terutama hal-hal baru yang sangat berbeda dari apa yang telah diketahui. Hal ini memerlukan penilaian mengenai ruang lingkup dan nilai kontribusi.

Sistem Sakana berupaya mengatasi isu kepentingan dengan dua cara. Pertama, “menilai” ide-ide makalah penelitian baru dalam hal kesamaan dengan penelitian yang sudah ada (diindeks dalam database penelitian). Dunia semantik Apa pun yang terlalu mirip akan diabaikan.

Kedua, sistem SACANA memperkenalkan langkah “peer review” – menggunakan LLM lain untuk menilai kualitas dan kebaruan makalah penelitian yang dihasilkan. Di sini juga, ada banyak contoh peer review online di situs seperti OpenReview.net Yang dapat memandu Anda tentang cara mengkritik makalah penelitian. Mahasiswa LLM juga telah menginternalisasi hal ini.

AI mungkin merupakan penilai yang buruk terhadap keluaran AI

Reaksi terhadap produksi Sakana AI beragam. Beberapa orang menggambarkannya sebagai produksi “Omong kosong ilmiah yang tak ada habisnya“.

Bahkan tinjauan yang dilakukan oleh sistem itu sendiri terhadap keluarannya menilai makalah tersebut paling lemah. Situasi ini kemungkinan akan membaik seiring berkembangnya teknologi, namun pertanyaan apakah makalah ilmiah otomatis bermanfaat masih tetap ada.

Kemampuan mahasiswa LLM menilai kualitas penelitian juga menjadi pertanyaan terbuka. Karya saya sendiri (segera diterbitkan di Metode pengumpulan penelitian) menunjukkan bahwa pemegang LLM tidak terampil dalam menilai risiko bias dalam studi penelitian medis, meskipun hal ini juga dapat meningkat seiring berjalannya waktu.

Sakana mengotomatiskan penemuan dalam penelitian komputasi, yang jauh lebih mudah dibandingkan jenis sains lain yang memerlukan eksperimen fisika. Eksperimen Sakana dilakukan dengan menggunakan kode, yang juga merupakan teks terstruktur yang dapat dilatih untuk dibuat oleh siswa LLM.

Alat AI untuk mendukung ilmuwan, bukan menggantikan mereka

Peneliti AI telah mengembangkan sistem untuk mendukung sains selama beberapa dekade. Mengingat banyaknya penelitian yang dipublikasikan, sulit untuk menemukan publikasi yang relevan dengan pertanyaan ilmiah tertentu.

Alat pencarian khusus menggunakan kecerdasan buatan untuk membantu para sarjana menemukan dan merangkum karya-karya yang ada. Alat-alat ini mencakup Semantic Scholar yang disebutkan di atas, tetapi juga sistem yang lebih baru, misalnya Memperoleh, Cari kelinci, Set Dan konsensus.

Alat penambangan skrip seperti poptator Pelajari lebih dalam makalah penelitian untuk mengidentifikasi poin-poin penting yang menjadi fokus, seperti mutasi genetik, penyakit tertentu, dan hubungan di antara keduanya. Hal ini sangat berguna dalam mengatur informasi ilmiah.

Pembelajaran mesin juga telah digunakan untuk mendukung pengumpulan dan analisis bukti medis, dalam alat seperti Peninjau robot. Ringkasan membandingkan klaim yang dibuat dalam makalah penelitian dari Beasiswa Membantu dalam melakukan tinjauan literatur.

Semua alat ini dimaksudkan untuk membantu para ilmuwan melakukan pekerjaan mereka dengan lebih efektif, bukan menggantikannya.

Penelitian terhadap kecerdasan buatan dapat memperburuk masalah yang ada

Sedangkan Sakana A.I Negara Meskipun perusahaan tidak melihat peran ilmuwan manusia berkurang, visi mereka mengenai “ekosistem ilmiah yang sepenuhnya didorong oleh AI” akan berdampak besar pada ilmu pengetahuan.

Salah satu kekhawatirannya adalah jika makalah yang dihasilkan AI membanjiri literatur ilmiah, sistem AI di masa depan mungkin akan dilatih berdasarkan keluaran AI dan mengalami modifikasi. Keruntuhan modelArtinya, mereka mungkin menjadi semakin tidak efektif dalam berinovasi.

Namun, dampaknya terhadap sains tidak hanya berdampak pada sistem sains AI itu sendiri.

Sudah ada pelaku-pelaku buruk di bidang sains, termasuk “pabrik kertas” yang memproduksinya Kertas palsu. Masalah ini akan terselesaikan Ini menjadi lebih buruk Ketika sebuah makalah ilmiah dapat diproduksi seharga $15 dan klaim awal yang tidak jelas.

Kebutuhan untuk memeriksa kesalahan dalam segudang penelitian yang dihasilkan secara otomatis dapat dengan cepat membebani kapasitas ilmuwan sebenarnya. Dapat dikatakan bahwa sistem peer review adalah Sudah rusakMelakukan lebih banyak penelitian dengan kualitas yang dipertanyakan tidak akan menyelesaikan masalah.

Sains pada dasarnya didasarkan pada kepercayaan. Para ilmuwan menekankan integritas proses ilmiah sehingga kita dapat memastikan bahwa pemahaman kita tentang dunia (dan sekarang, mesin-mesin di dunia) sudah benar dan semakin baik.

Ekosistem ilmiah di mana sistem AI memainkan peran utama menimbulkan pertanyaan mendasar mengenai makna dan nilai dari proses ini, dan tingkat kepercayaan apa yang harus kita berikan kepada para ilmuwan AI. Apakah ini ekosistem ilmiah yang kita inginkan?

Karen VerspoorDekan Sekolah Teknologi Komputasi, Universitas RMIT, Universitas RMIT

Artikel ini diterbitkan ulang dari Percakapan Di bawah lisensi Creative Commons. Membaca Artikel asli.