Mereka juga ingin para peneliti komputasional memasukkan informasi tentang kode, model, dan lingkungan komputasional mereka dalam laporan yang diterbitkan.

Seruan mereka, yang diterbitkan di Majalah Nature pada bulan Oktober, merupakan tanggapan terhadap hasil penelitian yang dilakukan oleh Google Health yang diterbitkan di Nature Januari lalu.

Penelitian tersebut mengklaim sistem kecerdasan buatan lebih cepat dan lebih akurat dalam menyaring kanker payudara daripada ahli radiologi manusia.

Google mendanai penelitian tersebut, yang dipimpin oleh Google Scholar Scott McKinney dan karyawan Google lainnya.

Kritik terhadap Studi Google

“Dalam penelitian mereka, McKinney dkk. menunjukkan potensi tinggi kecerdasan buatan untuk skrining kanker payudara,” kata kelompok ilmuwan internasional yang dipimpin oleh Benjamin Haibe-Kains dari Universitas Toronto.

“Namun, kurangnya metode dan kode komputer yang terperinci melemahkan nilai ilmiahnya. Kekurangan ini membatasi bukti yang diperlukan bagi pihak lain untuk memvalidasi secara prospektif dan menerapkan teknologi tersebut secara klinis.”

Kemajuan ilmiah bergantung pada kemampuan peneliti independen untuk meneliti hasil suatu studi penelitian, mereproduksi hasil utamanya menggunakan bahan-bahannya, dan mengembangkannya dalam studi masa depan, kata para ilmuwan, mengutip kebijakan Majalah Nature .

McKinney dan rekan penulisnya menyatakan bahwa tidaklah mungkin untuk merilis kode yang digunakan untuk melatih model karena memiliki banyak ketergantungan pada perkakas internal, infrastruktur, dan perangkat keras, catat kelompok Haibe-Kains.

Namun, banyak kerangka kerja dan platform yang tersedia untuk membuat penelitian AI lebih transparan dan dapat direproduksi, kata kelompok tersebut. Ini termasuk Bitbucket dan Github ; pengelola paket, termasuk Conda ; dan sistem kontainer dan virtualisasi seperti Code Ocean dan Gigantum .

Al menunjukkan janji besar untuk digunakan di bidang kedokteran, tetapi “Sayangnya, literatur biomedis dipenuhi dengan penelitian yang gagal dalam uji reproduktifitas, dan banyak di antaranya dapat dikaitkan dengan metodologi dan praktik eksperimental yang tidak dapat diselidiki karena kegagalan untuk sepenuhnya mengungkapkan perangkat lunak dan data,” kata kelompok Haibe-Kains.