Teknik pelatihan baru bertujuan untuk mengatasi tantangan dalam mengembangkan model AI tingkat lanjut. Perusahaan-perusahaan AI terkemuka sedang memikirkan kembali pendekatan mereka terhadap model-model bahasa yang besar karena penskalaan metode-metode yang ada menghadapi hasil yang semakin berkurang. Model terbaru OpenAI, o1, merupakan pergeseran penting menuju teknik-teknik pemecahan masalah yang mirip dengan manusia.

Fokus tradisional pada kumpulan data yang lebih besar dan peningkatan daya komputasi sedang dipertimbangkan kembali. Tokoh-tokoh penting, termasuk mantan salah satu pendiri OpenAI Ilya Sutskever, menyoroti manfaat penskalaan yang tidak kunjung hilang dan menyerukan metode yang lebih inovatif. Kekurangan daya, kelangkaan data, dan biaya tinggi juga telah menghambat pengembangan model-model unggul seperti GPT-4.

Pendekatan baru seperti ‘test-time compute’ semakin diminati, memungkinkan sistem AI mengevaluasi beberapa solusi sebelum memilih yang paling sesuai. Kemajuan ini meningkatkan kinerja model tanpa memerlukan peningkatan besar dalam sumber daya komputasi. OpenAI, Google DeepMind , dan lainnya dengan cepat mengadopsi teknik ini, menandai pergeseran dalam lanskap AI yang kompetitif.

Kemajuan ini dapat mengubah permintaan di pasar perangkat keras secara signifikan, sehingga menantang dominasi Nvidia dalam chip AI. Seiring berkembangnya AI, perusahaan tidak hanya bersaing untuk meningkatkan model tetapi juga mendefinisikan ulang alat dan teknik yang membentuk masa depan kecerdasan buatan.