Daftar Isi
OpenAI sedang merakit tim untuk memecahkan masalah keselarasan superintelligence – untuk mencegahnya menjadi liar. CEO OpenAI, Sam Altman, telah mengunjungi berbagai negara untuk mengingatkan bahaya superintelligence AI, fenomena di mana mesin menjadi lebih pintar daripada manusia dan berpotensi menjadi liar. Sekarang, OpenAI mengatakan bahwa mereka sedang membuat tim baru yang bertugas untuk menemukan metode untuk melawan superintelligence ini, yang mereka yakini bisa terjadi pada dekade ini.
Mengendalikan Masalah Superintelligence
Mengendalikan superintelligence ini tidak hanya membutuhkan institusi tata kelola baru, tetapi juga berarti memecahkan masalah keselarasan superintelligence, menurut sebuah postingan blog perusahaan. Tim ini perlu mencari tahu bagaimana membuat superintelligence ini selaras dengan nilai-nilai manusia dan mengikuti niat manusia. AGI yang tidak selaras (kecerdasan umum buatan atau superintelligence) dapat menimbulkan risiko yang signifikan bagi umat manusia dan memecahkan masalah keselarasan AGI bisa sangat sulit sehingga membutuhkan kerja sama seluruh umat manusia, kata perusahaan tersebut dalam postingan blog tahun 2022.
Nama Tim Baru OpenAI
OpenAI menyebut tim baru ini sebagai Superalignment, dan mereka sedang mengumpulkan sekelompok peneliti dan insinyur pembelajaran mesin terbaik untuk bergabung. Memimpin tim adalah Ilya Sutskever, salah satu pendiri OpenAI dan ilmuwan kepala, serta Jan Leike, kepala keselarasan. Perusahaan berjanji akan mengalokasikan 20% dari komputasi yang mereka miliki saat ini untuk bekerja pada masalah keselarasan ini. OpenAI berharap dapat memecahkan tantangan teknis inti dari keselarasan superintelligence dalam empat tahun.
OpenAI sedang mencari Beberapa Ilmuwan
Terkait: OpenAI sedang mencari insinyur penelitian, ilmuwan penelitian, dan manajer penelitian untuk bergabung dengan tim Superalignment mereka. Upaya untuk memecahkan keselarasan OpenAI telah bekerja pada masalah keselarasan setidaknya selama satu tahun dan belum menemukan solusi. Saat ini, kami belum memiliki solusi untuk mengarahkan atau mengendalikan AI yang berpotensi superintelligent dan mencegahnya menjadi liar, kata perusahaan tersebut. Teknik kami saat ini untuk menyelaraskan AI, seperti pembelajaran penguatan dari umpan balik manusia, bergantung pada kemampuan manusia untuk mengawasi AI. Tetapi manusia tidak akan dapat mengawasi sistem AI yang jauh lebih pintar daripada kita dengan andal, sehingga teknik penyelarasan kami saat ini tidak akan cocok untuk superintelligence. Kami membutuhkan penelitian dan teknik baru.
Tujuan Di bentuknya Tim Superaligment
Tujuan tim baru ini adalah membangun peneliti penyelarasan otomatis tingkat manusia, yang berarti mereka berencana untuk membangun sistem AI yang dapat menyelaraskan sistem AI superintelligent dan melakukannya dengan lebih cepat dan lebih baik daripada manusia. Untuk menyelaraskan peneliti penyelarasan otomatis pertama, tim ini perlu mengembangkan metode pelatihan yang dapat diskalakan menggunakan sistem AI untuk membantu mengevaluasi sistem AI lainnya; memvalidasi model yang dihasilkan dengan melakukan hal-hal seperti otomatisasi pencarian perilaku bermasalah; dan menguji pipa penyelarasan dengan sengaja melatih model yang tidak selaras untuk melihat apakah ini terdeteksi. Peneliti manusia kemudian akan fokus pada upaya mereka untuk meninjau keselarasan yang dilakukan oleh sistem AI daripada menghasilkan penelitian ini sendiri. OpenAI mengatakan tujuannya adalah melatih model agar selaras sehingga kami dapat memindahkan hampir semua pekerjaan kognitif yang diperlukan untuk keselarasan ini. Penelitian keselarasan ini akan ditambahkan dengan upaya yang sudah ada untuk mengatasi kerugian dari model-model saat ini, termasuk penyalahgunaan, kehilangan pekerjaan, disinformasi, bias, dan masalah lainnya.
