Ringkas: Model OpenAI Astra dilaporkan memakai opaque recurrence, teknik penalaran yang dikhawatirkan dapat membuat chain of thought lebih sulit dipantau oleh peneliti keselamatan AI.
Model Astra baru dari OpenAI akan menggunakan teknik penalaran bernama recurrent depth yang memungkinkannya beroperasi di luar pola berpikir berurutan yang menjadi ciri sebagian besar model penalaran, lapor The Information pada Selasa. Teknik ini, yang juga disebut opaque recurrence, kemungkinan akan membuat chain of thought atau rantai pemikiran model lebih sulit dipantau, sehingga memicu kekhawatiran pakar keselamatan AI.
OpenAI Astra dan risiko opaque recurrence
Meski penggunaan teknik tersebut oleh Astra dilaporkan terbatas, kemunculannya tetap menimbulkan kekhawatiran besar di kalangan pakar keselamatan AI.
CEO Redwood, Buck Shlegeris, menulis dalam sebuah unggahan setelah berita itu muncul, “Saya sangat khawatir dengan laporan bahwa Astra menggunakan opaque recurrence. Saya tidak tahu apakah Astra jauh kurang dapat dipantau melalui CoT dibandingkan model sebelumnya. Namun, jika OpenAI mendorong teknik ini lebih jauh, mereka akan memiliki pilihan untuk meningkatkan recurrence secara masif dan sepenuhnya menghancurkan keterpantauan CoT.”
CoT adalah singkatan dari chain of thought, yaitu catatan langkah-langkah penalaran model. Pendukung keselamatan AI lama, Zvi Mowshowitz, juga menanggapi dan menulis bahwa undang-undang mungkin diperlukan untuk mencegah “perlombaan menuju titik terendah” di antara laboratorium AI.
“Teknik ini seperti bermain api, mempertaruhkan tabu yang telah diperjuangkan OpenAI dan Anthropic untuk dibangun, bahwa kami bekerja keras mempertahankan kesetiaan dan keterpantauan Chain of Thought selama mungkin,” tulis Mowshowitz. “Penggunaan teknik semacam itu yang lebih intensif kemungkinan akan merusak keterpantauan.”
Chain of thought sebagai alat pemantauan keselamatan AI
Dalam kondisi normal, chain of thought model penalaran menunjukkan langkah-langkah berurutan yang diambil model saat berusaha menyelesaikan masalah. Walaupun representasi ini tidak sempurna, catatan tersebut tetap menjadi alat berharga untuk memantau perilaku menyimpang atau ketidakselarasan.
Dalam kasus aktivitas agen nakal OpenAI baru-baru ini, catatan chain of thought menjadi alat penting untuk mengurai alasan agen bertindak seperti itu.
Dalam opaque recurrence, model mengambil pendekatan yang kurang linear dengan memproses kueri yang sama beberapa kali dalam sebuah putaran. Hasilnya meninggalkan lebih sedikit jejak yang mudah dibaca, sehingga secara efektif menghindari catatan chain of thought konvensional.
OpenAI tekankan chain of thought tetap dapat dibaca
Yang penting, penggunaan teknik tersebut oleh Astra tampaknya terbatas. Chain of thought model itu masih diperkirakan tetap dapat dibaca, dan perusahaan menolak anggapan bahwa Astra akan beralih ke “neuralese”. OpenAI juga telah mengumumkan rencana untuk membangun sistem pemantauan chain of thought yang ekstensif sebagai bagian dari rencana keselamatan berorientasi masa depannya.
Dalam unggahan di X, kepala ilmuwan OpenAI Jakub Pachocki menekankan komitmen laboratorium itu terhadap chain of thought yang dapat dibaca. “OpenAI telah bekerja untuk mempertahankan dan memanfaatkan pemantauan chain of thought sejak model penalaran pertama kami,” tulis Pachocki. “Itu adalah tujuan utama program riset kami saat ini.”
Semua model AI melakukan sejumlah penalaran opaque, dan hanya sedikit peneliti yang menganggap log chain of thought sebagai representasi langsung dari penalaran sebuah model. Namun, catatan tersebut tidak menghilangkan kekhawatiran bahwa opaque recurrence dapat membuat penalaran AI lebih sulit dipantau, terutama jika penggunaannya meluas di berbagai model. Dalam laporan lanjutan pada Rabu pagi, The Information melaporkan bahwa Anthropic dan Google DeepMind telah membahas teknik itu.
Kepala ilmuwan Redwood Research, Ryan Greenblatt, menulis dalam unggahan yang menanggapi kabar tersebut bahwa penalaran opaque dapat dengan mudah berkembang lebih cepat daripada penalaran chain of thought konvensional, yang secara efektif menghilangkan seluruh penalaran dari kanal yang terlihat.
“Kekhawatiran terbesar saya adalah perkembangan alami dari sini akan melibatkan peningkatan penalaran opaque hingga titik ketika model bernalar sepenuhnya atau hampir sepenuhnya di ruang laten,” tulis Greenblatt. “Saya berharap belum terlambat untuk menghindari arsitektur yang paling mengkhawatirkan dan OpenAI akan berhenti sampai di sini.”
Pada akhirnya, kekhawatiran para pakar berpusat pada kemungkinan opaque recurrence membuat penalaran AI semakin sulit terlihat dan dipantau, walaupun penggunaan teknik tersebut oleh Astra saat ini dilaporkan terbatas.
Poin penting
- OpenAI Astra memakai opaque recurrence
- Teknik recurrent depth non-linear
- Chain of thought berpotensi sulit dipantau
- Penggunaan Astra dilaporkan terbatas
- Anthropic dan Google DeepMind membahas teknik
Sumber: https://techcrunch.com/2026/09/02/openais-new-reasoning-technique-alarms-ai-safety-experts/
