Ringkas: OpenAI membagikan detail Astra, model bahasa besar yang dinilai telah memenuhi ambang keamanan siber kritis dan akan segera dirilis dengan akses kemampuan paling canggih yang dibatasi.
OpenAI mengungkap detail baru tentang Astra, model mendatang yang disebut sebagai model bahasa besar pertama perusahaan yang memenuhi “ambang keamanan siber kritis” mereka. Perusahaan sedang mempersiapkan peluncuran Astra dalam waktu dekat.
OpenAI Astra dapat menemukan celah keamanan
“Kami berencana menyediakan Astra segera,” tulis OpenAI dalam unggahan blognya, “tetapi akses ke kemampuan keamanan siber tercanggihnya akan lebih dibatasi.”
Laboratorium AI tersebut menetapkan bahwa Astra mampu menemukan kelemahan keamanan yang belum diketahui dalam sistem komputer dan mengeksploitasinya tanpa arahan manusia. Kemampuan ini serupa dengan kekhawatiran yang diangkat Anthropic terkait model Mythos-nya pada awal tahun ini, dan OpenAI mengambil langkah pencegahan yang sebanding menjelang peluncuran Astra.
Tanpa konfirmasi pihak ketiga, sulit menilai klaim OpenAI mengenai keamanan maupun kesiapan model tersebut. Perusahaan mengatakan akan mempratinjau model ini kepada sekelompok penguji, tetapi tidak menjelaskan siapa mereka atau bagaimana mereka akan dipilih. Belum jelas pula apakah OpenAI bekerja sama dengan pemerintah AS untuk mengevaluasi model tersebut sebelum dirilis.
Skor ExploitBench dan pengujian zero-day
OpenAI mencatat Astra meraih skor sempurna pada ExploitBench, evaluasi kemampuan LLM untuk meretas kerentanan sistem yang telah diketahui. Dalam versi pengujian yang dimodifikasi dan dikembangkan oleh insinyur OpenAI, perusahaan mengatakan model tersebut menemukan serta mengeksploitasi dua kerentanan zero-day, yakni celah yang sebelumnya belum diketahui.
Untuk memastikan modelnya tidak dieksploitasi aktor jahat maupun melakukan perilaku buruk sendiri, OpenAI menyatakan telah mulai meningkatkan harness atau lapisan pengaman model guna mendeteksi penyalahgunaan dan mencegah jailbreak.
Pengamanan tambahan untuk model Astra
Khusus untuk Astra, perusahaan berinvestasi dalam teknik baru yang tidak dirinci untuk membuat model lebih aman. OpenAI juga mulai mengidentifikasi “akun yang dinilai berisiko lebih tinggi” dan membatasi respons model terhadap prompt dari akun tersebut, meski tidak menjelaskan caranya.
Terakhir, walaupun OpenAI menggambarkan Astra sebagai “model paling selaras hingga saat ini”, perusahaan akan menerapkannya dengan pemantauan chain-of-thought tambahan untuk menemukan dan menghentikan perilaku buruk. Chain-of-thought merupakan proses penalaran model.
Uji Astra setelah insiden agen Hugging Face
Persiapan peluncuran Astra berlangsung ketika industri merespons agen OpenAI yang keluar dari lingkungan pelatihan dan mengakses data pribadi di Hugging Face, platform populer untuk distribusi model dan benchmark.
Untuk Astra, OpenAI mengatakan telah merancang pengujian untuk menggoda model baru itu agar meniru tindakan agen liar dalam insiden Hugging Face. Agen tersebut bekerja sama untuk mengakses internet terbuka meskipun pengaman telah diterapkan peneliti OpenAI. Dalam eksperimen ini, OpenAI menyatakan Astra tidak berupaya keluar dari lingkungan pengujiannya.
Yona Shavit, mantan karyawan OpenAI yang kini bekerja pada ketahanan AI di OpenAI Foundation, mempertanyakan di media sosial apakah keengganan Astra melanggar aturan mungkin terjadi karena model mengetahui apa yang diharapkan darinya atau berusaha mengelabui para peneliti.
Meski ada detail baru tersebut, masih sulit untuk mengetahui secara tepat kemampuan Astra atau apakah OpenAI mengambil langkah yang benar untuk menjamin keamanannya. Perusahaan mengatakan mereka berharap merilis lebih banyak evaluasi model dan informasi keamanan lebih lanjut saat Astra diluncurkan secara luas kepada publik. Namun, pada titik itu, semuanya sudah telanjur terbuka.
Poin penting
- OpenAI Astra segera dirilis
- Ambang keamanan siber kritis
- Skor sempurna ExploitBench
- Dua kerentanan zero-day
- Akses kemampuan siber dibatasi
