Anthropic baru saja mengembangkan teknik bernama Jacobian lens yang memberi pandangan lebih jelas soal apa yang sebenarnya terjadi di dalam large language model saat menjawab pertanyaan atau mengerjakan tugas. Hasilnya cukup beragam, mulai dari hal biasa sampai yang agak mengganggu. Teknik ini memungkinkan tim peneliti melihat proses internal model Claude dengan cara yang belum pernah dicapai sebelumnya.
Dalam praktiknya, Jacobian lens bekerja dengan menganalisis gradien atau perubahan kecil di dalam model untuk memetakan area tersembunyi tempat konsep-konsep diproses. Ini seperti membuka tutup mesin dan melihat bagian mana yang bekerja saat Claude mencoba memahami ide-ide abstrak. Beberapa proses yang terlihat memang sederhana, seperti mengenali pola kata, tapi ada juga yang menunjukkan model seolah sedang ‘menebak-nebak’ konsep di ruang yang tidak langsung terlihat dari output akhir.
Salah satu temuan menarik adalah adanya ruang tersembunyi di mana Claude sepertinya mempertimbangkan berbagai kemungkinan konsep sebelum memutuskan jawaban. Proses ini tidak selalu muncul di teks yang dihasilkan, sehingga selama ini sulit diamati. Dengan Jacobian lens, Anthropic bisa melihat bahwa model kadang memproses informasi dengan cara yang lebih rumit daripada yang kita duga.
Dari sisi dampak, teknik semacam ini bisa membantu pengembang mendeteksi potensi perilaku model yang tidak diinginkan lebih dini, misalnya saat model mulai menunjukkan pola yang bisa mengarah ke output bias atau tidak akurat. Ini penting karena semakin besar model, semakin sulit mengontrol apa yang terjadi di balik layar.
Selain itu, temuan ini juga menambah konteks mengapa bidang interpretability AI semakin mendapat perhatian besar. Banyak perusahaan kini berlomba memahami mekanisme internal model mereka, bukan hanya fokus pada performa. Langkah Anthropic ini bisa menjadi referensi bagi tim lain yang ingin mengembangkan alat serupa untuk model mereka sendiri.
Meski begitu, Jacobian lens masih dalam tahap awal dan belum bisa memberikan gambaran lengkap. Ada banyak aspek proses berpikir model yang masih gelap, dan diperlukan lebih banyak eksperimen untuk memastikan temuan ini konsisten di berbagai skenario. Ke depan, teknik seperti ini mungkin jadi standar baru dalam pengujian model AI sebelum dirilis ke publik.





