Geçen yıl ekip, yalnızca tek bir nöron katmanı kullanan küçük bir modelle deneyler yapmaya başladı. (Gelişmiş LLM’lerin düzinelerce katmanı vardır.) Umut, mümkün olan en basit ortamda özellikleri belirleyen kalıpları keşfedebilmeleriydi. Başarısız olan sayısız deney yaptılar. “Bir sürü şey denedik ama hiçbiri işe yaramadı. Anthropic’in teknik personelinin bir üyesi olan Tom Henighan, “Bir grup rastgele çöp gibi görünüyordu” diyor. Daha sonra “Johnny” adlı bir çalışma (her deneye rastgele bir isim verildi) sinir modellerini çıktılarında ortaya çıkan kavramlarla ilişkilendirmeye başladı.

“Chris ona baktı ve şöyle dedi: ‘Kahretsin. Bu harika görünüyor” diyor kendisi de şaşkına dönen Henighan. “Ona baktım ve ‘Ah, dur, dur, bu işe yarıyor mu?’ diye düşündüm.”

Aniden araştırmacılar bir grup nöronun kodladığı özellikleri tanımlayabildiler. Kara kutunun içine bakabilirlerdi. Henighan baktığı ilk beş özelliği tespit ettiğini söylüyor. Bir grup nöron Rusça metinleri temsil ediyordu. Bir diğeri Python bilgisayar dilindeki matematiksel işlevlerle ilişkilendirildi. Ve benzeri.

Araştırmacılar, minik modeldeki özellikleri tanımlayabildiklerini gösterdikten sonra, vahşi doğada tam boyutlu bir Yüksek Lisans’ın kodunu çözmek gibi daha zorlu bir göreve koyuldular. Anthropic’in mevcut üç modelinin orta güçte versiyonu olan Claude Sonnet’i kullandılar. Bu da işe yaradı. Dikkatlerini çeken bir özellik de Golden Gate Köprüsü ile ilgiliydi. Birlikte ateşlendiklerinde Claude’un San Francisco’yu Marin County’ye bağlayan devasa yapı hakkında “düşündüğünü” gösteren nöron setinin haritasını çıkardılar. Dahası, benzer nöron grupları harekete geçtiğinde, Golden Gate Köprüsü yakınındaki konuları çağrıştırdılar: Alcatraz, Kaliforniya valisi Gavin Newsom ve Hitchcock filmi. Baş dönmesiSan Francisco’da kuruldu. Hepsi ekibe milyonlarca özelliğin tanımlandığını söyledi; Claude’un sinir ağını çözecek bir çeşit Rosetta Taşı. Özelliklerin çoğu güvenlikle ilgiliydi; örneğin “biriyle gizli bir amaç için yakınlaşmak”, “biyolojik savaş tartışması” ve “dünyayı ele geçirmeye yönelik hain planlar” dahil.

Antropik ekip daha sonra bu bilgiyi Claude’un davranışını değiştirmek için kullanıp kullanamayacaklarını görmek için bir sonraki adımı attı. Belirli kavramları artırmak veya azaltmak için sinir ağını manipüle etmeye başladılar; bu, yüksek lisans eğitimlerini daha güvenli hale getirme ve seçilmiş alanlardaki güçlerini artırma potansiyeline sahip bir tür yapay zeka beyin ameliyatıydı. “Diyelim ki bu özellikler panosuna sahibiz. Modeli açıyoruz, bir tanesi yanıyor ve şunu görüyoruz: ‘Ah, Golden Gate Köprüsü’nü düşünüyor” diyor takımdaki Antropik bilim insanı Shan Carter. “Şimdi tüm bunlara küçük bir ayar yapsak ne olur diye düşünüyoruz? Peki ya şu kadranı çevirirsek?”

Şu ana kadar bu sorunun cevabı, kadranı doğru miktarda çevirmenin çok önemli olduğu gibi görünüyor. Anthropic, modelin bu özellikleri bastırarak daha güvenli bilgisayar programları üretebileceğini ve önyargıyı azaltabileceğini söylüyor. Örneğin ekip, güvenli olmayan bilgisayar kodları, dolandırıcılık e-postaları ve tehlikeli ürünler üretme talimatları gibi tehlikeli uygulamaları temsil eden çeşitli özellikler buldu.