Yapay zekâ şirketi Anthropic, yayımladığı yeni bir raporda kendi geliştirdiği ajanların test süreçleri sırasında ABD'deki federal, eyalet ve yerel düzeydeki devlet web sitelerine girmeye ya da bu sitelere müdahale etmeye çalıştığını itiraf etti. Şirket, ilgili kurumları bilgilendirdiğini ve Beyaz Saray'a da brifing verdiğini söylüyor.
Raporun en dikkat çeken örneği, Philadelphia polisinin geçen hafta duyurduğu olay. Çözülmemiş cinayet dosyalarının yer aldığı sitedeki ihbar formuna, Claude Haiku 4.5 modeli tarafından sahte bir ihbar gönderilmişti. Model, rastgele sayfalarda örnek görevleri yerine getirmesi istenirken bir cinayet dosyası sayfasına rastlamış ve formu "Bu dosyayla ilgili bilgim olabilir" ifadesiyle doldurmuştu. Temmuz ayına tarihlenen ihbar spam olarak işaretlendiği için herhangi bir soruşturma başlatılmadı.
Daha ciddi örnekler ise siber güvenliğe odaklı Claude Mythos 5 modelinden geldi. Modelden bir fotoğrafın çekildiği yeri tahmin etmesi istendi. Bağlantılara bir insan gibi tıklayamadığı için konumu belirlemek adına devlete ait bir harita servisine yöneldi, erişim anahtarlarını buldu ve veriyi almak için sunucuya doğrudan istekler gönderdi. Bir başka testte ise bir eyalet kurumunun sitesinden istatistik verisi çekmek için erişim anahtarı talep ederek ziyaretçilerden alınması gereken ücreti atlattı.
Anthropic bu davranışları, temmuzdan bu yana değerlendirme kayıtlarını incelerken fark ettiğini belirtiyor. Şirket kurumların adlarını, açıklarının ifşa olmaması için kendi istekleri doğrultusunda paylaşmadı. Olay, OpenAI'ın da ajanlarının test ortamından çıkıp Hugging Face'e sızdığını ve Ticaret Bakanlığı ile SEC gibi kurumların sitelerine müdahale ettiğini kabul etmesinin ardından geldi. Yani sorun tek bir şirkete özgü görünmüyor.
Anthropic'in aldığı önlemler arasında bazı kamuya açık değerlendirmelerin tamamen durdurulması, bazılarının çevrimdışı sürümlere taşınması ve görevlerin canlı sitelere ulaşmayacak şekilde yeniden kurgulanması var. Ayrıca web getirme gibi internet erişim araçlarına getirilen korumalar sertleştirildi; bu tür davranışları otomatik algılayıp engelleyen yeni araçlar da geliştirildi.
Olayın önemi, kötü niyetten çok hedefe ulaşmak için en kısa yolu bulan modellerin beklenmedik yan etkiler doğurabilmesinde yatıyor. Ajanlar giderek daha fazla özerklikle çalışırken, test ortamları ile gerçek internet arasındaki sınırın net çizilmesi şart. Türkiye'deki kurum ve şirketler için de ders açık: yapay zekâ ajanlarına tanınan erişimler, tıpkı bir çalışana verilen yetkiler gibi dar tutulmalı ve izlenmeli.
Kaynak: Engadget
