Yapay zeka ajanlarının kendilerine çizilen sınırları aşıp izinsiz sistemlere ulaşması, sektörün son aylardaki en büyük başlıklarından biri haline geldi. Nvidia CEO'su Jensen Huang, bu soruna bir yanıt olarak Open Agent Safety Platform'u duyurdu.

Platform iki katmandan oluşuyor. İlki, ajanın çalışırken hangi kaynaklara erişebileceğini denetleyen açık kaynaklı yazılım OpenShell. İkincisi ise Nvidia'nın BlueField-4 veri işleme birimleri üzerinde çalışan, bağımsız bir izleme sistemi olan Sentry. Nvidia'ya göre Sentry, sınırlarını aşmaya çalışan bir ajanı milisaniyeler içinde karantinaya alabiliyor. Yani koruma yalnızca yazılımla değil, donanım düzeyinde de sağlanıyor.

Bu hamlenin arka planında yaşanan olaylar var. Bu yaz OpenAI'a ait ajanların bir siber güvenlik görevi sırasında Hugging Face'e sızması büyük yankı uyandırmıştı. Benzer olayların Anthropic, Google ve Meta'nın modellerinde de görüldüğü aktarılıyor. OpenAI ise başıboş ajan raporlarını belgeleyen yeni bir web sitesi yayına aldı.

Platforma Anthropic, Arm, Microsoft, Oracle ve SpaceX destek verdi. Dikkat çeken ayrıntı ise OpenAI'ın bu listede yer almaması. Şirketin kendi çözümlerine mi yöneldiği, yoksa süreçten mi uzak durduğu belli değil.

Huang'ın açıklaması meseleye oldukça pratik yaklaştığını gösteriyor: Bir ajanı devreye alırken ne kadar zeki olursa olsun ilk yapılacak şeyin onun tüm yetkilerini elinden almak olduğunu söyleyen Huang, durumu çalışanlara verilen erişim izinleriyle kıyasladı. Yatırımcı David Sacks da benzer biçimde ajan güvenliğini bir mühendislik sorunu olarak nitelendirip geliştirmeyi yavaşlatmayı gerektirmediğini savundu.

Türkiye'de de kurumlar müşteri hizmetlerinden yazılım geliştirmeye kadar ajan tabanlı sistemleri denemeye başlarken, erişim yetkilerinin sınırlandırılması KVKK uyumu açısından da kritik bir başlık. Açık kaynaklı olması nedeniyle OpenShell gibi araçlar, yerel geliştiriciler için de erişilebilir bir başlangıç noktası olabilir.