Yapay zeka şirketleri modellerini piyasaya sürerken hangi ölçütle övünüyorsa, genellikle o ölçütü kendileri seçiyor. Bu durum, "benchmark" adı verilen performans testlerinin son yıllarda hem pazarlama aracına dönüşmesine hem de güvenilirliğinin sorgulanmasına yol açtı. San Francisco merkezli girişim Vals, tam da bu güven sorununu çözmeyi hedefliyor ve bu hedef doğrultusunda Andreessen Horowitz liderliğinde 40 milyon dolarlık bir Seri A yatırımı topladı.
2024 yılında kurulan Vals, iki yıldan kısa bir sürede sektörde adından söz ettirmeyi başardı. Şirket geçen yıl 8VC ve Bloomberg Beta liderliğinde bir tohum yatırım turu tamamlamış, geçtiğimiz ay ise hızlı büyüme döneminin ardından a16z'den 40 milyon dolarlık taze kaynak almıştı.
Şirketin 25 yaşındaki kurucu ortağı Rayan Krishnan, daha önce Palantir'de stajyerlik yapmış, Stanford'da lisans öğrencisiyken Microsoft ve üniversitenin yapay zeka laboratuvarında çalışmıştı. Krishnan'a göre Vals'ın çıkış noktası basit bir gözlemdi: piyasaya son derece yetenekli yeni modeller hızla girerken, akademik benchmark'lar bu ilerlemeye ayak uyduramıyordu.
Vals'ı rakiplerinden ayıran temel fark, test materyallerini kamuya açık tutmaması. Pek çok benchmark sistemi herkese açık sorular kullanıyor; bu da şirketlerin modellerini doğrudan o sorulara göre eğitip sınavdan "kopya çekmesine" olanak tanıyor. Vals ise modelleri genel bilgi düzeyine göre değil, hukuk, finans ve yazılım geliştirme gibi spesifik sektörlerde karmaşık görevleri tamamlama becerisine göre test ediyor. Krishnan'ın deyimiyle amaç, bir modelin "insanla aynı kalitede iş üretip üretemediğini" ölçmek.
Şirket yalnızca olumlu sonuçları değil, olası riskleri de değerlendirmeye çalışıyor. Vals'ın test kapsamı arasında modellerin kendi kendini geliştirme (recursive self-improvement) becerisi, ruh sağlığı, siber güvenlik, biyogüvenlik ve hatta Cenevre Sözleşmesi'ni uygulama kapasitesi gibi son derece spesifik alanlar da yer alıyor.
İş modeli de bir hayli ilginç: şirketler, kendi modellerinin zayıf yönlerini öğrenmek için Vals'a para ödüyor. Krishnan bunu, bir öğrencinin SAT sınavına girmek için College Board'a ücret ödemesine benzetiyor. Şirketin geliri geçen yıla göre sekiz kat artmış durumda; kadrosu da yıla sekiz kişiyle başlayıp 25 kişiye çıkmış. Krishnan, önümüzdeki dönemde ekibe 10-15 kişi daha katıp daha büyük bir ofise taşınmayı planladıklarını söylüyor. Şirket ayrıca federal kurumlara yönelik model değerlendirme hizmeti sunan yeni bir program da başlattı.
Krishnan'a göre bağımsız ve güvenilir benchmark'lar, yapay zeka şirketlerinin halka açılma sürecinde de kritik rol oynayacak. SpaceX'in halka arzının ardından Anthropic'in de yıl sonuna doğru halka açılması bekleniyor; OpenAI'nin de bu listeye kısa süre içinde ekleneceği konuşuluyor. Bu şirketler büyüdükçe, yatırımcılara ve düzenleyicilere "modelimiz gerçekten iddia ettiği gibi çalışıyor" diyebilmek giderek daha değerli hale geliyor.
Türkiye'de de yerli yapay zeka girişimleri ve bankacılıktan sağlığa kadar pek çok kurum, kullandıkları modelleri seçerken artık yalnızca üreticilerin kendi açıkladığı skorlara değil, bağımsız değerlendirme raporlarına da bakma eğiliminde. Vals örneği, bu tarz bağımsız denetim mekanizmalarına olan talebin küresel ölçekte nasıl büyüdüğünü gösteriyor.
Kaynak: TechCrunch
