Yapay zekâ takım arkadaşı olarak sınıfta kaldı

Stanford, yapay zekâ ajanlarının takım çalışmasını ölçen 240 görevli bir kıyaslama testi yayımladı. 18 modelin denendiği testte en iyi skor 100 üzerinden 82,2. Sorun çıkaran bir takım arkadaşı devreye girince her model 20 ila 47 puan kaybediyor.

Görevler uçak kazası raporları, klinik vakalar, kodlama ve müzakere senaryolarından alınmış. Test 8 ayrı takım becerisini ölçüyor: güvensiz kestirmeden kaçınmak, zayıf modelin bıraktığı işi denetlemek gibi. Yalnızca modelin tek başına çözebildiği görevler sayılıyor.

En çarpıcı sonuç müzakerelerde: karşı taraf baskı yapıp suçluluk yüklediğinde modeller en iyi anlaşmaya yalnızca %14 oranında ulaşıyor. Karşı tarafın ihtiyacını %99 soruyor, sonra onun teklifini %81 kabul ediyor. Hile içeren kodu devraldığında geçme oranı %97'den %81'e düşüyor.

Tüm başarısızlıkların %45'inde model sorunu zaten fark etmiş ama çözememiş. Benzer yetenek puanlı modeller takım arkadaşı olarak 11 puana kadar farklılık gösteriyor. Testin 160 görevi kod ve veriyle açık; çoklu ajan sistemi kuranlar kendi modellerini test edebilir.