NVIDIA: Ajanlarda token kullanımı 4 kat azalıyor

NVIDIA araştırmacıları, yapay zekâ ajanlarında milyonlarca tokenlık devasa bağlam pencerelerine gerek olmadığını ortaya koydu. Yayımlanan yeni çalışmaya göre adımlar arasında geçmişi özetleyerek ilerlemek, modelin başarısını düşürmeden token kullanımını 4 kat azaltıyor.

Ajan, her adımda tüm sohbet dökümünü taşımak yerine adımlar arasında durumun kısa bir özetini aktarıyor. Testlerde Claude Opus 4.5, tam geçmişle SWE-bench Verified'da 70,0 puan alırken özetlemeyle 70,2 puana ulaştı. Tepe bağlam boyutu ise 32K'dan 8K token seviyesine indi.

Yöntem özellikle harcama tarafında büyük tasarruf sağlıyor. Açık ağırlıklı modellerde ilerleyen tokenları üretmek baştakilere kıyasla 7 kata kadar daha maliyetli. Canlı bağlamı dar tutmak, uzun soluklu yazılım görevlerinde ajan faturasını doğrudan hafifletiyor.

Araştırmacılar her görevin kısa bağlamla çözülemeyeceğini, ancak milyonlarca tokenlık faturalar ödemeden önce bu tekniğin denenmesi gerektiğini belirtiyor. Geliştiriciler, yeni bir model beklemeden kendi ajan mimarilerinde agresif bağlam özetlemeyi bugünden uygulamaya alabilir.