Sohbet robotlarına güç veren yapay zeka dil modellerinin terabaytlarca metin üzerinde eğitildiği doğru olsa da bu sistemlerdeki bellek sınırlıdır. Eski OpenAI mühendisleri tarafından kurulan Anthropic şirketi, Claude isimli sohbet robotu için bağlam penceresini büyük ölçüde genişleterek 75.000 kelimeye çıkardı. ChatGPT’de bu yaklaşık 3.000 kelime. Böylelikle Bard, Bing ve ChatGPT’ye rakip olarak geliştirilen Claude, klasik bir romanı sadece 30 saniyede tamamen anlayabilir hale geldi. Claude’un yeni kapasitesi şu anda sadece şirketin API’si aracılığıyla sohbet robotuna bağlanan Anthropic iş ortakları tarafından kullanılabiliyor.
Büyük miktarda metnin işlenmesi önemli hesaplama kaynakları gerektirse de yapay zeka dil modellerinin artan yeteneği bu sistemleri kesinlikle daha kullanışlı hale getirecek. Sohbet robotlarının bağlam penceresi tam olarak kelime veya karakterlere karşılık gelmeyen belirteçlere göre ölçülüyor.
Romanda yapılan değişikliği 22 saniyede buldu
Claude daha önce yaklaşık 9.000 belirteç (token) işleyebiliyordu. Şimdi ise 100.000 belirteç yani yaklaşık 75.000 kelime işleyebiliyor. Karşılaştırmak gerekirse, OpenAI’nin GPT-4’ü yaklaşık 8.000 belirteç işleyebilirken (ücretli bir hizmetten bahsediyoruz), GPT-4’ün tam sürümü 32.000‘e kadar işleyebiliyor.
Anthropic, bir insanın 75.000 kelimelik bir metni okumasının yaklaşık beş saat sürdüğünü, ancak Claude’un genişletilmiş bağlam penceresiyle uzun belgeleri birkaç dakika içinde özetleyip analiz edebileceğini vurguluyor. Geliştiriciler Claude’a Muhteşem Gatsby romanını okutarak bir satırda yaptıkları değişikliği bulmasını istedi. Sohbet robotu yapılan değişikliği 22 saniyede doğru şekilde tespit etti.