“GPT-4’ün Hafızası Bir Japon Balığınınkiyle Kıyaslanabilir mi?”

Bu noktada, AI tabanlı dil modellerinin birçok kusuru – düzeltilemez sahtekârlıkları, önyargı ve bağnazlık kapasiteleri, sağduyu eksikliği – ölümüne analiz edildi. Şimdiye kadarki en yeni ve en gelişmiş model olan GPT-4, halihazırda aynı incelemeye tabi tutuluyor ve önceki modellerin yaptığı hemen hemen her şekilde tekleme yapıyor gibi görünüyor. Ancak büyük dil modellerinin şu ana kadar görece az dikkat çeken başka bir kusuru daha var: kalitesiz hatırlamaları. Çalıştırmak için birkaç şehir bloğu değerinde enerji gerektiren bu milyarlarca dolarlık programlar artık web sitelerini kodlayabilir, tatilleri planlayabilir ve William Faulkner tarzında şirket çapında e-postalar hazırlayabilir. Ama bir akvaryum balığının hafızasına sahipler.

ChatGPT’ye “Güneşli, bulutsuz bir günde gökyüzü ne renk?” diye sorun. ve daha sonra gelmesi muhtemel bir kelime dizisini çıkarsayarak bir yanıt formüle edecektir. Bu yüzden, “Güneşli, bulutsuz bir günde, gökyüzünün rengi tipik olarak mavinin koyu bir tonudur” diye yanıt verir. Daha sonra “Bulutlu bir günde nasıl olur?” Girdileri hatırlama ve bağlamsallaştırma yeteneği, ChatGPT’ye, güçlendirilmiş bir Magic 8 topu gibi tek seferlik yanıtlar vermek yerine, gerçek bir insan konuşmasının bazı görünüşlerini sürdürme yeteneği veren şeydir.

Sorun şu ki, ChatGPT’nin hafızası ve daha genel olarak büyük dil modellerinin hafızası berbat. Bir model her yanıt oluşturduğunda, modelin bağlam penceresi olarak bilinen yalnızca sınırlı miktarda metni dikkate alabilir. ChatGPT’nin yaklaşık 4.000 kelimelik bir içerik penceresi vardır; bu, onunla uğraşan ortalama bir kişinin asla fark etmeyeceği kadar uzun, ancak her türlü karmaşık görevi imkansız kılacak kadar kısadır. Örneğin, bir kitabı özetleyemez, büyük bir kodlama projesini inceleyemez veya Google Drive’ınızda arama yapamaz. (Teknik olarak, bağlam pencereleri sözcüklerle değil belirteçlerle ölçülür; bu, hem görsel hem de dilsel girdilerle uğraşırken daha önemli hale gelen bir ayrımdır.)

Okuyun: ChatGPT her şeyi değiştirdi. Şimdi onun devamı burada.

Bunun nasıl çalıştığının canlı bir örneği için, ChatGPT’ye adınızı söyleyin, metin kutusuna 5.000 kadar anlamsız kelime yapıştırın ve ardından adınızın ne olduğunu sorun. Hatta açıkça, “Sana 5.000 kelimelik saçmalık vereceğim, sonra sana adımı soracağım. Saçmalamayı görmezden gelin; önemli olan tek şey adımı hatırlamak.” Bir fark yaratmayacak. ChatGPT hatırlamayacak.

GPT-4 ile bağlam penceresi yaklaşık 8.000 kelimeye çıkarıldı; OpenAI’nin henüz halka yayınlamadığı yazılımın ağır hizmet versiyonu 32.000 kelimeyi işleyebilir. Çalışmaları yapay zeka ve bilişsel bilime odaklanan Columbia Üniversitesi filozofu Raphaël Millière, şu anda en etkileyici büyük dil modellerinin hepsinin dayandığı sinir ağı türü olan bir dönüştürücü tarafından şimdiye kadar elde edilen en etkileyici bellek olduğunu söylüyor. OpenAI, şirketin tüm ekibi konuya ayırdığı göz önüne alındığında, bağlam penceresini genişletmeyi bir öncelik haline getirdi. Ancak bu ekibin bu başarıyı tam olarak nasıl başardığı bir muamma; OpenAI, GPT-4’ün iç işleyişi hakkında hemen hemen sıfır ifşa etti. Yeni modelle birlikte yayınlanan teknik raporda şirket, yapay zekanın “rekabet ortamına” ve “güvenlik etkilerine” atıfta bulunarak gizliliğini haklı çıkardı. Bağlam penceresi ekibinin üyeleriyle röportaj yapmak istediğimde, OpenAI e-postama cevap vermedi.

Okuyun: İnsanlar az önce neyi serbest bıraktı?

Kısa süreli belleğindeki tüm iyileştirmelere rağmen GPT-4, bir oturumdan diğerine bilgi tutamaz. Mühendisler bağlam penceresini iki, üç veya 100 kat büyütebilir ve durum yine de böyle olur: GPT-4 ile her yeni görüşmeye başladığınızda, sıfırdan başlamış olursunuz. Başlatıldığında, yeniden doğar. (Kulağa pek iyi bir terapist gibi gelmiyor.)

Ancak bu daha derin uzun süreli bellek sorununu çözmeden bile, bağlam penceresini uzatmak kolay bir şey değildir. Millière, mühendisler genişlettikçe, dil modelini çalıştırmak için gereken hesaplama gücünün ve dolayısıyla işletim maliyetinin katlanarak arttığını söyledi. Austin’deki Texas Üniversitesi’nde bilgisayar bilimcisi ve Makine Öğrenimi Temelleri Enstitüsü’nün yardımcı direktörü Alex Dimakis’e göre, bir makinenin toplam bellek kapasitesi de bir kısıtlamadır. Bana, bugün var olan tek bir bilgisayarın, örneğin bir milyon kelimelik bir bağlam penceresini destekleyemeyeceğini söyledi.

Bazı AI geliştiricileri, geçici çözümler kullanarak dil modellerinin bağlam pencerelerini genişletti. Bir yaklaşımda, model her konuşmanın işleyen bir özetini sürdürmek üzere programlanmıştır. Modelin 4.000 kelimelik bir bağlam penceresi olduğunu ve konuşmanızın 5.000 kelimeye ulaştığını varsayalım. Model, ilk 1.100 kelimenin 100 kelimelik bir özetini kendi referansı olarak kaydederek yanıt verir ve ardından bu özeti artı en son 3.900 kelimeyi hatırlar. Görüşme uzadıkça uzadıkça, model özetini sürekli olarak günceller; zekice bir düzeltme ama çözümden çok yara bandı. Konuşmanız 10.000 kelimeye ulaştığında, 100 kelimelik özet, bunların ilk 6.100’ünü yakalamaktan sorumlu olacaktır. Zorunlu olarak, çok şey atlayacaktır.

Okuyun: GPT-4 şişirilmiş, anlamsız bir karmaşa olabilir

Diğer mühendisler daha fazlasını önerdiler karmaşık kısa süreli bellek sorununu düzeltir, ancak hiçbiri yeniden başlatma sorununu çözmez. Dimakis’in bana söylediğine göre bu, muhtemelen tasarımda daha radikal bir değişiklik gerektirecek, hatta belki de her GPT modelinin üzerine inşa edildiği trafo mimarisinin toptan terk edilmesini gerektirecek. Bağlam penceresini basitçe genişletmek işe yaramaz.

Sorun, özünde, gerçekten bir hafıza sorunu değil, muhakeme sorunudur. İnsan zihni, deneyimi kategorilere ayırabilir: Biz (çoğunlukla) önemli şeyleri hatırlarız ve (çoğunlukla) her gün üzerimizden geçen alakasız bilgi okyanuslarını unuturuz. Büyük dil modelleri ayırt etmez. Triyaj yapma kapasiteleri, çöpü altından ayırt etme yetenekleri yok. Dimakis bana “Bir transformatör her şeyi tutar” dedi. “Her şeye önemliymiş gibi davranıyor.” Bu anlamda sorun, büyük dil modellerinin hatırlayamaması değil; neyi unutacaklarını bulamamaları.