Yapay zeka alanında büyük dil modellerinin (LLM) en büyük sorunlarından biri, eğitildikten sonra bilgilerini güncelleyememeleri. Dünyadaki değişimler hızla ilerlerken, bu modeller statik hale geliyor ve yeni bilgileri öğrenmek için tüm modeli yeniden eğitmek gerekiyor. Ancak bu süreç hem maliyetli hem de zaman alıcı. Ayrıca mevcut yöntemler, yeni bilgi eklemeye çalışırken önceki öğrenilen bilgilerin silinmesine yol açabiliyor. İşte tam bu noktada, Singapur Ulusal Üniversitesi, MIT CSAIL, A*STAR ve SMART araştırma gruplarından bilim insanları, dil modellerine yeni ve yenilikçi bir çözüm sunan MEMO (Memory as a Model) yaklaşımını geliştirdi.
MEMO, dil modellerinin güncel ve doğru bilgi sunmasını sağlamak için bellek ve akıl yürütme süreçlerini iki farklı modele ayırıyor. Daha önce kullanılan yöntemler genellikle ya tüm modeli yeniden eğitmek zorunda kalıyor ya da bilgiye dışarıdan erişim sağlayarak yanıt veriyordu. Bu durum ya yüksek hesaplama maliyetleri yaratıyor ya da cevapların doğruluğunda düşüş yaşanmasına neden oluyordu. MEMO’nun temel farkı, yeni bilgileri içselleştiren küçük ve özel bir MEMORY modeli ile temel dil modeli olan EXECUTIVE modelini birbirinden bağımsız tutması. Böylece EXECUTIVE modeli sabit kalırken, MEMORY modeli güncel bilgilerle sürekli olarak beslenebiliyor.
MEMORY modelinin eğitimi, karmaşık bir beş aşamalı veri işleme sistemiyle başlıyor. Bu süreç ham belgeleri, farklı sorgu varyasyonlarını içeren soru-cevap çiftlerine dönüştürüyor. İlk olarak, doğrudan ve dolaylı olarak belgelerden önemli bilgiler çıkarılıyor. Daha sonra benzer bağlamları paylaşan sorular birleştirilip doğrulukları kontrol ediliyor. Bu aşamada belirsiz ifadeler düzeltiliyor ya da eleniyor. Bir sonraki adımda ise modelin yanlış anlamalarına yol açan “tersine çevirme” sorunu hedeflenerek, varlıkların özelliklerine dayalı sorular oluşturuluyor. Son ve en kritik aşamada ise, farklı belgeler arasında bağlantılar kurularak çoklu belge üzerindeki karmaşık ilişkiler modelin öğrenmesi sağlanıyor. Bu yöntem, modelin çapraz belge mantığı ve bilgi sentezi becerilerini önemli ölçüde artırıyor.
Araştırmacılar, MEMO yaklaşımında sorgu yanıtlamayı üç aşamalı bir protokole bağladı. Öncelikle EXECUTIVE model, soruyu daha küçük, anlaşılır parçalara böler ve MEMORY modelinden her bir alt soruya yanıt alır. Sonra yanıtlar doğrultusunda ilgili nesneler (varlıklar) belirlenir. Son adımda ise bu bilgiler birleştirilerek, kapsamlı ve doğru sonuç oluşturulur. Bu çok aşamalı yöntem sayesinde, MEMO modeli sadece önceden öğrenilmiş bilgileri kullanarak karmaşık soruları etkin şekilde yanıtlayabiliyor. Üstelik modelin yanıtları boyut olarak sabit kalıyor ve sorgu maliyeti, veri kaynaklarının büyüklüğüne bağlı olarak artmıyor. Bu, diğer benzer yöntemlere göre büyük bir avantaj sunuyor.
MEMO’nun etkileyiciliği, yapılan titiz deneylerle ortaya kondu. BrowseComp-Plus, NarrativeQA ve MuSiQue gibi farklı testlerde, MEMO, mevcut en iyi yöntemlere kıyasla çok daha yüksek doğruluk oranları yakaladı. Özellikle Hibrit modellerle karşılaştırıldığında, MEMO’nun karmaşık belgeler arası ilişkileri çözmede öne çıktığı görüldü. Ayrıca, MEMO’nun temel EXECUTIVE modeli değiştirilse bile MEMORY modelinin yeniden eğitim gerektirmemesi, sistemin esnekliğini ve pratik kullanımını artırıyor. Gürültülü veya yanıltıcı belge eklemelerinin doğruluk üzerinde çok az etkisinin olması da sistemin dayanıklılığını gözler önüne seriyor.
Araştırmanın bir diğer önemli yeniliği model birleşimi ile bilgilerin sürekli güncellenebilmesi. Yeni bilgiler içeren ayrı MEMORY modelleri üzerine çalışılabiliyor ve bu modeller belirli algoritmalarla mevcut belleğe entegre edilebiliyor. Bu yöntem, tam modelin yeniden eğitilmesine kıyasla ciddi oranda işlem gücü tasarrufu sağlıyor ve güncellemelerin hızını artırıyor. Böylece dil modelleri hem zamandan hem bütçeden tasarruf ederek hızlı bilgi yenilemesi yapabiliyor.
MEMO, büyük dil modellerinin bilgi güncellemeleri konusundaki temel problemini çözme potansiyeli taşıyor. Bu teknoloji, yapay zekanın daha dinamik ve güncel kalmasını mümkün kılarak pek çok alanda—özellikle tıp, hukuk, eğitim ve haberleşme gibi sürekli değişen bilgi gerektiren sektörlerde—devrim yaratabilir. Gelecekte MEMO tabanlı sistemlerin, insanlarla daha doğru ve güncel bilgi alışverişi sağlayan yapay zeka uygulamalarının temelini oluşturması bekleniyor. Araştırma ekiplerinin geliştirdiği bu yöntem, yapay zeka dünyasında bilgi yönetimi ve model esnekliği açısından önemli bir adım olarak öne çıkıyor.
📎 Kaynak: marktechpost.com
