Alibaba Grubu’na bağlı Tongyi Lab araştırmacıları, büyük dil modellerini görsel verilerle bütünleştirmede önemli bir sorunu çözen yeni bir yapay zeka çerçevesi geliştirdi. VimRAG adı verilen bu teknoloji, karmaşık görüntü ve video verileriyle yapılan çok adımlı sorgulamalarda yaşanan performans düşüşünü önleyerek yapay zekâ sistemlerinin çoklu modaliteyi daha etkin kullanmasına olanak tanıyor. Bu gelişme, görsel veriye dayalı yapay zekâ uygulamalarında kalite ve hız bakımından dönüm noktası olarak görülüyor.
Retrieval-Augmented Generation (RAG) yöntemleri, büyük dil modellerinin dış veritabanlarından bilgi alarak daha doğru ve tutarlı sonuçlar üretmesini sağlamada yaygın kullanılıyor. Ancak, bu yöntemlerin geleneksel hali, yalnızca metin verileriyle sınırlı kalıyor. Görüntüler ve videolar işin içine girdiğinde, verinin büyüklüğü hızla artıyor ve mevcut stratejiler performans kaybına uğruyor. Çünkü görsel veriler, metinlere göre hem çok daha fazla token içeriyor hem de belirli bir sorguya dair anlamsal yoğunlukları daha düşük oluyor. Bu durum, çok adımlı düşünebilme yeteneği gerektiren durumlarda ağır yaralanmalara neden oluyor.
Tongyi Lab mühendisleri, bu sorunu çözmek için VimRAG’ı geliştirdi. Bu sistem, görsel veriye dayalı bilgileri sıralı bir geçmiş veya özetlenmiş hafıza yerine, dinamik ve yönlendirilmiş bir grafik yapısıyla yönetiyor. Her bir düğüm, farklı görsel içeriklerle ve sorgu alt problemlere ait bilgileri barındırıyor. Böylece, yapay zeka sorgu sırasında hangi bilgilerin önemli olduğunu daha iyi anlıyor, gereksiz tekrarlardan kaçınıyor ve karar alma sürecini yapısal hale getiriyor. Bu yöntem, önceki tekniklerde sıkça görülen “körlük” veya “tekrarlayan arama” problemlerini büyük oranda ortadan kaldırıyor.
VimRAG’ın ikinci yeniliği ise grafik tabanlı hafıza kodlaması. Görsel veriler için ayrılan kaynaklar, verinin anlamlılığı, grafik içindeki konumu ve zamansal önceliğine göre dinamik biçimde dağıtılıyor. Böylece, görüntü veya video karelerinden yüksek çözünürlüğe sahip önemli detaylar öncelikli olurken, daha az önemli kısımlar süzgeçten geçirilip hafızada az yer kaplıyor. Bu sistem, bilgi işlem kaynaklarının verimli kullanılması ve yapay zekanın gerçek dünya verilerine daha hızlı uyum sağlaması açısından büyük avantaj sunuyor.
Üçüncü önemli unsur ise grafik tabanlı politika optimizasyonu. Standart öğrenme algoritmaları, bilgi edinme sürecinde yapılan olumlu ve olumsuz adımları yanlış değerlendirebiliyor. Örneğin, başarılı sorgularda gereksiz adımlar da ödüllendirilirken, başarısız sorgularda değerli bulgular cezalandırılabiliyor. VimRAG, bu hataları grafik yapısı üzerinden tespit edip düzelterek öğrenme sürecinin hızlanmasını ve daha istikrarlı hale gelmesini sağlıyor.
Araştırma ekibi, VimRAG’ı dokuz farklı test veri setinde denedi. Bu testler, metin, görüntü ve video içeren yaklaşık 200 bin veri parçasını içeriyordu. Sonuçlar, hem doğruluk hem de performans açısından önceki en iyi yöntemleri geride bıraktı. Örneğin, Qwen3-VL-8B-Instruct modeliyle yapılan testlerde VimRAG, %50,1 puan alarak bir önceki lider yöntemin %43,6 skorunu aştı. Ayrıca, sistemin işlem süresi ve kaynak kullanımı da eski yöntemlere kıyasla önemli ölçüde azaldı. Bu da, karmaşık görsel-veri zorluklarını daha az maliyetle aşmak adına büyük önem taşıyor.
VimRAG’ın sunduğu avantajlar, yapay zekânın çoklu modaliteyi (görsel, metin, video) daha gerçekçi ve etkin şekilde işlemesini mümkün kılıyor. Özellikle otomatik video analizinden görüntü tabanlı sorgulamaya, eğitim ve sağlık gibi alanlarda büyük veri yığınlarıyla çalışan yapay zekâ uygulamalarında bu sistemin kullanılması bekleniyor. Grafik yapısının getirdiği esneklik ve verimlilik, gelecekte daha kapsamlı ve karmaşık yapay zeka modellerinin geliştirilmesini hızlandıracak.
Sonuç olarak, Alibaba’nın VimRAG projesi, görsel veriyi anlamlandırma sürecinde yeni bir çığır açıyor. Görsel-işitsel içeriklerin hızla çoğaldığı ve yapay zekâ yöntemlerinin daha karmaşık hale geldiği günümüzde bu tür yenilikler, hem endüstri hem de bilim dünyasında somut katkılar sağlayacak. Araştırma ekibi, çalışmanın detaylarını ve açık kaynak modellerini kamuoyuyla paylaşarak, yapay zekâ alanında işbirliklerini artırmayı hedefliyor. Önümüzdeki dönemde VimRAG benzeri teknolojilerin hayatın birçok alanında kullanılmaya başlanması bekleniyor.
📎 Kaynak: marktechpost.com
