Ne kadar dil modeliyiz? Ve tabi 2024

13 Mayıs 2024 haftası önce OpenAI, sonrasında Google’ın YZ (AI) alanındaki sunumlarıyla detaylı bir gündem oluşturduğunu gördük. İzleyen ve takip eden herkesin tekrar yapay zekaya bakışını güncellediği ve belki de korktuğu bir noktaya değdiğini söyleyebiliriz.

Hızlı bir 2023

Bu yazımda yapay dil modelleri sektörü ve insanlık tarihi ile Geniş Dil Modellerine (LLM) 2024 bakış açısından bazı düşüncelerimi aktarmak-tartışmak istiyorum. Özellikle 2022 ve sonrasında 2023 yılında ChatGPT4 ve Bart’tan Gemini’ye geçişi gördüğümüz gibi açık kaynak dünyada da Llama 2 rüzgarını çeşitli araçların geliştirilmesi ile görmüş olduk.

Sektör nereye gidebilir?

Yapay Zeka’nın bir çok şeyi değiştirecek “oyun değiştirici” bir teknoloji olduğuna kesinlikle katılıyorum. Hatta düşündüğüm kadarıyla Bilgisayar teknolojisi, İnternet teknolojisi ve sonrasında muhtemelen Yapay Zeka teknolojisi olarak gerçekten büyük bir sıçrayış yapacaktır ve yapmaya başladı bile.

Öncelikle insanlık için geniş bir kapsama girebilecek önemli bir yapının açık kaynak felsefe olduğunu düşünen ama tabi ki bu felsefenin yanında ve hatta belki önünde sahipli yazılımlarla sert bir yükselişi de doğurduğunu düşünmekteyim. Kapalı dil modelleri ChatGPT ve Gemini’nin yapabildikleri büyük hayranlık uyandırdığı kesin. İleriki dönemde büyük etkilere sahip olacağı da kaçınılmaz. Fakat ana akım görüşe ek olarak bu şekilde merkeziyetçi yapı ile tüm sektöre hakim olamayacaklarını düşünüyorum. Tabi ki bu alanda Microsoft, IBM veya Oracle gibi büyük yapının oluşumunu da doğuracağını düşünmekle birlikte bu firmaların şuan “açık kaynak felsefe” ile barışık bir şekilde “açık kaynak” araçları kullandıklarını gördüğümüz gibi Yapay Zeka teknolojisinde de bu alana doğru açılımın olacağını düşünüyorum. Ki bu alanda şuan için öncül akademik çalışmalar da incelendiğinde Llama gibi görünüyor.

Peki bu açılıma neden olacak süreçler ne olacaktır? Öncelikle tabi ki “maliyet” olacak. Muhtemelen sektör öncülüğü, ortak maliyet kazanımı ve yakın gelecekte yapılacak ortaklıklarla çeşitli markalarla ortaklıklar ile bu yapıların kullanılması büyük bir pay alacağı açık. Fakat topluma yayılacak bir yapıda aynı üstte bahsettiğimiz firmalarda olduğu gibi “açık kaynak” yapılarla çok fazla çeşitli uygulamanın oluşacağını düşünüyorum. Ve bunu yaparken kiralama mantığı yerine sahibi olup sadece altyapının yer alması fayda oluşturacaktır.

Maliyetten sonra “güvenlik” de gündeme gelecektir. İnsanlar şuan yapay zekaya göre -neredeyse- işlenmeyen verilerini paylaşırken bile merkeziyetçi bir yapıya düşman iken, yapay zeka ile gelebilecek daha “insansı” işlenen veriler konusunda kesinlikle “yerel” çözümlere yönelme ihtiyacı duyacaktır. Bu “uç nokta” da olabilir, “yerel merkeziyetçi” çözümler de olabilir. Muhtemelen bunu teknoloji ve teknolojinin kısıtları gösterecektir.

İnsanlık tarihinin başlangıcı: Yazının bulunması

Bu sektör tahminlerinden sonra insanlık tarihi ile ilişkili olarak 2024 yılı açısından fikirlerimi aktarmak istiyorum. Bu fikirlerim muhtemelen yıllar sonra değişebilir ama yine de karalama yapmak adına düşüncem tam olarak şu şekilde. “Geniş Dil Modelleri”ni, insanlık tarihi açısından “yazının bulunması”na oldukça benzetmekteyim. Tabi o dönemdeki yıllar burada günlere eşdeğer olması ayrı bir konu oluşturmakta.

Yazının bulunması insanlık için büyük bir dönüm noktası (yaklaşık MÖ 3200) olmasına rağmen teknolojik hızlanma ve hayat kalitesinin artması için doğanın dili diyebileceğimiz “geometri veya matematik” yapılmasının yazı ile aktarılmasına değin (Öklit yaklaşık MÖ 300) oldukça sönük geçmekte. Evet o dönemden önce Babil ve Mısır medeniyetinde temel amaçlara yönelik güzel bir matematik-geometri yapılmasına rağmen “bilimsel yöntem” ile yapılabilmesi başka bir boyut olduğunu düşünüyorum. Peki bunu niye düşünüyorum? Çünkü “doğrunun bulunması” sorunu tam olarak bunu doğuruyor.

Alegorik olarak şuan yazının bulunmasından sonraki dönemde olduğumuzu düşünürsek önümüzde hangi bilginin doğru bilgi olduğu problemi çıkması gerekiyor. Herkes masallar, şiirler ve belki anlatılarla doğru veya yanlış bilgileri birbirine aktarması ile bu sorunun yeni felsefeyi doğurması muhtemel.

Öncelikle yapay zekanın nasıl işlediğini ve bizim de öğrenme yöntemimizi düşününce sıkça yapılan tekrarlar ve eğitim süreci sonucu benzerliklere uygun bir şekilde üretim yapabilmenin olduğunu görüyoruz. Fakat yine de üretim, alınan eğitim ve tekrarlara bağlı olduğu açık. İnsanlar olarak şuan bile bu şekilde öğreniyoruz. Bu öğrenme yöntemi çoğunlukla deneme yanılma ile doğrulanıp yanlışlanarak geliştirilebiliyor. Fakat doğruyu bulmamızın tek yolu bu deneme yanılma olmadığını binlerce yıl önce bulmuştuk!

Bulduğumuz şey klasik eğitime benziyor ama temel bir farkı var. “Bilimsel Yöntem” diyebileceğimiz, önce bir varsayımda bulunmak, sonrasında bunu sınamak ve sonrasında değiştirmek. Tabi ki değişmeyene kadar bu sürece devam ettirmek. Bu yapı yukarıda bahsettiğimize çok benziyor. Fakat farklı olan kısım sadece bir dil yapısının dışında sınanabilirlik durumunu ve sınama işlemini de içermekte.

Pratikteki sorunlara baktığımızda yakın zamanda çok fazla duyduğumuz YZ’deki bilerek veya bilmeyerek oluşabilecek “halisülasyonlar” ve bu halisülasyonlar sonucu oluşacak problemlerin bu felsefi yapıyı doğuracağını düşünüyorum. Ve muhtemelen bir başka merkezi güç (alegorik olarak yunan toplumu) kendi içerisinde özelleşmiş doğru bilgi konusunda kanalize olabilecek bir yapıyı doğuracaktır. Ve tabi ki bu yapının ben şuan bildiğimiz “matematiksel düşünme” yapısına benzer olacağını düşünüyorum.

Mevcut durumda yaşanan bazı sorunlar

Sanırım eski dönem insanların yaşadığı sorunlar gibi çok bilinen bilmecelerin yanında hatalı yanıt verilmesi olarak gördüm. Örneğin Boğaziçi Üniversitesi’nde Akademisyen olan Cem Say’ın nehirden geçme problemi Türkçe ve İngilizce olarak GPT ve Gemini’yi sınıfta bırakıyor. Tabi bunu da öğrendikten sonra bu sorunu da çözeceği kesin ve aşikar.

Fakat 9. sınıf Fizik konularından alınan aşağıdaki soru için de istenmeyen bir cevap vermekte.

Tabi ki tüm bu problemler daha iyi eğitim vererek çözüleceği aşikar. Veya bir takım arkadaşlar soruyu daha farklı sorarak yani sufle mühendisliği yaparak çözülebileceğini de belirteceklerdir. Bu doğru fakat bu gibi sorularda verilen yanıtlar yanlış olsa da “Doğru” olarak anlatmakta. Daha iyi sorarak doğruya ulaşma konusundan bağımsız bir şekilde “yanlış bir bilgiyi doğru kabul edebilme” tam olarak yukarıda bahsettiğimiz felsefi bir değişimi doğuracağını çok olası olarak görüyorum. “İnsan da hata yapar” gibi bir düşüncenin karşısındaki en önemli konunun “bilimsel yöntem” olduğunu tekrar hatırlatmak istiyorum.

Yapay zeka 2024'te İnsan Matematiğinde nerede?

Bunun için de güzel akademik makaleler oluşmaya başlamış. Öncelikle bu alanda performans için iki veri seti kullanılıyor: GSM8K ve MATH. Bunlardan GSM8K, ilkokul düzeyinde matematik problemleri ve bu problemlerin çözümlerini içermekte; MATH veri seti içerisinde ise matematiksel işlemleri ve çözümlerini barındıran bir içeriğe sahip.

Bu testlerde güncel olarak gördüğüm kadarıyla kapalı kaynak kodlu GPT4'ün 100 üzerinden 92.0 ve 42.5 notlarını alarak oldukça başarılı bir sonuç çıkartmakta. GPT3.5 ise 80.8 ve 34.1 gibi sonuçlar aldığı görülmekte. GPT4'ün teknik rapor dokümanını okuduğumuzda ise bu iki veri seti ile hibrit bir şekilde özel çalışma yapıldığı belirtilmekte. Ayrıca başka benchmark sonuçlarında ince ayarlarla bu sayıların arttığı görülebilmekte. Gemini Ultra ise 94.4 ve 53.2 değerlerini aldığı belirtilmekte.

Açık kaynak LLM dünyasında ise durum epey değişken gözüküyor. 7 Milyar parametreli modellerden Llama-2 altyapısı ile eğitilen MetaMath ve WizardMath; 66.4–19.4 ve 54.9 ve 10.7 sonuçlarını alıyor. Mistral temelli WizardMath 83.2 ve 33.0 değeri alarak daha iyi noktaya geçse de; 70 Milyar parametreli Llama-2 temelli OpenMath 84.7 ve 46.3 notları ve CodeLlama temelli OpenMath ise 90.8 ve 60.4 sonuçlarına çıkmayı başarmış gibi görünmekte. Bunun yanında Llama-2 temelli Xwin-Math 87.0 ve 31.8 puanlarını alıyor. Geçen aylarda çıkmış olan Llama-3'ün kullanımını henüz detaylı bir makalede göremediğim için burada belirtemiyorum.

Bu sonuçlar aslında açık kaynak dünyada Matematik çözümlerinde iyileşme olabildiğini göstermekte. Fakat yine de eksik olan kısım genellikle dil modeli seviyesine indirgeyip, matematiksel düşünme ve bilimsel yöntemle ilişki kurulması konusunda eksiklikler olarak görülebilir. Muhtemelen ilerleyen süreçte alegorik olarak babil ve mısırlılar gibi yaptığımız bu matematik, farklı ve ek bir devrim olarak karşımıza çıkacaktır.

Peki ya biz?

Tüm bu düşüncelerimden sonra başlıkta da yer alan bir başka soru devreye giriyor. Peki ya biz ne kadar “dil modeliyiz?”? Gerçekten de bir dil modelinden ne seviyede farklıyız? Muhtemelen ilerleyen aylardaki deneyimlerimizden sonra bu yanıt daha da açık olacaktır.