Merhaba sevgili Trunçgil takipçileri bu yazımızda GPT-3 ile birlikte gelen yenilikler neler, neler yapılabilir ve nasıl çalışır sorularının bir nevi cevabını vereceğiz.
- GPT-3, bugün eğitilmiş en büyük dil modelidir.
- GPT-3'ün temel işlem modu, giriş metnine dayalı olarak metin yanıtları oluşturmaktır. Örneğin, bir soruyu cevaplamak veya bir başlığa göre bir makale yazmak.
- OpenAI artık GPT-3 ile etkileşim kurmak ve bunun üzerine uygulamalar oluşturmak için bir geliştirici API'si sağlıyor.
- GPT-3, birkaç vuruşlu bir öğrenicidir. Belirli bir bağlamda çalışmak için birkaç örnekle hazırlamayı gerektirir.
- GPT-3 doğru bir şekilde hazırlandıktan sonra matematik hesaplamaları yapabilir ve açık bir şekilde öğrenmemiş olmasına rağmen programlama dillerinde cevaplar üretebilir.
GPT-3 özellikli uygulamaların ilk dalgası, "geliştirici heyecanını" hayrete düşürdü. Yapay zeka geleceğimize bir bakış sunuyorlar.
GPT-3 (Generative Pre-Trained Transformer-3), OpenAI'nin en yeni ve en büyük doğal dil tahmin modelidir. Basitçe söylemek gerekirse, herhangi bir girdi metnine yanıt olarak metin oluşturur. Sorulara veya ifadelere cevap veren bir programdır.
GPT-3, İnternetten büyük miktarda doğal dil metni ile önceden eğitilmiştir (499 milyar kelimeyle 45 TB eğitim metni). O en az 4.600.000 ABD dolara mal (bazı olarak en yüksek olarak tahmin $ 12 milyon GPU'larda trene). Sonuç modelinde 175 milyar parametre var.
InfoQ , OpenAI'nin GPT-3 duyurusunu Haziran ayında yaptı. Önceki dil yapay zeka modellerinden 100 kat daha büyük. Gelen resmi GPT-3 araştırma çalışmasında , OpenAI ekibi göstermiştir ki, GPT-3 gerçekleştirir bu state-of-the-art performans dışı-box herhangi ince ayar yapmadan. Ama gerçek dünyada nasıl işliyor? Bu sadece başka bir oyuncak mı yoksa insanlık için ciddi bir tehdit mi? İlk sürümünden bir ay sonra, ilk GPT-3 destekli uygulamalar ortaya çıkıyor. Şimdi kendimiz görebiliriz.
Çoğu geliştiricinin GPT-3 kullanarak kesinlikle çok hızlı bir şekilde proje oluşturabileceğini düşünüyoruz. - Yash Dani ve George Saad
Bu yazıda, bu yaratıcıların ve girişimcilerin birçoğuyla röportaj yaptık ve bu uygulamalardan bazılarını gözden geçirdik. Hem geliştiriciler hem de gazeteciler GPT-3'ü şok edici derecede iyi ve akıllara durgunluk veren olarak tanımladılar .
Nasıl çalışır
GPT-3 modeli, her seferinde bir kelime metni oluşturur. Varsayımsal bir örnek olarak, bir geliştiricinin ona aşağıdaki kelimeleri girdi olarak verdiğini varsayalım.
"Yaşamın, Evrenin ve Her şeyin Nihai Sorusuna Cevap"
AI modeli yanıt olarak " kırk " kelimesini üretebilir . Ardından, geliştirici üretilen kelimeyi girdiye ekler ve modeli tekrar çalıştırır.
"Yaşamın, Evrenin Nihai Sorusuna Cevap ve Her Şey Kırktır"
Bu sefer, AI modeli yanıt olarak " iki " kelimesini oluşturabilir . Tekrarlayın ve bir sonraki yanıt nokta işareti olmalı, dolayısıyla bir cümleyi tamamlamalısınız.
"Yaşamın, Evrenin ve Her şeyin Nihai Sorusuna Cevap Kırk iki."
GPT-3 bunu yapabilir çünkü bu popüler kültür referansını eğitimindeki metinden birçok kez görmüş. Böylece, sinir ağı yüksek derecede istatistiksel kesinlik ile "sonraki kelimeyi" tahmin edebilir.
Bununla birlikte, doğal dilde, tahminler her zaman bu kadar net değildir. Bir girdiyi takip eden kelime genellikle içeriğe bağlıdır. GPT-3'ün birkaç atış öğrenen birinin gücünü gösterdiği yer burasıdır . Birkaç örnek öğrenme, GPT-3'ü birkaç örnekle hazırlamak ve ardından ondan tahminler yapmasını istemektir. Bu, kullanıcının AI modeline bir dil bağlamı vermesine ve doğruluğu önemli ölçüde artırmasına olanak tanır. Şekil 1, yabancı dil çevirileri oluşturmak için bir yapay zeka modelini hazırlamak için sıfır atış, tek seferlik ve birkaç aşamalı öğrenme örneklerini göstermektedir.
Şekil 1. Bir AI tercümanı için üç tür öğrenme. Görsel izniyle Dil Modelleri Few-Shot Learners , Şekil 2.1
Birkaç vuruşla öğrenme, insan bebeklerinin dilleri nasıl öğrendiğine oldukça benzer. Öğrenci dil bilgisi kurallarından değil, dil örneklerinden öğrenir. Göreceğimiz gibi, geliştiriciler GPT-3'ü farklı örneklerle hazırlayarak çok farklı uygulamalar oluşturabilirler.
Jay Alammar, GPT-3'ün nasıl çalıştığını göstermek için görsel animasyonlarla harika bir makale yazdı . Daha fazlasını öğrenmek için göz atın.
Turing testini geçti mi?
İnsanların bir dil yapay zekası hakkında sorduğu ilk sorulardan biri, Turing testini geçip geçemeyeceği ve insanları bunun bir insan olduğunu düşünmeye ikna edip edemeyeceğidir. Bazıları GPT-3'ün zaten insanları kandırabildiğini iddia ediyor. Şekil 2, GPT-3 tarafından oluşturulan bir makaleyi gösterir. GPT-3 ekibine göre, insanların% 12'sinden azı bunun bir makine tarafından yazıldığını söyleyebilir.
Şekil 2. Orijinal bir makale GPT-3 tarafından yazılmıştır. Görsel izniyle Dil Modelleri, Few-Shot Learners , Şekil 3.14
GPT-3, biraz hazırlamayla ünlü kişilerin yazı stillerini taklit edebilir. Herkes öğrenin proje kullanıcıları ünlü kişiyi almak ve sonra bir konuyu sağlamamıza olanak tanır. GPT-3'ü bu kişinin bilinen yazılarıyla hazırlar ve ardından konu metnini girdi olarak kullanır. Daha sonra GPT-3 tarafından oluşturulan 200 kelimelik bir makale döndürür. Sonuçlar ortada. Bir tweet, Roketler hakkında konuşmanın Elon Musk'ı nasıl kolayca taklit ettiğini gösteriyor . Şimdi Thomas Jefferson'un Mars keşfi hakkında yorum yaptığını hayal edin! Veya COVID-19 ve maske takma hakkında Dr. Fauci'den bir alıntı oluşturmak için. GPT-3 çağında İnternette herhangi bir şeye güvenebilir miyiz? Bu makalenin ilerleyen bölümlerinde bu noktaya geri döneceğiz.
Tabii ki, ünlülerin yanı sıra, GPT-3 herhangi birini de taklit edebilir! Geliştirici Ravi Vadrevu , herhangi bir kullanıcı için bir iş e-postası pasajı yazmak için bir hizmet oluşturdu . Uygulama, kullanıcının geçmiş e-posta yazılarını kullanarak GPT-3'ü hazırlar. İşe alma, ağ oluşturma veya satış gibi girdi gibi belirli bir niyetle GPT-3, kullanıcı adına bir e-posta yazar. Turing testini geçen GPT-3 üzerine bu bahis gibi hizmetler.
Çevirmenler ve avukatlar
GPT-3'ün öğrendiği 499 milyar kelimeden bazıları İngilizce değil. Kelimeleri bağlamla ilişkilendirerek, GPT-3'ün çeviriler yapabildiği görülmektedir (ayrıca bkz. Şekil 1). GPT-3 makalesinde, yazarlar GPT-3'ün İngilizceden Fransızcaya ve İspanyolcaya çeviriler yapması için nasıl hazırlanacağına dair örnekler verdiler.
İngilizce kelimeleri bağlam içinde anlama yeteneği ilginç olasılıklar getirir. Örneğin, Revtheo , kullanıcılara bağlamına bağlı olarak bir kelimenin anlamını veren GPT-3 tabanlı bir sözlüktür.
Ancak GPT-3'ün İngilizceden İngilizceye paragraf temelli "çeviri" yapması belki de daha ilginçtir! Bu, İngilizce bir metnin bir paragrafını daha basit veya daha katı hale getirmek için yeniden ifade etmektir. Hukuk teknolojisi girişimcisi Francis Jervis, GPT-3'ü "bir avukat gibi yazmaya" hazırladı ve hukukçuya çevrilmesi için günlük İngilizce ifadeler verdi. Sonuçlar oldukça umut verici. Açıkçası, makine tarafından üretilen hukuk dilini göründüğü gibi değerlendirmek zordur, ancak hukuk uzmanları bile GPT-3'ün avukatlara yardımcı olabileceğini ve avukat verimliliğini artırabileceğini belirtiyor. Diğer taraftan, yatırımcı Michael Tefula, karmaşık hukuk dilini sade İngilizceye çevirmek için GPT-3'ü hazırladı. Her iki durumda da, GPT-3'ü astarlamak için yalnızca 2-3 örnek gerekir. Sonuçlar mükemmel değil ama oldukça yakın. GPT-3'ün hukuk dili konusunda eğitilmediğini unutmayın. Sadece birkaç basit örnekle hazırlandı.
Muhasebeciler ve tasarımcılar
GPT-3 makalesinin büyüleyici bulgularından biri, yapay zekanın dilden "matematik öğrenme" becerisidir. YZ'ye asla matematiğin temel yapısı ve teoremleri öğretilmez. Yine de matematik sorularına doğru cevaplar üretebilir. Basit iki sayı eklemesi için, GPT-3 sayıların ne anlama geldiğini asla öğrenmemiş olmasına rağmen neredeyse% 100 doğrudur. Şekil 3, GPT-3 kağıdından bazı örnekleri göstermektedir.
Şekil 3. GPT-3 matematik yapar. Görsel izniyle Dil Modelleri Few-Shot Learners , Şekiller G.42 - G.48
Bu matematik kabiliyetini GPT-3'ün eğitiminde çok sayıda yapılandırılmış veri gördüğü gerçeğiyle birleştirerek, AI'yı JSON veya XML gibi yapılandırılmış veri çıktısı ile İngilizce girdilere yanıt vermesi için hazırlamak mümkün görünüyor.
Geliştiriciler Yash Dani ve George Saad, bir işlemin İngilizce açıklamasını bir Python veri nesnesine dönüştürmek için GPT-3'ü sekiz örnekle hazırladı. İşte eğitim verilerinin bir örneği.
- Girdi: Hemen ödediğim 1200 $ değerinde ek bir envanter satın aldım.
- Çıktı: [["ekle", 1200, "Envanter"], ["kaldır", 1200, "Nakit"]]
Daha sonra bu nesneyi işlemek ve içeriğini bir Excel elektronik tablosuna eklemek için bir Python programı yazdılar. Sonuç, finansal tabloları işlemlerin rastgele tanımlamalarına göre güncelleyebilen otomatik bir muhasebeci .
Excel dosyalarını işlemek ve düzenlemek için doğal dili kullanabilirsek, aynı şeyi PowerPoint için de yapabilir miyiz? Yeterince elbette, işte nutanc twitter kullanıcısı tarafından oluşturulan bir PowerPoint demosu .
Geliştirici Jordan Singer, Figma eklentisi oluşturmak için benzer bir yaklaşım benimsedi . Bu eklenti, kullanıcıların kullanıcı arayüzünü (UI) İngilizce olarak tanımlamalarına, UI'nin yapılandırılmış bir JSON gösterimini oluşturmak için GPT-3'ü kullanmalarına ve ardından JSON içeriğini Figma'da işlemek için bir bilgisayar programı kullanmalarına olanak tanır. Jordan'ın geliştirici deneyimi hakkında daha fazla bilgi edinin .
Bu örneklerde, GPT-3 yapılandırılmış veriler çıkarır ve bu veriler daha sonra görevi tamamlamak için başka bir bilgisayar programı tarafından işlenir. Bu, doğal dil AI uygulamaları için çok umut verici bir yöntem gibi görünüyor.
Kod içermeyen programcı
GPT-3, bilgisayar programları tarafından kullanılan yapılandırılmış verileri oluşturabilirse, belki bir adım daha atabilir ve doğrudan bilgisayar programları oluşturabilir. Mümkün mü? Cevap evet gibi görünüyor!
- Shreya Shankar'ın İngilizce açıklamasından Lateks denklemleri oluşturun .
- Faraaz Nishtar tarafından gerçek veritabanları üzerinde çalışan SQL sorguları oluşturun .
- Antonio Gomez'in açıklamasına göre JavaScript'te bir 3B sahne oluşturun .
- Suhail CS ile sunucuları yönetmek için AWS CLI komutları oluşturun .
- Sharif Shameem tarafından eksiksiz React uygulama kullanıcı arayüzü oluşturun .
Birkaç geliştirici InfoQ.com'a yapılandırılmış çıktı oluşturmada GPT-3'ün performansı için hazırlamanın kritik olduğunu söyledi. Sistemin sadece doğru örneklerle hazırlanması gerekiyor. Diğer derin sinir ağları gibi, GPT-3 de insanlar için çoğunlukla bir kara kutudur. Bu, kesin çıktılara öncelik vermek için doğru örnekler bulmayı zorlaştırdı. Günler sürebilen bir deneme yanılma sürecidir.
Deseni yakalamak için bazı örnekler gerektirir ve bir kez yapılır. Sihir gibi çalışır. - Tushar Hattar
GPT-3 uygulamaları geliştirmek, algoritmaları geleneksel programlama dillerinde yazmak değil, yapay zekayı hazırlamak için doğal dil örnekleri bulmaktır. Yazılım geliştirmede yeni işler yaratacak yeni bir tür kodsuz beceriler gerektirir.
İnsan tanımlıyor, yapay zeka oluşturuyor, insan hata ayıklamaları yapıyor. - Vitalik Buterin , Ethereum'un Yaratıcısı
Makine tarafından üretilen kod, ileride büyüleyici (ve karlı) bir araştırma alanı olabilir. Hatta bir programlama dilinden (ör. Python) diğerine (ör. C ++) çevirmek için denetimsiz öğrenmeyi kullanan Facebook Research'ün TransCoder projesi gibi programlama dili çıktıları üreten yapay zeka sistemlerini kasıtlı olarak oluşturabiliriz .
Anlayabileceğimiz bir AI
OpenAI adına rağmen, GPT-3 ne açık kaynak ne de açık erişimdir. Geliştiricilerin modeli hazırlamaları ve ardından yanıt almak için bir metin göndermeleri için basit bir web hizmetleri API'si sağlar. API basittir, ancak şu anda bir bekleme listesi vardır.
Şimdiye kadar inanılmazdı. GPT-3'ün ne kadar hızlı öğrendiğini görebilmek inanılmaz. Etkileşim kurduğunuz bir çekirdek uç nokta ile API daha basit olamazdı. Ve metin girişi, metin çıkışı fikri, aklınızın bulabileceği her şeyi yapmanıza izin verir. - Jordan Singer
GPT-3 erişiminin önündeki engel kasıtlı. Gördüğümüz gibi, GPT-3 güçlü bir yazılım parçasıdır. Ancak kara kutu olduğu için ürettiği metni kolayca tahmin edemiyoruz veya kontrol edemiyoruz. Tartıştığımız gibi, kesin çıktı için hazırlama çoğunlukla bir deneme yanılma sürecidir. İnternette ve dolayısıyla muhtemelen GPT-3'ün 499 milyar kelimelik eğitim verilerinde bulunan ırkçılık, kadın düşmanlığı ve diğer nefret dolu içerik miktarı göz önüne alındığında, denetimsiz bir GPT-3 önyargılı veya incitici metinler oluşturabilir. Örneğin, GPT-3'ün üretebileceği ikna edici kulağa hoş gelen sahte haberler hakkında bir düşünün.
Geliştirici topluluğu, güçlü AI sistemlerini duyarlı bir şekilde kullanmalıdır. Muhtemelen yasaklanmış kelime listeleri koymak yerine, dil modellerinin nasıl çalıştığına dair daha derin bir anlayışa sahip olmamızı gerektirecek.
Yapay zeka politik olarak yanlış şeyler yaptığında veya söylediğinde insanlar çıldırıyor. Ya bu tür sonuçlara varmalarını engellemek zorsa ve bunu düzeltmenin en kolay yolu onlara düşündüklerini saklamayı öğretmekse? Bu yapay zekaları öğretmeye başlamak için korkutucu bir beceri gibi görünüyor. - Paul Graham Twitter'da
İnsanların anlaması zor olsa da, açıklamak ve kontrol etmek çok daha az, yapay zekanın kara kutusunun içindeki akıl yürütmeyi bize açıklayabilir mi? Yazılım geliştiricisi Daniel Bigham, GPT-3'ten İngilizce cümlelerdeki gramer hatalarını düzeltmesini ve düzeltme nedenleri bulmasını istedi. Sonuçlar oldukça şaşırtıcı olan GPT-3 açıkça gramer kurallarını öğretti olmamıştı olarak. Anlayışı örneklerden almıştır. İşte bir örnek. Bu, yapay zekanın açıklanabilirliğine doğru küçük ama kışkırtıcı bir adımdır!
- Girdi: Çatlama zamanı!
- Çıktı düzeltmesi: Çatlama zamanı!
- Çıktı açıklaması: "Onun" kısaltması, iyelik "onun" yerine kullanılmalıdır.
Geliştiricilerin, GPT-3'ün oluşturması ve açıklaması için mümkün olan sınırlarını zorlamaya devam etmesini bekliyoruz!
Kara kutu
GPT-3 büyük umut vaat ederken, hala sinir ağı AI'larını uzun süredir rahatsız eden bazı sorunlar sergiliyor. Özellikle, bazı görevleri inanılmaz derecede iyi yerine getirirken, diğer sağduyu görevlerinde sefil bir şekilde başarısız olur. YZ, kendisine verilen görevleri gerçekten anlıyor mu?
Felsefi düzeyde, önemli olmayabilir. Sonuçta, AI matematik, çeviri ve gramer kontrolleri yapabilir. Yapay zekaya matematik ve gramer kavramlarının asla öğretilmemesi önemli mi? GPT-3 matematik ve gramer kurallarını türetip bunları uygulayabildi. Ancak GPT-3 uygulamaları oluşturan geliştiriciler için, AI'nın "bilgisinin" sınırını bilmemek ve AI'nın üstesinden gelemeyeceği durumlara dikkat etmek zahmetlidir.
Bu makale, GPT-3 uygulamalarının bazı etkileyici örneklerini gösterdi. Ancak geliştiriciler, InfoQ'ya bu sonuçları üretmek için sistemi dikkatli bir şekilde "hazırlama" ihtiyacından da bahsetti. Yani, bir bakıma, bu sonuçlar özenle seçilmiş kanıtlardır. Daha da kötüsü, GPT-3 bir kara kutu olduğundan, geliştiricilerin diğer yaklaşımlar başarısız olurken neden bazı hazırlamanın çalıştığını anlamaları zordur. Önceki bölümde bahsedildiği gibi, açıklanabilirlik muhtemelen GPT-3'ün geniş çapta benimsenmesinden önceki en önemli sınırlamalardan biridir.
Her şey için bir yapay zeka
GPT-3, güç yasası ilişkisindeki model boyutuyla birlikte AI performansının arttığını gösterir . Sürekli büyüyen model boyutu, daha güçlü ve daha doğru AI üretecek. Bu, zamanımızın Moore yasası olabilir mi?
Derin öğrenmenin öncüsü Dr. Geoffrey Hinton, GPT-3'ü tahmin etti ve evrenin nihai sorusuna cevap verebilecek bir yapay zekanın 42 değil 4,2 trilyon parametreye ihtiyaç duyacağını söyledi. Bu, GPT-3'ten yalnızca 25x.
GPT3'ün muhteşem performansını geleceğe doğru tahmin etmek, hayata, evrene ve her şeye cevabın sadece 4.398 trilyon parametre olduğunu gösteriyor. - Geoffrey Hinton Twitter'da
Şimdi bu makalenin başında sorduğumuz varsayımsal soruyu hatırlayın. Cevap 4.398 trilyon artık internette ve GPT-4 için eğitim verilerinin bir parçası olacak. O halde GPT-4, evrenin nihai sorusuna nasıl cevap verirdi?
Son olarak GPT-3 ile Barış Özcan'ın şu videosunu izlemekte fayda olduğunu düşünmekteyiz.