Büyüt / Yapay bir beynin içine bakan robotların yapay zeka tarafından oluşturulmuş bir görüntüsü.
Kararlı Difüzyon
OpenAI, GPT-4 dil modelinin eski GPT-2 modelindeki nöronların davranışları için açıklamalar yazma yeteneğini gösteren yeni bir araştırma makalesi yayınladı. Bu, sinir ağlarının çıktılarına nasıl ulaştığını açıklayan “yorumlanabilirlik” alanında iyi bir ilerleme olarak görülüyor. Makale, teknoloji dünyasında yaygın olarak kullanılmasına rağmen, Büyük Dil Modellerinin işlevselliğinin ve yeteneklerinin hala tam olarak anlaşılmadığını açıklıyor. OpenAI, GPT-2’deki nöronların davranışı için doğal dil açıklamaları oluşturmak üzere GPT-4 modelini kullanarak, yalnızca manuel insan incelemesine dayanmadan yorumlanabilirlik elde etmeyi amaçlıyor. Bununla birlikte, sinir ağlarının kara kutu doğası, bu tür bir yorumlanabilirliğin önünde önemli bir engeldir.
OpenAI’nin tekniği, modeldeki belirli nöronların ve dikkat kafalarının işlevi veya rolü için insan tarafından okunabilir açıklamalar oluşturmak için GPT-4’ü kullanır. Ayrıca, dil modelinin doğal dili kullanarak nöron aktivasyonlarını sıkıştırma ve yeniden yapılandırma yeteneğini ölçen ölçülebilir bir puan oluşturur. Bununla birlikte, testlerde OpenAI, hem GPT-4’ün hem de bir insan yüklenicinin “mutlak terimlerle düşük puan aldığını”, bu da nöronları yorumlamanın hala zor bir görev olduğunu gösterdi.
OpenAI araştırmacıları, çok anlamlı nöronları ve “yabancı özellikleri” yöntemlerinin sınırlamalarından bazıları olarak tanımladılar. Diğer sınırlamalar arasında, yoğun bilgi işlem olması ve yalnızca kısa doğal dil açıklamaları sunması yer alır. Bununla birlikte, araştırmacılar, makine aracılı yorumlanabilirlik çerçevesinin ve iyileştirmeleri ölçmenin ölçülebilir araçlarının, sinir ağlarının işleyişine ilişkin eyleme dönüştürülebilir içgörülere yol açacağı konusunda iyimser olmaya devam ediyor.
OpenAI, ilerlemesini göstermek için araştırma makalesini gerçek dünyadan örnekler içeren etkileşimli bir web sitesinde yayınladı. Web sitesi, yöntemi üç aşamaya ayırır ve GPT-2 XL nöronlarının bir veri kümesini ve GitHub’daki açıklamaların yanı sıra Otomatik Yorumlanabilirlik kodunu sunar.
Genel olarak, yorumlanabilirlik yapay zeka hizalamasına ulaşmada kilit bir faktör olduğundan, araştırmacıların sinir ağlarının karar verme yeteneğini daha iyi anlamak için çalışmaları önemlidir. Sonuç olarak, gelecekte hala aşılması gereken sınırlamalar olsa bile, OpenAI’nin tekniği heyecan verici bir potansiyel yarattı.
Reklamcılık 
Büyüt / Makalenin web sitesinde, GPT-4’ün bir metnin hangi öğelerinin bir sinir ağındaki belirli bir nöron tarafından üretildiğini tahmin ettiğini gösteren diyagramlar yer alıyor.
Kaynak : https://insidexpress.com/technology/openai-explores-neural-networks-black-box-with-latest-research/?utm_source=rss&utm_medium=rss&utm_campaign=openai-explores-neural-networks-black-box-with-latest-research