Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminin Sınırlarını Zorlamak

Yapay zeka eğitimi, tüm yapay zeka değer zincirindeki en önemli aşamadır ve doğrudan modelin yetenek sınırını ve uygulama etkisini belirler. Hafif ağırlıklı çıkarım çağrısına kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritmaları desteği gerektirir; bu, yapay zeka sistemlerinin inşasında gerçek bir "ağır sanayi"dir. Mimari paradigmasına göre, eğitim yöntemleri dört türe ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede anahtar odak noktası olan Merkeziyetsizlik eğitimi.

Merkeziyetsiz eğitim, tüm eğitim süreçlerini yerel yüksek performanslı kümelerde tek bir kurumun gerçekleştirdiği en geleneksel yöntemdir; donanımdan yazılıma tüm bileşenler tek bir kontrol sistemi tarafından koordine edilerek çalıştırılır. Bu derin işbirliği mimarisi, eğitim verimliliğinin en üst seviyeye ulaşmasını sağlar ve GPT, Gemini gibi büyük ölçekli modellerin eğitimi için oldukça uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlar sunar, ancak aynı zamanda veri tekelciği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunlar da barındırır.

Dağıtık eğitim, günümüzde büyük modellerin eğitiminde ana akım bir yöntemdir. Temelinde, model eğitim görevlerinin parçalanıp birden fazla makineye dağıtılarak birlikte yürütülmesi yatar; bu sayede tek bir makinenin hesaplama ve depolama darboğazları aşılır. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol, planlama ve senkronizasyon yapılmaktadır; genellikle yüksek hızlı yerel alan ağı ortamlarında çalışır ve NVLink yüksek hızlı bağlantı otobüs teknolojisi aracılığıyla ana düğüm, alt görevleri bir arada koordine eder. Ana akım yöntemler arasında veri paralelliği, model paralelliği, boru hattı paralelliği ve tensör paralelliği bulunmaktadır. Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; aynı patronun birden fazla "ofis" çalışanını uzaktan yönlendirmesi gibi görevleri tamamlamak için işbirliği yapar. Şu anda hemen hemen tüm ana akım büyük modeller bu yöntemle eğitilmektedir.

Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birden çok düğüm, merkezi bir koordinatör olmaksızın eğitim görevlerini işbirliği içinde tamamlar; genellikle görev dağıtımı ve işbirliği için protokollerle yönlendirilir ve katkının doğruluğunu sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar arasında cihaz heterojenliği ve parçalama zorlukları, iletişim verimliliği darboğazları, güvenilir yürütme eksikliği ve birleşik koordinasyon eksikliği bulunmaktadır. Merkeziyetsizlik eğitimi, dünya genelinden bir grup gönüllünün, kendi hesaplama güçlerini katkıda bulunarak model eğitimi yaptığı şeklinde anlaşılabilir, ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hâlâ sistematik bir mühendislik zorluğudur ve sistem mimarisi, iletişim protokolleri, kripto güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok alanı içermektedir. "Etkili işbirliği + dürüstlük teşviki + doğru sonuç" sağlanıp sağlanamayacağı hâlâ erken prototip keşif aşamasındadır.

Federal öğrenme, dağıtık ve Merkeziyetsizlik arasında bir geçiş biçimi olarak, verilerin yerel olarak tutulmasını ve model parametrelerinin merkezi bir şekilde toplanmasını vurgular; bu, gizlilik uyumuna önem veren senaryolar için uygundur. Federal öğrenme, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahipken, aynı zamanda Merkeziyetsizlik eğitimindeki veri dağıtım avantajlarını da taşır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyum senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından nispeten ılımlıdır ve endüstride geçiş dönemi dağıtım yapısı olarak daha uygundur.

Eğitim paradigması açısından, merkeziyetsiz eğitim her görev türü için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğu gibi nedenlerle, heterojen ve güvenilir olmayan düğümler arasında verimli bir şekilde tamamlanması doğal olarak uygun değildir. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliğine bağımlıdır, açık ağlarda etkin bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamalarının güçlü olduğu görevler, yasal uyum ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; işbirliği teşvik temeli olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlar, mevcut merkeziyetsiz eğitim faaliyetlerinin gerçek kısıtlamalarını oluşturmaktadır.

Ancak bu, merkeziyetsizlik eğitimlerinin sahte bir önerme olduğu anlamına gelmez. Aslında, yapısal olarak hafif, kolay paralel hale getirilebilen ve motive edici görev türlerinde, merkeziyetsizlik eğitiminin belirgin bir uygulama potansiyeli sergilediği görülmektedir. Bunlar arasında, ancak bunlarla sınırlı olmamak üzere: LoRA ince ayarı, davranış hizalama sonrası eğitim görevleri, veri toplama eğitimi ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genel olarak yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans gösterme özelliklerine sahiptir ve P2P ağlar, Swarm protokolü, dağıtık optimizatörler gibi yöntemlerle işbirlikçi eğitim için oldukça uygundur.

Şu anda merkeziyetsizlik eğitimi ve federatif öğrenme öncü alanında, temsil edici blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik uygulama zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai, sistem mimarisi ve algoritma tasarımı konusunda daha fazla özgün keşif önermekte olup, mevcut teorik araştırmanın öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun uygulama yolları ise nispeten net olup, ilk mühendislik ilerlemeleri görülmektedir.

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır, böylece herkes eğitim sürecine katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, doğrulanabilir, açık ve teşvik mekanizması tam olan bir AI merkeziyetsiz eğitim sistemi oluşturmak için PRIME-RL + TOPLOC + SHARDCAST üç ana modülünü kullanmayı hedeflemektedir.

PRIME-RL, Prime Intellect tarafından Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir ve heterojen ağlar ile asenkron katılımcılar için özel olarak tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız olarak görev döngüsünü tamamlayabilir ve standartlaştırılmış arayüzler aracılığıyla doğrulama ve toplama mekanizmalarıyla işbirliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL merkezi bir planlama olmayan ortamlarda esnek eğitim gerçekleştirmek için daha uygundur; bu, sistemin karmaşıklığını azaltmakla kalmaz, aynı zamanda çoklu görev paralelliği ve strateji evrimi için bir temel oluşturur.

TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gözlem verilerine dayalı olarak gerçekten etkili bir strateji öğrenimi yapıp yapmadığını belirlemek için kullanılan eğitilebilirlik doğrulama çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplama gerektirmemektedir; bunun yerine, "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif bir yapı doğrulaması gerçekleştirmektedir. Eğitme sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren bu mekanizma, güvene dayanmayan eğitim ödül dağıtımını sağlamak için kritik bir yenilik olup, denetlenebilir ve teşvik edici bir Merkeziyetsizlik işbirlikçi eğitim ağı kurmak için uygulanabilir bir yol sunmaktadır.

SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu değişken olan gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisini birleştirir; bu, birden fazla düğümün senkronize olmadan sürekli olarak kısmi güncellemeler göndermesine olanak tanır ve ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır; bu, istikrarlı ağırlık konsensüsü ve sürekli eğitim iterasyonları oluşturmak için temel bir temeldir.

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynak olarak sunduğu bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsizlik eğitiminde yaygın olarak karşılaşılan bant genişliği kısıtlılığı, cihaz heterojenliği ve düzensiz düğümlerin gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmakta olup, Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta ve yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti toleransı mekanizmasını birleştiren OpenDiLoCo, tüketici düzeyindeki GPU'ların ve kenar cihazlarının da eğitim görevlerine kararlı bir şekilde katılmasına olanak tanır, küresel işbirliği eğitimine katılımı önemli ölçüde artırır ve merkeziyetsizlik eğitim ağlarını oluşturmak için kritik bir iletişim altyapılarından biri haline gelir.

PCCL, Prime Intellect tarafından merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojileri, gradyan sıkıştırması, düşük hassasiyet senkronizasyonu ve kesinti kurtarma desteği sunar; tüketici sınıfı GPU'lar ve istikrarsız düğümler üzerinde çalışabilir. OpenDiLoCo protokolünün asenkron iletişim yeteneklerinin temel bileşenidir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırır; gerçekten açık ve güvene ihtiyaç duymayan bir işbirlikçi eğitim ağı inşa etmek için "son bir mil" iletişim altyapısını sağlamlaştırır.

Prime Intellect, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı kurdu, böylece herkes görevlere katılabilir ve gerçek katkılara dayalı olarak ödüller alabilir. Protokol, üç ana rol üzerine inşa edilmiştir: görev başlatıcı, eğitim düğümü ve doğrulama düğümü. Protokolün çekirdek süreci, görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışları" etrafında dönen bir teşvik döngüsü oluşturur.

Prime Intellect, Mayıs 2025'te INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri ile işbirliği içinde eğitilen ilk güçlendirilmiş öğrenme büyük modelidir ve parametre ölçeği 32B'ye ulaşmaktadır. INTELLECT-2 modeli, üç kıtaya yayılmış 100'den fazla GPU heterojen düğüm tarafından işbirliği içinde eğitildi ve tamamen asenkron bir mimari kullanıldı. Eğitim süresi 400 saati aştı ve asenkron işbirliği ağının uygulanabilirliğini ve kararlılığını gösterdi. Bu model, yalnızca bir performans atılımı değil, aynı zamanda Prime Intellect'in "eğitim, uzlaşmadır" paradigmasının ilk sistematik uygulanışıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi çekirdek protokol modüllerini entegre ederek, merkeziyetsiz eğitim ağının eğitim sürecinin açık, doğrulayıcı ve ekonomik teşvik kapalı döngüsünü ilk kez gerçekleştirdiğini göstermektedir.

Performans açısından, INTELLECT-2 QwQ-32B üzerinde eğitildi ve kod ve matematikte özel RL eğitimi yapıldı, mevcut açık kaynak RL ince ayar modellerinin öncü seviyesindedir. Henüz GPT-4 veya Gemini gibi kapalı kaynak modelleri geçememiş olsa da, gerçek anlamı şudur: Bu, dünya çapında tamamen eğitilmiş süreçleri yeniden üretilebilir, doğrulanabilir ve denetlenebilir merkeziyetsiz model deneyidir. Prime Intellect sadece modeli açık kaynak yapmamış, daha da önemlisi eğitim sürecini kendisini açık kaynak yapmıştır - eğitim verileri, strateji güncelleme izleri, doğrulama süreçleri ve toplama mantığı tamamen şeffaf ve incelenebilir hale getirilmiştir, böylece herkesin katılabileceği, güvenilir işbirliği yapabileceği ve kazançları paylaşabileceği bir merkeziyetsiz eğitim ağ prototipi oluşturulmuştur.

Pluralis, "güvenilir işbirliği eğitim ağı" üzerine odaklanan bir Web3 AI projesidir ve temel hedefi merkeziyetsizlik, açık katılım ve uzun vadeli teşvik mekanizmasına sahip bir model eğitimi paradigmasını teşvik etmektir. Mevcut ana akım merkezi veya kapalı eğitim yollarından farklı olarak, Pluralis, model eğitim sürecini "protokolleştirmek" için yeni bir kavram olan Protokol Öğrenimi'ni önermektedir; doğrulanabilir işbirliği mekanizmaları ve model mülkiyet haritalaması aracılığıyla, içsel teşvik döngüsüne sahip açık bir eğitim sistemi inşa etmektedir.

Pluralis'in sunduğu Protokol Öğrenimi üç ana temel sütun içerir:

1. Çekilemeyen model: Model, birçok düğüm arasında parça parça dağıtılmıştır, herhangi bir tek düğüm tam ağırlığı geri yükleyemez ve kapalı kaynak olarak kalır. Bu tasarım, modelin doğal olarak "protokol içi varlık" olmasını sağlar ve erişim belgesi kontrolü, sızma koruması ve gelir sahipliği bağlama gibi işlevsellikler sağlar.

2. İnternet Tabanlı Model Paralel Eğitimi: Asenkron Pipeline model paralel mekanizması sayesinde, farklı düğümler yalnızca kısmi ağırlıklar taşır ve düşük bant genişliği ağı üzerinden işbirliği yaparak eğitim veya çıkarım tamamlanır.

3. Katkı dağıtım modeli ile mülkiyet: Tüm katılımcı düğümler, eğitim katkılarına göre modelin kısmi mülkiyetini alır ve böylece gelecekteki gelir paylaşımı ve protokol yönetim hakkına sahip olurlar.

Teknik mekanizma açısından,