RadarMakale Bülteniai üretimi

Makale Bülteni — DeepSeekMoE

Uzmanları ince taneli alt uzmanlara bölüp ortak bilgiyi sabit paylaşılan uzmanlarda izole ederek hesaplama maliyetini %40'a düşüren ve DeepSeek mimari devrimini başlatan açık kaynaklı MoE tasarımı.

DeepSeek-AI araştırma ekibi tarafından yayımlanan “DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models” makalesi, açık kaynak yapay zeka dünyasında küresel bir şok dalgası yaratan DeepSeek devriminin en kritik mimari temel taşını oluşturuyor1. Google’ın GShard ve Mistral’in Mixtral modelleriyle standartlaşan geleneksel MoE yaklaşımları, 8 büyük uzmandan 2’sini seçmek gibi kaba taneli (coarse-grained) bir mantığa sıkışıp kalmıştı. Bu kurgu, dildeki ortak genel bilgilerin tüm uzmanlar tarafından tekrar tekrar öğrenilmesine yol açarak parametre israfı yaratıyor ve uzmanların gerçek anlamda özelleşmesini (specialization) engelliyordu. DeepSeekMoE, uzmanları daha küçük parçalara bölen ince taneli uzman segmentasyonu (fine-grained segmentation) ve genel bilgiyi tek elde toplayan paylaşılan uzman izolasyonu (shared expert isolation) teknikleriyle bu açmazı yıktı. Pratikte bunun anlamı şudur: Aynı hesaplama bütçesiyle (FLOPs) kombinatoryal olarak milyonlarca kat daha esnek yönlendirme yapabilir ve 7 milyar parametrelik yoğun bir modelin kalitesini üçte birden daha az aktif parametreyle yakalayabilirsiniz.

Bu mimari inovasyonun sunduğu somut mühendislik kazanımı üç temel metrikte belgeleniyor: Eşdeğer yoğun modellere kıyasla %40 hesaplama bütçesiyle eşdeğer başarım ve %60’a varan FLOP tasarrufu, testlerin ve eğitimlerin yürütüldüğü NVIDIA A100-40GB ve A100-80GB kümeleri ve resmi açık kaynak depodaki 1.200 yıldız, 16 açık issue ve 4 açık PR seviyesindeki topluluk canlılığı2.

İddia ve Gerçeklik: DeepSeekMoE

Geleneksel MoE mimarilerinde 8 uzmandan 2’sini seçmek sadece 28 farklı yönlendirme kombinasyonu sunar; bu durum her bir uzmanın içine hem genel dilbilgisini hem de çok çeşitli uzmanlık alanlarını tıkıştırmak zorunda kalması demektir1. Sonuçta uzmanlar ayrışamaz ve model kapasitesi verimsiz kullanılır.

DeepSeekMoE bu sorunu iki tamamlayıcı stratejiyle çözdü. İlk olarak her FFN bloğunu $m$ parçaya bölerek uzman sayısını dramatik şekilde artırdı (örneğin 16B modelde 1 paylaşılan uzman ve 63 yönlendirilen uzman, her biri standart bir FFN’in dörtte biri büyüklüğünde). Böylece yönlendirici ağ çok daha fazla sayıda ince taneli uzmandan seçim yapabilir hale geldi ve potansiyel uzman kombinasyonları astronomik rakamlara ulaştı. İkinci olarak, 1 veya 2 uzmanı “daima aktif” paylaşılan uzman (shared expert) olarak izole etti. Noktalama işaretleri, temel sözdizimi ve ortak kavramlar bu paylaşılan uzman tarafından emildiği için geri kalan yönlendirilen uzmanlar saf ve keskin nişancı gibi özelleşmiş bilgi alanlarına odaklandı. Nitekim DeepSeekMoE 16B modeli, token başına yalnızca 2,8 milyar aktif parametre çalıştırarak 7 milyar parametrelik LLaMA-2 ve DeepSeek-7B yoğun modellerinin başarımını yakalamayı başardı.

Fakat bedelsiz bir mimari mucize yoktur ve ince taneli MoE’nin arkasındaki en acımasız bedel ağ iletişimidir. Uzman sayısı 8’den 64’e veya 256’ya çıktığında, dağıtık kümelerde uzman paralelliği (Expert Parallelism) yürütürken GPU’lar arasındaki her-birinden-her-birine (All-to-All) iletişim hacmi ve gecikmesi patlar. Eğer veri merkezinizde yüksek bant genişlikli NVLink veya InfiniBand kumaşınız yoksa, hesaplama süresinden ettiğiniz tasarruf ağ kartlarında bekleme sürelerine kurban gider. Ayrıca çok sayıda küçük uzmanın matris çarpımları (small GEMMs) GPU’nun donanım verimliliğini düşürebilir; bu yüzden DeepSeek mühendisleri üretim hatlarında özel gruplanmış CUDA çekirdekleri geliştirmek zorunda kalmıştır.

Kod ve Entegrasyon Haritası

DeepSeek-AI tarafından Apache-2.0 ve özel model lisansıyla paylaşılan deepseek-ai/DeepSeek-MoE deposu, 16 milyar parametrelik temel ve sohbet modellerinin ağırlıklarıyla birlikte sunuldu2. Depo, PyTorch ve Hugging Face transformers ile tam entegre çalışan modelleme dosyalarını (modeling_deepseek.py) içerir3.

Açık kaynak dünyasında DeepSeekMoE, modern MoE tasarımının tartışmasız yeni referans standardı haline geldi. DeepSeek-V2, DeepSeek-V3 ve DeepSeek-R1 modellerinin tamamı bu mimari omurga üzerine inşa edildi. vLLM ve SGLang çıkarım motorları, DeepSeekMoE mimarisini yerel olarak destekleyerek paylaşılan uzmanları standart dikkat bloklarıyla kaynaştıran özel kernel boru hatları devreye aldı. Hatta Qwen ve Kimi gibi diğer önde gelen laboratuvarlar da yeni nesil modellerinde paylaşılan uzman ve ince taneli alt uzman konseptini doğrudan benimsedi.

Bununla birlikte üretim dağıtımında dikkat edilmesi gereken ciddi operasyonel kısıtlar mevcuttur. 64 ve üzeri uzmana sahip bir modeli standart PyTorch FSDP ile eğitmek, yönlendirici dengesizlikleri (routing collapse) yüzünden çökmelere yol açabilir; sistemin katmanlı ve cihaz düzeyinde ek yük dengeleme kayıplarıyla (device-level auxiliary loss) çok sıkı kontrol edilmesi gerekir. Ayrıca çıkarım aşamasında 16B’lik bir modeli tek bir 40 GB GPU’da barındırabilmek büyük bir avantaj olsa da, daha büyük modellerde uzmanların düğümler arası dağıtımı için özel küme zamanlayıcıları (schedulers) zorunludur.

Ticari Etki: Kimin İşine Yarar?

DeepSeekMoE’nin ticari etkisi, küresel yapay zeka endüstrisindeki fiyatlandırma dengelerini değiştiren en büyük kaldıraç oldu. 7 milyar parametrelik yoğun bir modeli servis eden bir girişim her belirteç için 7 milyar parametrenin elektrik ve donanım faturasını öderken, DeepSeekMoE mimarisiyle aynı kaliteyi belirteç başına 2,8 milyar parametre maliyetiyle sunmak mümkündür.

Bu durum doğrudan sunucu faturasında %60’a varan indirim ve iki kattan fazla kullanıcı istek kapasitesi (throughput) demektir. Tek bir A100-40GB GPU üzerinde kuantizasyona dahi ihtiyaç duymadan 16B parametrelik yüksek yetenekli bir modeli çalıştırmak, küçük girişimlerin ve kurumsal Ar-Ge ekiplerinin donanım amortismanını dramatik şekilde rahatlatır. 145B ve üzeri dev modellerde ise geleneksel mimarilere kıyasla hesaplama maliyetinin %28,5’e kadar düşmesi, yüz milyonlarca dolarlık model eğitim bütçelerini erişilebilir seviyelere çeker.

Özetle DeepSeekMoE, kaba kuvvetle model büyütmek yerine zarafetle parametre mimarisi kurmanın zaferidir. Eğer şirketiniz kendi dikey modellerini eğitmeyi veya kendi donanımında maliyet-etkin bir açık model ailesi barındırmayı planlıyorsa, geleneksel MoE modellerini çöpe atıp DeepSeekMoE’nin paylaşılan ve ince taneli uzman mimarisini temel almak tartışmasız en karlı CTO kararıdır.

Kaynaklar

  1. arXiv:2401.06066 — DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
  2. GitHub — deepseek-ai/DeepSeek-MoE Resmi Kod Deposu
  3. Hugging Face — DeepSeekMoE 16B Base Model Deposu