RadarMakale Bülteniai üretimi

Makale Bülteni — QMoE

Trilyon parametreli MoE modellerini parametre başına 0,8 bit seviyesine sıkıştırarak 3,2 terabaytlık bellek ihtiyacını 160 gigabayta indiren ve tek bir sunucuda çalıştıran sıkıştırma mimarisi.

IST Austria araştırmacıları Elias Frantar ve Dan Alistarh tarafından yayımlanan ve MLSys 2024 konferansında sunulan “QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models” makalesi, yapay zeka sektörünün karşılaştığı en korkutucu donanım duvarına, yani trilyon parametreli modellerin bellek oburluğuna doğrudan meydan okuyor1. Google’ın SwitchTransformer-c2048 gibi 1,6 trilyon parametrelik devasa uzmanlar karması (MoE) modelleri, her belirteçte yalnızca birkaç uzmanı çalıştırarak hesaplama maliyetini düşük tutsa da, modelin tüm ağırlıklarını bellekte saklamak için standart FP16 hassasiyetinde tam 3,2 terabayt VRAM talep eder. Bu durum, trilyon parametreli sistemleri çalıştırmak için yüz binlerce dolarlık devasa süper bilgisayar kümelerini zorunlu kılıyordu. GPTQ’nun yaratıcıları olan yazarlar, MoE mimarilerinin parametre fazlalığını ve doğal seyreklik yapısını kaldıraç olarak kullanarak 1 bitin altına inen (sub-1-bit) pratik bir sıkıştırma çerçevesi inşa etti. Pratikte bunun anlamı şudur: 1,6 trilyon parametrelik bir canavarı tek bir iş istasyonunda çalışabilecek şekilde 20 kat küçültebilir ve yüzde 5’ten az bir gecikme ek yüküyle (overhead) servis edebilirsiniz.

Bu radikal sıkıştırma atılımının sunduğu somut mühendislik kazanımı üç temel metrikte belgeleniyor: Standart FP16 model boyutuna kıyasla parametre başına 0,8 bit ile 20 kat bellek sıkıştırması ve %5’ten az çalışma zamanı ek yükü, deneylerin koşturulduğu tüketici ve kurumsal NVIDIA A100-80GB ve RTX 3090 / A6000 donanımları ve resmi depodaki 640 yıldız, 3 açık issue ve 0 açık PR düzeyindeki açık kaynak ayak izi2.

İddia ve Gerçeklik: QMoE

Geleneksel kuantizasyon yöntemleri yoğun (dense) modellerde 3 veya 4 bit sınırına dayandığında ciddi bir kalite bozulmasıyla karşılaşır; 2 bitin altına inmek ise modeli tamamen anlamsız çıktılar üreten bir ağırlık çöplüğüne çevirir1. Ancak MoE mimarileri, yüzlerce uzmana dağılmış muazzam bir yapısal yedekliliğe (redundancy) sahiptir ve bireysel uzmanların ağırlık hatalarına karşı yoğun modellerden çok daha toleranslıdır.

QMoE bu mimari fırsatı iki aşamalı bir algoritma-donanım ortak tasarımıyla (co-design) paraya dönüştürdü. İlk olarak, ikinci dereceden Hessian yaklaşımını (GPTQ) ölçekleyerek MoE ağırlıklarını üçlü (ternary: -1, 0, +1) değer kümesine sıkıştırdı. Bu üçlü kuantizasyon, 1,6 trilyon parametreli modelde ağırlıkların yaklaşık %88’inin tam sıfıra dönüşmesiyle sonuçlandı. İkinci olarak yazarlar, standart seyreklik formatlarının yüksek indeksleme ek yükünü çöpe atıp bu aşırı düşük entropili sıfır dizilimlerini özel sözlük tabanlı bir Huffman kodlamasıyla gruplayarak bit dizilerine paketledi. Sonuçta modelin ortalama bit genişliği parametre başına 0,8 bite kadar geriledi. Çıkarım anında ise bu bit paketlerini doğrudan GPU’nun hızlı SRAM yazmaçlarında anlık açıp (on-the-fly decompression) tensör çekirdeklerine besleyen özel bir CUDA çekirdeği (sub1_cuda_kernel.cu) geliştirildi. Böylece 3,2 terabaytlık model, tek bir sunucuda 158 gigabaytlık bir VRAM ayak izine hapsedildi.

Fakat üretim bandına inildiğinde her sistem mimarının bilmesi gereken çok sert pratik sınırlar vardır. QMoE bir eğitim sonrası sıkıştırma (PTQ) yöntemi olsa da, 1,6 trilyon parametrelik bir modelin ikinci dereceden matris optimizasyonunu tek bir A100 GPU üzerinde çalıştırmak neredeyse 24 saat kesintisiz GPU mesaisi gerektirir. Daha da önemlisi, anlık dekompresyon çekirdeği batch boyutu 1 veya küçükken bellek bant genişliğini kurtararak harika çalışsa da, eşzamanlı istek sayısı arttığında yazmaç seviyesindeki bit çözme operasyonları hesaplama darboğazı yaratmaya başlayabilir. Ayrıca bu teknik yalnızca devasa parametre fazlalığına sahip MoE modellerinde geçerlidir; 7B veya 13B gibi kompakt yoğun modellerde sub-1-bit denemek felaketle sonuçlanır.

Kod ve Entegrasyon Haritası

Makale yazarları tarafından Apache-2.0 lisansıyla sunulan IST-DASLab/qmoe deposu, SwitchTransformer modellerini (base-128, large-128 ve c-2048) dönüştürmek ve çalıştırmak için eksiksiz bir C++ ve CUDA kod tabanı barındırır2. Depo; GPTQ optimizasyon betiklerini (gptq.py), sub-1-bit çıkarım motorunu (sub1.py) ve özel GPU çekirdeklerini (sub1_cuda_kernel.cu) içerir. Sıkıştırılmış model ağırlıkları Hugging Face üzerinde doğrudan toplulukla paylaşılmıştır3.

Açık kaynak ekosistemi açısından QMoE, trilyonluk MoE modellerinin sıkıştırılabileceğini kanıtlayan bir deniz feneri oldu. Günümüzde Mira, MoQA ve GSQ gibi modern MoE sıkıştırma araştırmalarının tamamı QMoE’nin sözlük tabanlı bit paketleme ve anlık dekuantizasyon çekirdeklerini temel almaktadır.

Bununla birlikte kodun ana akım üretim entegrasyonunda belirgin pürüzler vardır. QMoE standart Hugging Face veya vLLM çatısına doğrudan birleştirilmiş (merged) genel bir modül değildir; özel bir CUDA derlemesi (setup_cuda.py) ve tescilli bir tensör formatı gerektirir. vLLM gibi büyük motorlar FP8, AWQ veya Marlin gibi daha genel amaçlı kuantizasyon formatlarına odaklandığı için QMoE’yi üretim hattına almak ekibin kendi çıkarım altyapısını bu özel CUDA çekirdekleriyle yamalamasını (fork) zorunlu kılar. Ayrıca kod tabanının bakım sıklığı düşüktür ve en son PyTorch 2.4+ sürümleriyle derlerken C++ ABI uyumluluklarının elle ayarlanması gerekebilmektedir.

Ticari Etki: Kimin İşine Yarar?

QMoE’nin ticari etkisi, devasa parametreli MoE modellerini kurum içi (on-premise) altyapılarda veya kısıtlı bulut sunucularında barındırmak isteyen araştırma laboratuvarları, savunma sanayii ve finans kurumları için doğrudan oyun değiştiricidir. 1,6 trilyon parametrelik bir yapay zekayı çalıştırmak için yüz GPU’luk bir küme kiralamak aylık yüz binlerce dolarlık sermaye yakımı anlamına gelirken, QMoE ile bu iş yükü tek bir 4x A6000 veya 8x RTX 3090 sunucusuna sığdırılabilmektedir.

Bu durum donanım sermaye harcamalarında (CapEx) doğrudan %90’ın üzerinde tasarruf sağlar. Özellikle trilyonluk modellerin devasa parametre kapasitesinden faydalanmak isteyen ancak veri gizliliği nedeniyle modelleri genel bulut API’lerine (OpenAI, Anthropic) gönderemeyen kurumlar, kendi veri merkezlerinde tüketici sınıfı GPU’larla devasa MoE modellerini barındırma imkanına kavuşur.

Özetle QMoE, trilyon parametreli modellerin süper bilgisayar tekelinden çıkarılıp ticari emtia donanımlarına indirilmesinin en çarpıcı mühendislik zaferidir. Eğer şirketiniz devasa bir MoE modelini üretimde barındırmayı hedefliyor ve donanım bütçesi bulamıyorsa, QMoE’nin 0,8 bitlik sıkıştırma ve anlık çözme çekirdeklerini kendi servis hattınıza uyarlamak, sunucu yatırım getirisini (ROI) katlayacak en sıra dışı çözümdür.

Kaynaklar

  1. arXiv:2310.16795 — QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models
  2. GitHub — IST-DASLab/qmoe Resmi Kod Deposu
  3. Hugging Face — IST-DASLab Sıkıştırılmış QMoE Model Deposu