RadarMakale Bülteniai üretimi

Makale Bülteni — SpinQuant

Rastgele rotasyonların yarattığı 13 puanlık doğruluk sapmasını Cayley optimizasyonuyla öğrenilen ortogonal matrislerle ortadan kaldırarak W4A4KV4 kuantizasyonunu vLLM ve ExecuTorch uç cihaz hatlarına taşıyan yöntem.

Meta (FAIR) araştırmacıları tarafından yayımlanan ve ICLR 2025 konferansında sunulan “SpinQuant: LLM Quantization with Learned Rotations” makalesi, 4-bit kuantizasyonda hem ağırlıkları hem aktivasyonları hem de KV önbelleğini (W4A4KV4) aynı anda sıkıştırırken yaşanan kalite çöküşünü hedef alıyor1. LLM’leri uç cihazlara veya ucuz sunuculara indirgemek için aktivasyonlardaki aykırı değerleri (outliers) bastırmak şarttır; ancak QuaRot gibi rastgele Hadamard rotasyonları uygulayan yöntemler, seçilen rastgele matrise bağlı olarak sıfır-atış (zero-shot) akıl yürütme görevlerinde 13 puana varan öngörülemez performans dalgalanmaları yaratıyordu. SpinQuant, rastgele zar atmak yerine Stiefel manifoldu üzerinde Cayley optimizasyonu kullanarak en uygun rotasyon matrislerini küçük bir kalibrasyon kümesiyle doğrudan öğreniyor. Pratikte bunun anlamı şudur: Çıkarım anında ek bir hesaplama maliyeti ödemeden, agresif 4-bit kuantize modelleri tam hassasiyetli (FP16) sürümlerine en yakın doğrulukla vLLM veya mobil ExecuTorch hatlarında çalıştırabilirsiniz.

Bu öğrenilmiş rotasyon yaklaşımının saha verileri üç temel metrikte özetleniyor: QuaRot’a kıyasla tam hassasiyetle arasındaki doğruluk farkını LLaMA-3 8B’de %45,1’e kadar kapatması, rotasyon optimizasyonu ve kıyaslamaların yürütüldüğü NVIDIA H100-80GB donanımı ve resmi GitHub deposundaki 428 yıldız, 30 açık issue ve 1 açık PR düzeyindeki topluluk ayak izi2.

İddia ve Gerçeklik: SpinQuant

Büyük dil modellerini W4A4KV4 gibi aşırı düşük bit genişliklerine indirmek, standart ölçekleme teknikleri için neredeyse imkansızdır; çünkü aktivasyonlardaki birkaç dev aykırı kanal tüm dinamik aralığı boğar1. Ortogonal rotasyon matrisleri bu enerjiyi tüm kanallara homojen dağıtarak aykırı değerleri törpüler ve matematiksel olarak ağın tam hassasiyetli çıktısını korur. Ancak SpinQuant yazarları kritik bir kusuru yakaladı: Her ortogonal rotasyon aynı kuantizasyon kalitesini vermiyor. Rastgele rotasyonlar uygulandığında aynı modelin farklı tohum (seed) değerleriyle 13 puanlık doğruluk farkı sergilemesi, üretim ortamları için kabul edilemez bir istikrarsızlıktır.

SpinQuant bu belirsizliği iki aşamalı bir kurguyla çözdü. İlk olarak ağ içinde tam hassasiyetli çıktıyı değiştirmeden önceki ve sonraki ağırlık matrisleriyle birleştirilebilen (mergeable) rotasyon noktalarını ($R_1, R_2$) belirledi; böylece çıkarım sırasında fazladan matris çarpımı ek yükü doğmadı. İkinci olarak bu rotasyon matrislerini rastgele bırakmak yerine, küçük bir doğrulama veri seti üzerinde Cayley SGD optimizasyonuyla eğitti. Sonuçta LLaMA-2 7B modelinde W4A4KV4 kuantizasyonunun tam hassasiyetle arasındaki fark yalnızca 2,9 puana indi; bu skor LLM-QAT yöntemini 19,1 puan, SmoothQuant’ı ise 25,0 puan geride bıraktı2.

Fakat bir CTO’nun göz ardı edemeyeceği çok ağır bir çevrimdışı bedel vardır: SpinQuant, QuaRot gibi “eğitimsiz ve anlık” (training-free) değildir. $R_1$ matrisi tüm dikkat ve FFN bloklarını etkilediği için rotasyonlar katman katman değil, tüm model GPU belleğine yüklenerek uçtan uca gradyan inişiyle optimize edilmek zorundadır. Akademik kıyaslamalarda da doğrulandığı üzere, Llama-3 70B için SpinQuant rotasyonlarını hesaplamak en az 4×NVIDIA H100-80GB GPU gerektirmektedir. Küçük bir edge ekibi için bu ön hazırlık maliyeti ciddi bir darboğazdır.

Kod ve Entegrasyon Haritası

Meta tarafından facebookresearch/SpinQuant deposunda paylaşılan kod tabanı, PyTorch 2.0+ üzerine kurulmuş temiz bir araştırma ve dışa aktarım çerçevesidir2. Depo, 10_optimize_rotation.sh betiğiyle rotasyon matrislerini optimize edip ardından GPTQ veya yuvarlama ile 4-bit ağırlık elde etmeyi sağlar. Ancak bağımlılık tarafında fast-hadamard-transform paketinin CUDA ile kaynak koddan derlenmesi şarttır; bu da eski CUDA sürümlerine sahip sunucularda derleme pürüzleri çıkarabilmektedir.

Buna rağmen açık kaynak ve üretim ekosistemindeki adaptasyon hızı son derece güçlüdür. vLLM projesinin resmi model sıkıştırma aracı olan llm-compressor, SpinQuant dönüşümlerini (modifiers.transform.spinquant) doğrudan bünyesine entegre ederek vLLM sunucu hatlarına hazır hale getirmiştir3. Öte yandan Meta, mobil ve uç cihaz çıkarım motoru ExecuTorch için 31_optimize_rotation_executorch.sh hattını doğrudan depoya ekleyerek 4-bit ağırlık ve 8-bit dinamik aktivasyonlu modellerin telefonlarda gerçek zamanlı hızlanmasını sağlamıştır. llama.cpp topluluğunda ise 6444 numaralı issue altında QuaRot ile birlikte SpinQuant rotasyonlarının GGUF formatına katkısı aktif biçimde tartışılmıştır4.

Yine de depo issue kayıtlarında (örneğin 35 numaralı kayıt) görüldüğü üzere, ExecuTorch dışa aktarım betikleri ile güncel kütüphane sürümleri arasında zaman zaman dokümantasyon ve sürüm uyumsuzlukları yaşanmaktadır. Üretimde ham araştırma betikleri yerine llm-compressor veya güncel ExecuTorch sürümlerini kullanmak operasyonel riski azaltır.

Ticari Etki: Kimin İşine Yarar?

SpinQuant’ın ticari etkisi iki zıt uçta değer üretir: Mobil cihazlarda (akıllı telefonlar, AR/VR gözlükler, yerel bilgisayarlar) çevrimdışı yapay zeka çalıştıran uygulamalar ve yüksek eşzamanlı W4A4 çıkarım hedefleyen bulut servis sağlayıcıları. ExecuTorch entegrasyonu sayesinde 8 milyar parametreli Llama-3 modelleri, doğruluk çöküşü yaşamadan 4-bit formatında doğrudan telefon NPU ve CPU’larına sığdırılabilmektedir2. Bu durum, bulut API faturası ödemeden yerel çalışan sesli asistanlar ve gizlilik odaklı mobil ürünler geliştirme şansı verir.

Veri merkezi tarafında ise W4A4KV4 kuantizasyonunun LLaMA-3 8B gibi sıkıştırmaya dirençli modellerde tam hassasiyete %45,1 daha yakın kalması, sunucu ekiplerinin 8-bit yerine 4-bit tensör çekirdeklerine (Blackwell FP4 veya INT4) güvenle geçebilmesini sağlar1. Aynı GPU kümesinde hem ağırlıkları hem KV önbelleğini yarıya indirmek, bellek kapasitesini iki katına çıkararak donanım amortismanını hızlandırır.

Özetle SpinQuant, rastgele rotasyonların yarattığı kalite kumarını ortadan kaldıran olgun bir sıkıştırma standardıdır. Eğer elinizde rotasyonları bir kez optimize edecek H100 bütçeniz (veya kiralık geçici kümeniz) varsa ve ardından modeli milyonlarca uç cihaza ya da vLLM sunucusuna dağıtacaksanız, SpinQuant’ın ön hazırlık maliyetine kesinlikle değer.

Kaynaklar

  1. arXiv:2405.16406 — SpinQuant: LLM Quantization with Learned Rotations
  2. GitHub — facebookresearch/SpinQuant Resmi Kod Deposu
  3. vLLM Docs — LLM Compressor SpinQuant Modifier Referansı
  4. GitHub Issue #6444 — llama.cpp QuaRot ve SpinQuant Tartışması