quantization
14 bülten
Vektör veri tabanlarındaki Çoklu Kod Kitabı Kuantizasyonunu (MCQ) dil modellerine uyarlayarak 2-bit seviyesinde dahi doğruluk sınırını koruyan ve belleği 8 kata kadar küçülten sıkıştırma algoritması.
Rastgele rotasyonların yarattığı 13 puanlık doğruluk sapmasını Cayley optimizasyonuyla öğrenilen ortogonal matrislerle ortadan kaldırarak W4A4KV4 kuantizasyonunu vLLM ve ExecuTorch uç cihaz hatlarına taşıyan yöntem.
Büyük dil modellerinde ortaya çıkan aykırı aktivasyon kanallarını karma hassasiyetli vektör ayrışımıyla izole ederek 175 milyar parametrelik modellerde VRAM ihtiyacını sıfır kayıpla yarıya indiren açık kaynaklı kuantizasyon standardı.
Trilyon parametreli MoE modellerini parametre başına 0,8 bit seviyesine sıkıştırarak 3,2 terabaytlık bellek ihtiyacını 160 gigabayta indiren ve tek bir sunucuda çalıştıran sıkıştırma mimarisi.
Anahtar tensörlerini kanal bazlı, değer tensörlerini belirteç bazlı asimetrik 2-bit formatında kuantize ederek KV önbellek belleğini 2,6 kat küçülten ve yeniden eğitim gerektirmeyen çıkarım algoritması.
Dikkat mekanizmasındaki matris çarpımlarını INT8 ve FP8 hibrit kuantizasyonuyla hızlandırarak FlashAttention-2'ye kıyasla 2,1 kata varan hızlanma ve sıfır doğruluk kaybı sağlayan açık kaynaklı çekirdek.
İkinci dereceden Hessian matrisi yaklaşımıyla 175 milyar parametrelik modelleri saatler içinde 4-bit hassasiyetine indirgeyerek tek bir GPU'da kayıpsız servis edilmesini sağlayan post-training kuantizasyon standardı.
Aktivasyonlardaki aykırı değerleri matematiksel bir eşdeğerlikle ağırlıklara aktararak büyük dil modellerinde W8A8 tam INT8 çıkarımını doğruluk kaybı olmadan ve donanım hızlandırmasıyla mümkün kılan post-training kuantizasyon yöntemi.
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Kritik aykırı ağırlıkları FP16'da izole edip kalanları 3-bit'e sıkıştırarak tek GPU'da kayıpsız model çalıştıran hibrit seyreklik analizi.
Ortogonal Hadamard rotasyonlarıyla aktivasyon aykırı değerlerini yok ederek uçtan uca 4-bit (W4A4KV4) tensör çekirdeği çıkarımını başlatan çalışma.
FP16xINT4 karışık hassasiyetli matris çarpımını donanımsal bellek sınırına ulaştırarak 4-bit LLM çıkarımında teorik hız tavanını yakalayan kernel analizi.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
Ağırlıkları {-1, 0, 1} üçlü matrise indirgeyerek matmul çarpımlarını toplamaya dönüştüren ve CPU üzerinde LLM çıkarımını mümkün kılan çalışma.