memory
22 bülten
Vektör veri tabanlarındaki Çoklu Kod Kitabı Kuantizasyonunu (MCQ) dil modellerine uyarlayarak 2-bit seviyesinde dahi doğruluk sınırını koruyan ve belleği 8 kata kadar küçülten sıkıştırma algoritması.
Büyük dil modellerinde ortaya çıkan aykırı aktivasyon kanallarını karma hassasiyetli vektör ayrışımıyla izole ederek 175 milyar parametrelik modellerde VRAM ihtiyacını sıfır kayıpla yarıya indiren açık kaynaklı kuantizasyon standardı.
Uzun bağlamlı modellerde spekülatif kod çözmeyi hiyerarşik iki kademeli taslak mimarisi ve dinamik seyrek KV önbelleğiyle birleştirerek 128K sekans üretimini 7,8 kata kadar hızlandıran kayıpsız sistem.
Nöron aktivasyonlarındaki güç yasası seyreklik dağılımını kullanarak sıcak nöronları GPU'da, soğuk nöronları CPU'da işleyen ve tüketici sınıfı tek bir RTX 4090 ile 70B modelleri servis eden melez çıkarım motoru.
Trilyon parametreli MoE modellerini parametre başına 0,8 bit seviyesine sıkıştırarak 3,2 terabaytlık bellek ihtiyacını 160 gigabayta indiren ve tek bir sunucuda çalıştıran sıkıştırma mimarisi.
Anahtar tensörlerini kanal bazlı, değer tensörlerini belirteç bazlı asimetrik 2-bit formatında kuantize ederek KV önbellek belleğini 2,6 kat küçülten ve yeniden eğitim gerektirmeyen çıkarım algoritması.
CUDA sanal bellek yönetimini kullanarak KV önbelleğini sanal bellekte bitişik tutarken fiziksel belleği dinamik tahsis eden ve PagedAttention'ın özel çekirdek bağımlılığını ortadan kaldıran sistem mimarisi.
İkinci dereceden Hessian matrisi yaklaşımıyla 175 milyar parametrelik modelleri saatler içinde 4-bit hassasiyetine indirgeyerek tek bir GPU'da kayıpsız servis edilmesini sağlayan post-training kuantizasyon standardı.
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Büyük dil modeli eğitimlerinde RMSNorm, RoPE, SwiGLU ve CrossEntropy katmanlarını Triton çekirdeklerinde birleştirip parçalayarak eğitim hızını %20 artıran ve GPU bellek tüketimini %60 düşüren açık kaynaklı kütüphane.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
Kaydırmalı seyrek dikkatle (S2-Attn) eğitim maliyetini katlamadan 7B modelleri tek sunucuda 100k bağlama genişleten sistem çalışması analizi.
Kritik aykırı ağırlıkları FP16'da izole edip kalanları 3-bit'e sıkıştırarak tek GPU'da kayıpsız model çalıştıran hibrit seyreklik analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
İlk birkaç token'ın dikkat yutağı rolünü keşfederek sabit KV cache ile 4 milyon token boyunca kesintisiz metin akışı sağlayan çalışma.
Gradyan matrisini düşük dereceli alt uzaya yansıtarak optimizer bellek yükünü yüzde altmış beş azaltan ve tek GPU'da 7B ön eğitimini mümkün kılan çalışma.
Dikkat başlıklarını arama ve akış olarak ayrıştırıp KV cache boyutunu yüzde yetmiş azaltarak tek GPU'da milyonluk bağlamı çözdüren çalışma.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.
Düşük dereceli ortak sıkıştırmayla (MLA) KV cache boyutunu yüzde doksanın üzerinde budayan ve çıkarım ekonomisini kökten değiştiren mimari analiz.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.