memory
14 bülten
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Büyük dil modeli eğitimlerinde RMSNorm, RoPE, SwiGLU ve CrossEntropy katmanlarını Triton çekirdeklerinde birleştirip parçalayarak eğitim hızını %20 artıran ve GPU bellek tüketimini %60 düşüren açık kaynaklı kütüphane.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
Kaydırmalı seyrek dikkatle (S2-Attn) eğitim maliyetini katlamadan 7B modelleri tek sunucuda 100k bağlama genişleten sistem çalışması analizi.
Kritik aykırı ağırlıkları FP16'da izole edip kalanları 3-bit'e sıkıştırarak tek GPU'da kayıpsız model çalıştıran hibrit seyreklik analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
İlk birkaç token'ın dikkat yutağı rolünü keşfederek sabit KV cache ile 4 milyon token boyunca kesintisiz metin akışı sağlayan çalışma.
Gradyan matrisini düşük dereceli alt uzaya yansıtarak optimizer bellek yükünü yüzde altmış beş azaltan ve tek GPU'da 7B ön eğitimini mümkün kılan çalışma.
Dikkat başlıklarını arama ve akış olarak ayrıştırıp KV cache boyutunu yüzde yetmiş azaltarak tek GPU'da milyonluk bağlamı çözdüren çalışma.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.
Düşük dereceli ortak sıkıştırmayla (MLA) KV cache boyutunu yüzde doksanın üzerinde budayan ve çıkarım ekonomisini kökten değiştiren mimari analiz.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.