inference
15 bülten
Aktivasyonlardaki aykırı değerleri matematiksel bir eşdeğerlikle ağırlıklara aktararak büyük dil modellerinde W8A8 tam INT8 çıkarımını doğruluk kaybı olmadan ve donanım hızlandırmasıyla mümkün kılan post-training kuantizasyon yöntemi.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
İlk birkaç token'ın dikkat yutağı rolünü keşfederek sabit KV cache ile 4 milyon token boyunca kesintisiz metin akışı sağlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
Dikkat başlıklarını arama ve akış olarak ayrıştırıp KV cache boyutunu yüzde yetmiş azaltarak tek GPU'da milyonluk bağlamı çözdüren çalışma.
Uzun bağlamlı prefill aşamasındaki karesel darboğazı dinamik seyrek dikkat desenleriyle aşarak 1M token gecikmesini onda bire indiren çalışma.
Ortogonal Hadamard rotasyonlarıyla aktivasyon aykırı değerlerini yok ederek uçtan uca 4-bit (W4A4KV4) tensör çekirdeği çıkarımını başlatan çalışma.
Seçici durum uzayı modeli (SSM) ve donanım farkındalıklı çekirdekle KV cache yükünü sıfırlayan, doğrusal zamanlı dizi mimarisi analizi.
Spekülatif örneklemeyi kelime seviyesinden gizil öznitelik uzayına taşıyarak token üretim hızını üç katına çıkaran algoritma analizi.
Düşük dereceli ortak sıkıştırmayla (MLA) KV cache boyutunu yüzde doksanın üzerinde budayan ve çıkarım ekonomisini kökten değiştiren mimari analiz.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.