latency
13 bülten
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
Prefill ve decode aşamalarını ayrı GPU kümelerine dağıtarak karşılıklı kaynak parazitini önleyen ve sunucu kapasitesini dört katına çıkaran mimari analizi.
Whisper'ın otuz saniyelik sıfır doldurma zorunluluğunu kırıp ses süresiyle orantılı hesaplamayla kenar cihazlarda gerçek zamanlı ASR sunan mimari analizi.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
Uzun bağlamlı prefill aşamasındaki karesel darboğazı dinamik seyrek dikkat desenleriyle aşarak 1M token gecikmesini onda bire indiren çalışma.
FP16xINT4 karışık hassasiyetli matris çarpımını donanımsal bellek sınırına ulaştırarak 4-bit LLM çıkarımında teorik hız tavanını yakalayan kernel analizi.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
Spekülatif örneklemeyi kelime seviyesinden gizil öznitelik uzayına taşıyarak token üretim hızını üç katına çıkaran algoritma analizi.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
Hopper mimarisinin donanımsal yeteneklerini (TMA ve WGMMA) asenkron hesaplamayla birleştirerek H100 GPU'larda çıkarım ve eğitim tavanını zorlayan çalışma.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.