latency
17 bülten
Spekülatif kod çözmede aday ağaçlarını donanımın gecikme profiline göre dinamik programlamayla optimize ederek A100'de 4 kata, tüketici kartlarında katman boşaltmayla 8,7 kata kadar hızlanma sağlayan algoritma.
Uzun bağlamlı modellerde spekülatif kod çözmeyi hiyerarşik iki kademeli taslak mimarisi ve dinamik seyrek KV önbelleğiyle birleştirerek 128K sekans üretimini 7,8 kata kadar hızlandıran kayıpsız sistem.
İkinci bir taslak modele ya da ek eğitime ihtiyaç duymadan Jacobi sabit nokta iterasyonuyla tek ileri geçişte çoklu belirteç üretip doğrulayarak LLM çıkarım gecikmesini 2,3 kata kadar düşüren algoritma.
Küçük bir taslak model ile belirteç dizilerini önden tahmin edip büyük hedef modelde tek bir ileri geçişle doğrulayarak çıktı dağılımını bozmadan 3 kata kadar gecikme tasarrufu sağlayan algoritma.
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
Prefill ve decode aşamalarını ayrı GPU kümelerine dağıtarak karşılıklı kaynak parazitini önleyen ve sunucu kapasitesini dört katına çıkaran mimari analizi.
Whisper'ın otuz saniyelik sıfır doldurma zorunluluğunu kırıp ses süresiyle orantılı hesaplamayla kenar cihazlarda gerçek zamanlı ASR sunan mimari analizi.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
Uzun bağlamlı prefill aşamasındaki karesel darboğazı dinamik seyrek dikkat desenleriyle aşarak 1M token gecikmesini onda bire indiren çalışma.
FP16xINT4 karışık hassasiyetli matris çarpımını donanımsal bellek sınırına ulaştırarak 4-bit LLM çıkarımında teorik hız tavanını yakalayan kernel analizi.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
Spekülatif örneklemeyi kelime seviyesinden gizil öznitelik uzayına taşıyarak token üretim hızını üç katına çıkaran algoritma analizi.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
Hopper mimarisinin donanımsal yeteneklerini (TMA ve WGMMA) asenkron hesaplamayla birleştirerek H100 GPU'larda çıkarım ve eğitim tavanını zorlayan çalışma.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.