vllm
6 bülten
Heterojen KV cache düzenleri ve karmaşık dikkat mimarileri için birleşik kernel üreteci sunarak çıkarım motorlarını hızlandıran çalışma.
Birleşik sayfalama ve SGMV çekirdekleriyle tek bir GPU kümesinde binlerce eşzamanlı LoRA adaptörünü sunan çok kiracılı servis mimarisi analizi.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.