vllm
11 bülten
Rastgele rotasyonların yarattığı 13 puanlık doğruluk sapmasını Cayley optimizasyonuyla öğrenilen ortogonal matrislerle ortadan kaldırarak W4A4KV4 kuantizasyonunu vLLM ve ExecuTorch uç cihaz hatlarına taşıyan yöntem.
KV önbelleğini tekil GPU süreçlerinin tekelinden çıkarıp CPU, yerel NVMe ve S3 katmanlarında dağıtık olarak paylaştıran ve tekrar eden bağlamlarda prefill maliyetini sıfırlayan açık kaynaklı ara katman mimarisi.
Küçük bir taslak model ile belirteç dizilerini önden tahmin edip büyük hedef modelde tek bir ileri geçişle doğrulayarak çıktı dağılımını bozmadan 3 kata kadar gecikme tasarrufu sağlayan algoritma.
CUDA sanal bellek yönetimini kullanarak KV önbelleğini sanal bellekte bitişik tutarken fiziksel belleği dinamik tahsis eden ve PagedAttention'ın özel çekirdek bağımlılığını ortadan kaldıran sistem mimarisi.
Kimi'nin arkasındaki üretim mimarisini açığa çıkaran, Prefill ve Decode aşamalarını ayrıştırıp küme genelindeki CPU, DRAM ve SSD kaynaklarını RDMA tabanlı devasa bir KV önbellek havuzuna dönüştüren ayrık servis platformu.
Heterojen KV cache düzenleri ve karmaşık dikkat mimarileri için birleşik kernel üreteci sunarak çıkarım motorlarını hızlandıran çalışma.
Birleşik sayfalama ve SGMV çekirdekleriyle tek bir GPU kümesinde binlerce eşzamanlı LoRA adaptörünü sunan çok kiracılı servis mimarisi analizi.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.