inference
27 bülten
Vektör veri tabanlarındaki Çoklu Kod Kitabı Kuantizasyonunu (MCQ) dil modellerine uyarlayarak 2-bit seviyesinde dahi doğruluk sınırını koruyan ve belleği 8 kata kadar küçülten sıkıştırma algoritması.
Spekülatif kod çözmede aday ağaçlarını donanımın gecikme profiline göre dinamik programlamayla optimize ederek A100'de 4 kata, tüketici kartlarında katman boşaltmayla 8,7 kata kadar hızlanma sağlayan algoritma.
Büyük dil modellerinde ortaya çıkan aykırı aktivasyon kanallarını karma hassasiyetli vektör ayrışımıyla izole ederek 175 milyar parametrelik modellerde VRAM ihtiyacını sıfır kayıpla yarıya indiren açık kaynaklı kuantizasyon standardı.
Uzun bağlamlı modellerde spekülatif kod çözmeyi hiyerarşik iki kademeli taslak mimarisi ve dinamik seyrek KV önbelleğiyle birleştirerek 128K sekans üretimini 7,8 kata kadar hızlandıran kayıpsız sistem.
Nöron aktivasyonlarındaki güç yasası seyreklik dağılımını kullanarak sıcak nöronları GPU'da, soğuk nöronları CPU'da işleyen ve tüketici sınıfı tek bir RTX 4090 ile 70B modelleri servis eden melez çıkarım motoru.
İkinci bir taslak modele ya da ek eğitime ihtiyaç duymadan Jacobi sabit nokta iterasyonuyla tek ileri geçişte çoklu belirteç üretip doğrulayarak LLM çıkarım gecikmesini 2,3 kata kadar düşüren algoritma.
KV önbelleğini tekil GPU süreçlerinin tekelinden çıkarıp CPU, yerel NVMe ve S3 katmanlarında dağıtık olarak paylaştıran ve tekrar eden bağlamlarda prefill maliyetini sıfırlayan açık kaynaklı ara katman mimarisi.
Anahtar tensörlerini kanal bazlı, değer tensörlerini belirteç bazlı asimetrik 2-bit formatında kuantize ederek KV önbellek belleğini 2,6 kat küçülten ve yeniden eğitim gerektirmeyen çıkarım algoritması.
Küçük bir taslak model ile belirteç dizilerini önden tahmin edip büyük hedef modelde tek bir ileri geçişle doğrulayarak çıktı dağılımını bozmadan 3 kata kadar gecikme tasarrufu sağlayan algoritma.
Dikkat mekanizmasındaki matris çarpımlarını INT8 ve FP8 hibrit kuantizasyonuyla hızlandırarak FlashAttention-2'ye kıyasla 2,1 kata varan hızlanma ve sıfır doğruluk kaybı sağlayan açık kaynaklı çekirdek.
İkinci dereceden Hessian matrisi yaklaşımıyla 175 milyar parametrelik modelleri saatler içinde 4-bit hassasiyetine indirgeyerek tek bir GPU'da kayıpsız servis edilmesini sağlayan post-training kuantizasyon standardı.
Kimi'nin arkasındaki üretim mimarisini açığa çıkaran, Prefill ve Decode aşamalarını ayrıştırıp küme genelindeki CPU, DRAM ve SSD kaynaklarını RDMA tabanlı devasa bir KV önbellek havuzuna dönüştüren ayrık servis platformu.
Aktivasyonlardaki aykırı değerleri matematiksel bir eşdeğerlikle ağırlıklara aktararak büyük dil modellerinde W8A8 tam INT8 çıkarımını doğruluk kaybı olmadan ve donanım hızlandırmasıyla mümkün kılan post-training kuantizasyon yöntemi.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
İlk birkaç token'ın dikkat yutağı rolünü keşfederek sabit KV cache ile 4 milyon token boyunca kesintisiz metin akışı sağlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
Dikkat başlıklarını arama ve akış olarak ayrıştırıp KV cache boyutunu yüzde yetmiş azaltarak tek GPU'da milyonluk bağlamı çözdüren çalışma.
Uzun bağlamlı prefill aşamasındaki karesel darboğazı dinamik seyrek dikkat desenleriyle aşarak 1M token gecikmesini onda bire indiren çalışma.
Ortogonal Hadamard rotasyonlarıyla aktivasyon aykırı değerlerini yok ederek uçtan uca 4-bit (W4A4KV4) tensör çekirdeği çıkarımını başlatan çalışma.
Seçici durum uzayı modeli (SSM) ve donanım farkındalıklı çekirdekle KV cache yükünü sıfırlayan, doğrusal zamanlı dizi mimarisi analizi.
Spekülatif örneklemeyi kelime seviyesinden gizil öznitelik uzayına taşıyarak token üretim hızını üç katına çıkaran algoritma analizi.
Düşük dereceli ortak sıkıştırmayla (MLA) KV cache boyutunu yüzde doksanın üzerinde budayan ve çıkarım ekonomisini kökten değiştiren mimari analiz.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.