56Radar
Makale Bülteni
Akademik yapay zekâ ve bilgisayar bilimleri makalelerinin üretim ortamına uygulanabilirliğini, kod kalitesini ve getireceği maliyet avantajlarını irdeleyen bülten.
Denetimli ince ayar (SFT) ile tercih hizalamasını referans modele ihtiyaç duymadan tek bir kayıp fonksiyonunda birleştirerek hizalama eğitimlerinin GPU belleğini ve süresini yarıya indiren monolitik optimizasyon.
Vektör veri tabanlarındaki Çoklu Kod Kitabı Kuantizasyonunu (MCQ) dil modellerine uyarlayarak 2-bit seviyesinde dahi doğruluk sınırını koruyan ve belleği 8 kata kadar küçülten sıkıştırma algoritması.
Rastgele rotasyonların yarattığı 13 puanlık doğruluk sapmasını Cayley optimizasyonuyla öğrenilen ortogonal matrislerle ortadan kaldırarak W4A4KV4 kuantizasyonunu vLLM ve ExecuTorch uç cihaz hatlarına taşıyan yöntem.
Spekülatif kod çözmede aday ağaçlarını donanımın gecikme profiline göre dinamik programlamayla optimize ederek A100'de 4 kata, tüketici kartlarında katman boşaltmayla 8,7 kata kadar hızlanma sağlayan algoritma.
Büyük dil modellerinde ortaya çıkan aykırı aktivasyon kanallarını karma hassasiyetli vektör ayrışımıyla izole ederek 175 milyar parametrelik modellerde VRAM ihtiyacını sıfır kayıpla yarıya indiren açık kaynaklı kuantizasyon standardı.
LoRA adaptörlerindeki sabit rank kısıtını tekil değer ayrışımı (SVD) ve dinamik önem puanlamasıyla esneterek parametre bütçesini kritik katmanlara uyarlamalı dağıtan açık kaynaklı ince ayar standardı.
Uzun bağlamlı modellerde spekülatif kod çözmeyi hiyerarşik iki kademeli taslak mimarisi ve dinamik seyrek KV önbelleğiyle birleştirerek 128K sekans üretimini 7,8 kata kadar hızlandıran kayıpsız sistem.
Nöron aktivasyonlarındaki güç yasası seyreklik dağılımını kullanarak sıcak nöronları GPU'da, soğuk nöronları CPU'da işleyen ve tüketici sınıfı tek bir RTX 4090 ile 70B modelleri servis eden melez çıkarım motoru.
Trilyon parametreli MoE modellerini parametre başına 0,8 bit seviyesine sıkıştırarak 3,2 terabaytlık bellek ihtiyacını 160 gigabayta indiren ve tek bir sunucuda çalıştıran sıkıştırma mimarisi.
Uzmanları ince taneli alt uzmanlara bölüp ortak bilgiyi sabit paylaşılan uzmanlarda izole ederek hesaplama maliyetini %40'a düşüren ve DeepSeek mimari devrimini başlatan açık kaynaklı MoE tasarımı.
İkinci bir taslak modele ya da ek eğitime ihtiyaç duymadan Jacobi sabit nokta iterasyonuyla tek ileri geçişte çoklu belirteç üretip doğrulayarak LLM çıkarım gecikmesini 2,3 kata kadar düşüren algoritma.
Durum uzay modelleri ile dikkat mekanizmasını matematiksel olarak birleştiren Yapılandırılmış Durum Uzayı İkiliği (SSD) sayesinde tensör çekirdeklerini tam verimle kullanan ve eğitimi 8 kata kadar hızlandıran mimari.
Uzmanlar karması (MoE) modellerinde belirteç düşürme ve sıfır dolgulama zorunluluğunu blok seyrek matris çarpımlarıyla ortadan kaldırarak eğitimi 2,4 kata kadar hızlandıran açık kaynaklı dMoE mimarisi.
KV önbelleğini tekil GPU süreçlerinin tekelinden çıkarıp CPU, yerel NVMe ve S3 katmanlarında dağıtık olarak paylaştıran ve tekrar eden bağlamlarda prefill maliyetini sıfırlayan açık kaynaklı ara katman mimarisi.
Anahtar tensörlerini kanal bazlı, değer tensörlerini belirteç bazlı asimetrik 2-bit formatında kuantize ederek KV önbellek belleğini 2,6 kat küçülten ve yeniden eğitim gerektirmeyen çıkarım algoritması.
Küçük bir taslak model ile belirteç dizilerini önden tahmin edip büyük hedef modelde tek bir ileri geçişle doğrulayarak çıktı dağılımını bozmadan 3 kata kadar gecikme tasarrufu sağlayan algoritma.
Dikkat mekanizmasındaki matris çarpımlarını INT8 ve FP8 hibrit kuantizasyonuyla hızlandırarak FlashAttention-2'ye kıyasla 2,1 kata varan hızlanma ve sıfır doğruluk kaybı sağlayan açık kaynaklı çekirdek.
CUDA sanal bellek yönetimini kullanarak KV önbelleğini sanal bellekte bitişik tutarken fiziksel belleği dinamik tahsis eden ve PagedAttention'ın özel çekirdek bağımlılığını ortadan kaldıran sistem mimarisi.
İkinci dereceden Hessian matrisi yaklaşımıyla 175 milyar parametrelik modelleri saatler içinde 4-bit hassasiyetine indirgeyerek tek bir GPU'da kayıpsız servis edilmesini sağlayan post-training kuantizasyon standardı.
Kimi'nin arkasındaki üretim mimarisini açığa çıkaran, Prefill ve Decode aşamalarını ayrıştırıp küme genelindeki CPU, DRAM ve SSD kaynaklarını RDMA tabanlı devasa bir KV önbellek havuzuna dönüştüren ayrık servis platformu.
Aktivasyonlardaki aykırı değerleri matematiksel bir eşdeğerlikle ağırlıklara aktararak büyük dil modellerinde W8A8 tam INT8 çıkarımını doğruluk kaybı olmadan ve donanım hızlandırmasıyla mümkün kılan post-training kuantizasyon yöntemi.
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Büyük dil modeli eğitimlerinde RMSNorm, RoPE, SwiGLU ve CrossEntropy katmanlarını Triton çekirdeklerinde birleştirip parçalayarak eğitim hızını %20 artıran ve GPU bellek tüketimini %60 düşüren açık kaynaklı kütüphane.
PPO'nun karmaşık dörtlü model mimarisini ve pekiştirmeli öğrenme dengesizliklerini analitik bir çapraz entropi kaybına indirgeyerek model hizalama maliyetlerini kökten düşüren algoritma.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
Heterojen KV cache düzenleri ve karmaşık dikkat mimarileri için birleşik kernel üreteci sunarak çıkarım motorlarını hızlandıran çalışma.
Kaydırmalı seyrek dikkatle (S2-Attn) eğitim maliyetini katlamadan 7B modelleri tek sunucuda 100k bağlama genişleten sistem çalışması analizi.
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
Prefill ve decode aşamalarını ayrı GPU kümelerine dağıtarak karşılıklı kaynak parazitini önleyen ve sunucu kapasitesini dört katına çıkaran mimari analizi.
Kritik aykırı ağırlıkları FP16'da izole edip kalanları 3-bit'e sıkıştırarak tek GPU'da kayıpsız model çalıştıran hibrit seyreklik analizi.
Birleşik sayfalama ve SGMV çekirdekleriyle tek bir GPU kümesinde binlerce eşzamanlı LoRA adaptörünü sunan çok kiracılı servis mimarisi analizi.
Whisper'ın otuz saniyelik sıfır doldurma zorunluluğunu kırıp ses süresiyle orantılı hesaplamayla kenar cihazlarda gerçek zamanlı ASR sunan mimari analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
Ayrı bir taslak model ihtiyacını kaldırıp çoklu başlık ve ağaç dikkatiyle token üretim hızını üç katına çıkaran spekülatif çıkarım analizi.
İlk birkaç token'ın dikkat yutağı rolünü keşfederek sabit KV cache ile 4 milyon token boyunca kesintisiz metin akışı sağlayan çalışma.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
Gradyan matrisini düşük dereceli alt uzaya yansıtarak optimizer bellek yükünü yüzde altmış beş azaltan ve tek GPU'da 7B ön eğitimini mümkün kılan çalışma.
Dikkat başlıklarını arama ve akış olarak ayrıştırıp KV cache boyutunu yüzde yetmiş azaltarak tek GPU'da milyonluk bağlamı çözdüren çalışma.
Uzun bağlamlı prefill aşamasındaki karesel darboğazı dinamik seyrek dikkat desenleriyle aşarak 1M token gecikmesini onda bire indiren çalışma.
Referans modeli ortadan kaldırıp uzunluk normalize edilmiş ödül marjıyla LLM hizalamasında bellek ihtiyacını yarıya indiren optimizasyon analizi.
Ortogonal Hadamard rotasyonlarıyla aktivasyon aykırı değerlerini yok ederek uçtan uca 4-bit (W4A4KV4) tensör çekirdeği çıkarımını başlatan çalışma.
Seçici durum uzayı modeli (SSM) ve donanım farkındalıklı çekirdekle KV cache yükünü sıfırlayan, doğrusal zamanlı dizi mimarisi analizi.
Model ağırlıklarını büyüklük ve yön olarak ayrıştırıp LoRA'nın kapasite tavanını kıran ve tam ince ayar başarımı sunan adaptasyon analizi.
Bağlam dizisini GPU halkasında P2P aktararak bellek sınırını kıran ve milyon token seviyesinde çıkarımı mümkün kılan dağıtık mimari analizi.
Taban model ağırlıklarını dondurup düşük dereceli matrislerle parametreleri on bin kat küçülterek çok kiracılı LLM adaptasyonunu başlatan çalışma.
FP16xINT4 karışık hassasiyetli matris çarpımını donanımsal bellek sınırına ulaştırarak 4-bit LLM çıkarımında teorik hız tavanını yakalayan kernel analizi.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
Spekülatif örneklemeyi kelime seviyesinden gizil öznitelik uzayına taşıyarak token üretim hızını üç katına çıkaran algoritma analizi.
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.
Düşük dereceli ortak sıkıştırmayla (MLA) KV cache boyutunu yüzde doksanın üzerinde budayan ve çıkarım ekonomisini kökten değiştiren mimari analiz.
Ağırlıkları {-1, 0, 1} üçlü matrise indirgeyerek matmul çarpımlarını toplamaya dönüştüren ve CPU üzerinde LLM çıkarımını mümkün kılan çalışma.
Hopper mimarisinin donanımsal yeteneklerini (TMA ve WGMMA) asenkron hesaplamayla birleştirerek H100 GPU'larda çıkarım ve eğitim tavanını zorlayan çalışma.
Radix trie tabanlı dinamik KV cache yönetimiyle çok turlu ve yapısal LLM üretiminde gecikmeyi ve VRAM israfını minimize eden çalışma.