sistem
33 bülten
Aktivasyonlardaki aykırı değerleri matematiksel bir eşdeğerlikle ağırlıklara aktararak büyük dil modellerinde W8A8 tam INT8 çıkarımını doğruluk kaybı olmadan ve donanım hızlandırmasıyla mümkün kılan post-training kuantizasyon yöntemi.
PPO'nun karmaşık dörtlü model mimarisini ve pekiştirmeli öğrenme dengesizliklerini analitik bir çapraz entropi kaybına indirgeyerek model hizalama maliyetlerini kökten düşüren algoritma.
Kümülatif dikkat skorlarına göre ağır sıklet token'ları koruyup önemsizleri tahliye ederek KV cache'i beşte birine indiren dinamik budama analizi.
POSIX meta verilerini Redis veya SQL'de tutup veri bloklarını S3'te saklayan ve yerel NVMe önbelleklemesiyle çalışan dağıtık dosya sistemi.
LXD çatalı olarak doğan, sistem konteynerleri (LXC) ile QEMU sanal makinelerini ZFS/OVN entegrasyonuyla tek bir API üzerinden yöneten modern hipervizör.
Sıfır bellek tahsisatlı protokol ayrıştırıcısı, kilitlenmesiz Radix ağacı ve gömülü Raft tabanlı JetStream ile saniyede 40 milyon mesaj ileten dağıtık mesajlaşma motoru.
İşletim sistemlerinin MLFQ zamanlayıcısını LLM çıkarımına uyarlayarak kısa isteklerin kuyrukta kilitlenmesini önleyen sistem analizi.
HPC ve yapay zeka kümelerinde root daemon ve setuid risklerini kaldırarak tek dosyalık SIF imajlarını yerel kullanıcı kimliğiyle çalıştıran konteyner çalışma zamanı.
Prefill ve decode aşamalarını ayrı GPU kümelerine dağıtarak karşılıklı kaynak parazitini önleyen ve sunucu kapasitesini dört katına çıkaran mimari analizi.
Birleşik sayfalama ve SGMV çekirdekleriyle tek bir GPU kümesinde binlerce eşzamanlı LoRA adaptörünü sunan çok kiracılı servis mimarisi analizi.
etcd yerine Kine ve SQLite kullanan, tüm Kubernetes kontrol düzlemini 60 MB'lık tek bir Go ikilisinde birleştiren hafif dağıtım.
Facebook Haystack mimarisiyle küçük dosyaların meta veri darboğazını çözen, O(1) disk erişimli ve ayrık Filer katmanlı dağıtık nesne depolama sistemi.
İstem sonundaki gözlem penceresinden kritik dikkat öbeklerini tek seferde yakalayıp KV cache'i sekiz kat sıkıştıran çalışma.
C++ ile yazılmış, vektörize edilmiş boru hattı yürütme motoru ve Morsel tabanlı paralellikle analitik sorgularda harici veritabanı ihtiyacını bitiren OLAP motoru.
FUSE dosya sistemiyle SQLite WAL işlemlerini sayfa düzeyinde yakalayıp LTX dosyalarıyla kümelere kopyalayan dağıtık replikasyon motoru.
İşletim sistemi sayfalandırmasını GPU HBM belleğine uyarlayan PagedAttention ve dinamik blok tablolarıyla LLM çıkarımında bellek israfını sıfırlayan motor.
RAG sistemlerinde dinamik doküman sıralamalarına rağmen KV cache'in yüzde seksen beşini yeniden kullanarak TTFT süresini dörde katlayan çalışma.
Tekrarlayan istem bileşenlerini modüler dikkat blokları halinde önbelleğe alarak ilk token gecikmesini onda bire indiren çalışma.
eBPF ve DWARF unwinding ile çerçeve göstergesi olmayan ikilileri çekirdek seviyesinde profille eden, FrostDB kolon tabanlı sürekli profil platformu.
C++ ve Seastar ile geliştirilmiş, thread-per-core mimarisi, yerel Raft konsensüsü ve Direct I/O ile JVM darboğazlarını yok eden akış platformu.
Zig ile yazılmış, statik bellek tahsisi, Direct I/O ve deterministik simülasyon testiyle çalışan yüksek güvenlikli finansal işlem veritabanı.
Cranelift derleyicisi ve sanal bellek koruma sayfalarıyla çalışan, sıfır dallanma ek yüküne sahip bağımsız WebAssembly çalışma zamanı.
Bağlam dizisini GPU halkasında P2P aktararak bellek sınırını kıran ve milyon token seviyesinde çıkarımı mümkün kılan dağıtık mimari analizi.
Rust ile geliştirilmiş, VFIO aygıt geçişi ve canlı geçiş desteğiyle bulut iş yüklerini modernize eden yeni nesil VMM.
Taban model ağırlıklarını dondurup düşük dereceli matrislerle parametreleri on bin kat küçülterek çok kiracılı LLM adaptasyonunu başlatan çalışma.
Rust ile geliştirilmiş, VRL dilini ve disk destekli hibrit tamponlama mimarisini kullanan yüksek verimli gözlemlenebilirlik veri boru hattı.
Uzun istemlerin prefill yükünü parçalayarak decode adımlarıyla eşzamanlı yürüten ve streaming gecikme patlamalarını önleyen zamanlayıcı analizi.
Linux KVM üzerinde çalışan, gereksiz aygıt taklitlerini budayarak milisaniyeler içinde açılan ve tam donanım yalıtımı sunan mikroVM monitörü.
Saf Rust ile yazılmış, WAL gerektirmeyen kopyala-yaz B-tree mimarisine ve MVCC desteğine sahip gömülü anahtar-değer veritabanı.
İşletim sistemlerinin sanal bellek sayfalama mantığını KV cache yönetimine uyarlayarak bellek israfını sıfırlayan ve vLLM motorunu doğuran temel çalışma.
Linux çekirdeğinde eBPF ile çalışan, kod değişikliği gerektirmeyen sıfır enstrümantasyonlu APM ve dağıtık gözlemlenebilirlik platformu.
Git uyumlu, birinci sınıf çakışma kaydı ve işlem günlüğü üzerine kurulu operasyonel geri alma kabiliyetli versiyon kontrol sistemi.
Redis ve Memcached uyumlu, paylaşımsız bellek mimarisi ve io_uring tabanlı fiber motoruyla dikey ölçeklenen modern bellek içi veritabanı.