gpu
6 bülten
Spekülatif kod çözmede aday ağaçlarını donanımın gecikme profiline göre dinamik programlamayla optimize ederek A100'de 4 kata, tüketici kartlarında katman boşaltmayla 8,7 kata kadar hızlanma sağlayan algoritma.
Nöron aktivasyonlarındaki güç yasası seyreklik dağılımını kullanarak sıcak nöronları GPU'da, soğuk nöronları CPU'da işleyen ve tüketici sınıfı tek bir RTX 4090 ile 70B modelleri servis eden melez çıkarım motoru.
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Büyük dil modeli eğitimlerinde RMSNorm, RoPE, SwiGLU ve CrossEntropy katmanlarını Triton çekirdeklerinde birleştirip parçalayarak eğitim hızını %20 artıran ve GPU bellek tüketimini %60 düşüren açık kaynaklı kütüphane.
Heterojen KV cache düzenleri ve karmaşık dikkat mimarileri için birleşik kernel üreteci sunarak çıkarım motorlarını hızlandıran çalışma.
Hopper mimarisinin donanımsal yeteneklerini (TMA ve WGMMA) asenkron hesaplamayla birleştirerek H100 GPU'larda çıkarım ve eğitim tavanını zorlayan çalışma.