gpu
4 bülten
4-bit NormalFloat, çift kuantizasyon ve sayfalanmış bellek mimarisiyle 65 milyar parametrelik modelleri tek bir 48 GB GPU üzerinde doğruluk kaybı olmadan eğitmeyi sağlayan açık kaynaklı kuantize ince ayar standardı.
Büyük dil modeli eğitimlerinde RMSNorm, RoPE, SwiGLU ve CrossEntropy katmanlarını Triton çekirdeklerinde birleştirip parçalayarak eğitim hızını %20 artıran ve GPU bellek tüketimini %60 düşüren açık kaynaklı kütüphane.
Heterojen KV cache düzenleri ve karmaşık dikkat mimarileri için birleşik kernel üreteci sunarak çıkarım motorlarını hızlandıran çalışma.
Hopper mimarisinin donanımsal yeteneklerini (TMA ve WGMMA) asenkron hesaplamayla birleştirerek H100 GPU'larda çıkarım ve eğitim tavanını zorlayan çalışma.