compute
11 bülten
Denetimli ince ayar (SFT) ile tercih hizalamasını referans modele ihtiyaç duymadan tek bir kayıp fonksiyonunda birleştirerek hizalama eğitimlerinin GPU belleğini ve süresini yarıya indiren monolitik optimizasyon.
LoRA adaptörlerindeki sabit rank kısıtını tekil değer ayrışımı (SVD) ve dinamik önem puanlamasıyla esneterek parametre bütçesini kritik katmanlara uyarlamalı dağıtan açık kaynaklı ince ayar standardı.
Uzmanları ince taneli alt uzmanlara bölüp ortak bilgiyi sabit paylaşılan uzmanlarda izole ederek hesaplama maliyetini %40'a düşüren ve DeepSeek mimari devrimini başlatan açık kaynaklı MoE tasarımı.
İkinci bir taslak modele ya da ek eğitime ihtiyaç duymadan Jacobi sabit nokta iterasyonuyla tek ileri geçişte çoklu belirteç üretip doğrulayarak LLM çıkarım gecikmesini 2,3 kata kadar düşüren algoritma.
Durum uzay modelleri ile dikkat mekanizmasını matematiksel olarak birleştiren Yapılandırılmış Durum Uzayı İkiliği (SSD) sayesinde tensör çekirdeklerini tam verimle kullanan ve eğitimi 8 kata kadar hızlandıran mimari.
Uzmanlar karması (MoE) modellerinde belirteç düşürme ve sıfır dolgulama zorunluluğunu blok seyrek matris çarpımlarıyla ortadan kaldırarak eğitimi 2,4 kata kadar hızlandıran açık kaynaklı dMoE mimarisi.
Kaydırmalı seyrek dikkatle (S2-Attn) eğitim maliyetini katlamadan 7B modelleri tek sunucuda 100k bağlama genişleten sistem çalışması analizi.
Gradyan matrisini düşük dereceli alt uzaya yansıtarak optimizer bellek yükünü yüzde altmış beş azaltan ve tek GPU'da 7B ön eğitimini mümkün kılan çalışma.
Referans modeli ortadan kaldırıp uzunluk normalize edilmiş ödül marjıyla LLM hizalamasında bellek ihtiyacını yarıya indiren optimizasyon analizi.
Bağlam dizisini GPU halkasında P2P aktararak bellek sınırını kıran ve milyon token seviyesinde çıkarımı mümkün kılan dağıtık mimari analizi.
Ağırlıkları {-1, 0, 1} üçlü matrise indirgeyerek matmul çarpımlarını toplamaya dönüştüren ve CPU üzerinde LLM çıkarımını mümkün kılan çalışma.