↑↓ gez · ↵ aç · esc kapat
Radar
2 bülten
Aktivasyon büyüklüklerine göre ağırlıkların en kritik yüzde birini ölçekleyerek koruyan ve 4-bit ağırlık kuantizasyonunu endüstri standardı yapan çalışma.
Ağırlıkları {-1, 0, 1} üçlü matrise indirgeyerek matmul çarpımlarını toplamaya dönüştüren ve CPU üzerinde LLM çıkarımını mümkün kılan çalışma.