edge
3 bülten
Whisper'ın otuz saniyelik sıfır doldurma zorunluluğunu kırıp ses süresiyle orantılı hesaplamayla kenar cihazlarda gerçek zamanlı ASR sunan mimari analizi.
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
Ağırlıkları {-1, 0, 1} üçlü matrise indirgeyerek matmul çarpımlarını toplamaya dönüştüren ve CPU üzerinde LLM çıkarımını mümkün kılan çalışma.