Makale Bülteni — PowerInfer
Nöron aktivasyonlarındaki güç yasası seyreklik dağılımını kullanarak sıcak nöronları GPU'da, soğuk nöronları CPU'da işleyen ve tüketici sınıfı tek bir RTX 4090 ile 70B modelleri servis eden melez çıkarım motoru.
Şanghay Jiao Tong Üniversitesi (SJTU-IPADS) araştırmacıları tarafından yayımlanan ve ASPLOS 2024 konferansında kabul gören “PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU” makalesi, 70 milyar parametrelik büyük modelleri tek bir tüketici ekran kartında çalıştırma hayaline en gerçekçi mühendislik yanıtını verdi1. Normal şartlarda 70B bir modeli tek bir 24 GB GPU’da barındırmak imkansızdır; llama.cpp gibi katman boşaltma (offloading) araçları ise modelin ağırlıklarını her belirteçte PCIe veri yolu üzerinden CPU ile GPU arasında mekik dokutarak hızı saniyede 1-2 belirtece düşürür. PowerInfer, büyük dil modellerinin çalışma zamanı dinamiklerindeki yüksek yerellik (locality) ve güç yasası (power-law) nöron dağılımını keşfetti: Girdilerin neredeyse tamamında aktifleşen küçük bir grup “sıcak nöron” varken, nöronların ezici çoğunluğunu oluşturan “soğuk nöronlar” nadiren tetiklenir. PowerInfer bu içgörüyle sıcak nöronları GPU VRAM’ine sabitleyen, soğuk nöronları ise CPU RAM’inde hesaplayan akıllı bir melez motor kurdu. Pratikte bunun anlamı şudur: Yüz binlerce liralık sunucu tipi A100 GPU kiralamadan, ofisinizdeki standart bir RTX 4090 üzerinde 70B modeli akıcı hızlarda yerel olarak çalıştırabilirsiniz.
Bu melez mimarinin sunduğu pratik mühendislik sıçraması üç temel veriyle tescilleniyor: Standart offloading çözümlerine kıyasla llama.cpp’ye kıyasla 11,69 kata varan hızlanma ve tek tüketici kartında 29 token/saniye üretim, testlerin yürütüldüğü tüketici ve sunucu sınıfı NVIDIA RTX 4090 (24GB) ve A100-80GB donanımları ve resmi depodaki 9.900 yıldız, 126 açık issue ve 5 açık PR düzeyindeki devasa açık kaynak ilgisi2.
İddia ve Gerçeklik: PowerInfer
Geleneksel katman bazlı boşaltma (layer-by-layer offloading) mekanizmaları, modeli katman seviyesinde böler ve GPU belleğine sığmayan katmanları her ileri geçişte PCIe üzerinden transfer eder1. PCIe bant genişliği (Gen4 x16 için yaklaşık 32 GB/s) GPU’nun kendi VRAM bant genişliğine (1 TB/s) kıyasla otuz kat yavaş olduğundan, tüm sistem PCIe darboğazına kilitlenir.
PowerInfer modeli katmanlar halinde değil, nöronlar bazında dilimleyerek bu düğümü çözdü. Modelin FFN (Feed-Forward Network) katmanlarındaki nöron aktivasyonlarının yaklaşık %80 ile %90 arasında doğal seyreklik gösterdiği tespit edildi. Sistem, hafif bir çevrimdışı profil çıkarma adımıyla (offline profiling) hangi nöronların sık tetiklendiğini belirler ve GPU’nun 24 GB sınırına sığacak şekilde sıcak nöronları VRAM’e kalıcı olarak yerleştirir. Geriye kalan soğuk nöronlar ana makinenin sistem RAM’inde (DDR4/DDR5) tutulur. Çalışma zamanında hafif bir uyarlamalı tahminci (adaptive predictor), hangi soğuk nöronların tetikleneceğini önceden kestirerek CPU çekirdeklerini tetikler; böylece PCIe üzerinden devasa ağırlık transferi yapma zorunluluğu tamamen ortadan kalkar. Çıkarım anında Falcon-40B ve LLaMA-2-70B modelleri tek bir RTX 4090 üzerinde sunucu sınıfı A100 hızının sadece %18 gerisinde bir hızla çalıştırılabilmektedir.
Ancak bir CTO’nun göz ardı edemeyeceği çok kritik bir yapısal sınırlama mevcuttur. PowerInfer’in vaat ettiği 11 kat hızlanma, temelde nöron seyrekleştirmesi yapılmış (ReLU veya ProSparse gibi seyreltilmiş aktivasyon fonksiyonlarına sahip) modellerde geçerlidir. Orijinal LLaMA-2 veya LLaMA-3 gibi standart SwiGLU aktivasyonu kullanan modellerde nöronların neredeyse %100’ü sıfırdan farklı değerler ürettiği için doğal seyreklik oluşmaz; bu modellerde PowerInfer çalıştırmak standart llama.cpp’ye kıyasla belirgin bir hız avantajı sağlamaz. Ayrıca soğuk nöronların hesaplandığı CPU tarafında sistem RAM’inin bellek bant genişliği performansı doğrudan belirler; çift kanallı yavaş DDR4 belleklerde CPU gecikmesi tüm boru hattını yavaşlatabilir.
Kod ve Entegrasyon Haritası
SJTU IPADS laboratuvarı tarafından MIT lisansıyla sunulan SJTU-IPADS/PowerInfer (Tiiny-AI) deposu, llama.cpp kod tabanından çatallanmış son derece olgun bir C++, CUDA ve Python projesidir2. Proje; AVX2 ve AVX-512 vektör komutlarıyla optimize edilmiş CPU operatörleri, özel CUDA seyrek çekirdekleri ve model dönüştürme betikleri barındırır.
Açık kaynak dünyasında PowerInfer, yerel donanım topluluklarında adeta bir fenomene dönüştü3. llama.cpp deposunda 4548 numaralı tartışmada mimarisi detaylıca incelenirken; Hugging Face üzerinde ReluLLaMA, ProSparse-LLaMA ve Bamboo-7B gibi seyreltilmiş modellerin hazır powerinfer.gguf ağırlıkları paylaşıldı. Proje Windows, Linux ve AMD ROCm platformlarına genişletilerek tüketici donanımlarında geniş bir destek kazandı.
Yine de üretim ölçeğinde dikkat edilmesi gereken operasyonel engeller vardır. Bir modeli PowerInfer ile çalıştırmadan önce çevrimdışı çözücüyle (solver) nöron tahmincisi üretmek gerekir; bu işlem model boyutuna bağlı olarak 30 ile 60 dakika sürebilir. Ayrıca vLLM veya Hugging Face ekosistemindeki ana akım modeller doğrudan çalışmadığı için ekiplerin ya hazır ReLU modellerini tercih etmesi ya da kendi modellerini TurboSparse benzeri tekniklerle seyrekleştirmesi şarttır. Çok kullanıcılı yüksek eşzamanlılık (high concurrency) senaryolarında ise farklı isteklerin farklı soğuk nöronları tetiklemesi CPU yükünü artırarak hız kazancını aşındırabilir.
Ticari Etki: Kimin İşine Yarar?
PowerInfer’in ticari etkisi, veri gizliliği nedeniyle bulut API’lerini kullanamayan ancak yüz binlerce dolarlık GPU kümesi kuracak bütçesi olmayan KOBİ’lerin, yerel yazılım ajanslarının ve bağımsız geliştiricilerin faturasını doğrudan sıfırlar. 70 milyar parametrelik bir açık kaynak modeli kurum içinde barındırmak için aylık binlerce dolar ödeyerek A100 kiralamak yerine, raftan alınan 1.500 dolarlık tek bir RTX 4090 veya RTX 3090 ile ofis sunucusunda 70B model çalıştırmak mümkün hale gelir.
Bu kabiliyet en çok yerel veri tabanı sorgulama, şirket içi hassas sözleşme analizi ve gizli kodlama asistanları geliştiren ekiplere yarar. 70B sınıfı bir modelin sunduğu üstün akıl yürütme kalitesi, 24 GB tüketici kartında saniyede 13 ile 29 belirteç arasında akıcı bir kullanıcı deneyimine dönüşür. Bulut GPU kiralama maliyetlerini 10 kattan fazla düşürmek, yapay zeka ürünleri geliştiren girişimler için doğrudan karlı bir birim ekonomisi sağlar.
Özetle PowerInfer, kurumsal model kalitesini tüketici donanımına indiren en parlak sistem mühendisliği örneklerinden biridir. Eğer şirket içi altyapınızda tekil tüketici GPU’larına sahipseniz ve düşük bütçeyle 70B model gücünden faydalanmak istiyorsanız, ReLU tabanlı seyreltilmiş modellerle PowerInfer motorunu devreye almak donanım amortismanınızı anında kara geçirecektir.