Makale Bülteni — GPTQ
İkinci dereceden Hessian matrisi yaklaşımıyla 175 milyar parametrelik modelleri saatler içinde 4-bit hassasiyetine indirgeyerek tek bir GPU'da kayıpsız servis edilmesini sağlayan post-training kuantizasyon standardı.
IST Austria araştırmacıları tarafından yayımlanan ve ICLR 2023 konferansında kabul gören “GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers” makalesi, açık kaynak yapay zeka dünyasında modellerin yerel donanımlarda çalıştırılma serüvenini başlatan en radikal kıvılcımdı1. Büyük dil modelleri parametre sayıları bakımından 175 milyar sınırına dayandığında, bu modelleri servis etmek yüz binlerce dolarlık çoklu sunucu kümelerini ve yüzlerce gigabaytlık VRAM bütçesini zorunlu kılıyordu. Standart yuvarlama (Round-to-Nearest) teknikleri 4-bit seviyesinde modelin dil yeteneğini tamamen çökertirken, kuantizasyon farkındalıklı yeniden eğitim (QAT) ise haftalarca süren GPU mesaisi ve milyonlarca dolarlık bütçe gerektiriyordu. GPTQ, ikinci dereceden Taylor açılımını kullanarak ağırlık matrislerini katman katman sıkıştıran ve yapılan yuvarlama hatasını henüz kuantize edilmemiş komşu ağırlıklara telafi ettiren analitik bir algoritma geliştirdi. Pratikte bunun anlamı şudur: 175 milyar parametrelik dev bir modeli yalnızca dört GPU saati içinde 4-bit ağırlıklara indirgeyebilir ve tek bir sunucuda kayıpsız çalıştırabilirsiniz.
Bu mühendislik sıçramasının somut karşılığı makalede üç temel veriyle belgeleniyor: Standart FP16 taban çizgisine kıyasla %75 bellek küçültme ve 3,25 kata varan çıkarım hızlanması, testlerin gerçekleştirildiği NVIDIA A100-80GB donanımı ve resmi açık kaynak depodaki 2.400 yıldız, 26 açık issue ve 1 açık PR düzeyindeki çekirdek ayak izi2.
İddia ve Gerçeklik: GPTQ
Geleneksel ağırlık kuantizasyonunda en büyük engel, bir ağırlık matrisindeki değerleri doğrudan en yakın INT4 tamsayısına yuvarlamanın yarattığı kümülatif hata patlamasıdır1. Optimal Brain Surgeon (OBS) gibi klasik yöntemler bu hatayı ikinci dereceden Hessian matrisiyle dengelemeyi önerse de, milyarlarca parametreli modern transformer mimarilerinde tam Hessian tersini hesaplamak hesaplama karmaşıklığı açısından imkansızdı.
GPTQ bu tıkanıklığı üç akılcı yaklaşımla çözdü. İlk olarak ters Hessian matrisini katman girişlerinin kovaryansı üzerinden yaklaşık olarak hesapladı ve Cholesky ayrışımı ile ters matrisin köşegen elemanlarını kararlı hale getirdi. İkinci olarak ağırlıkları tek tek değil, bloklar (örneğin 128 ağırlıktan oluşan gruplar) halinde vektörize edilmiş operasyonlarla kuantize ederek GPU’nun donanım bant genişliğini tam kapasite kullandı. Üçüncü olarak kuantize edilen her sütunun yarattığı sapmayı kalan sütunlara anında dağıtarak hatanın model boyunca birikmesini engelledi. Bu sayede OPT-175B ve BLOOM-176B gibi devasa modeller, dil modelleme şaşkınlık (perplexity) skorlarında neredeyse sıfır kayıpla 3 ve 4 bit hassasiyetine sıkıştırıldı.
Ancak bir sistem mimarının göz ardı edemeyeceği çok somut sınırlar ve bedeller vardır. GPTQ yalnızca ağırlıkları (weight-only) sıkıştırır; aktivasyonlar ve KV önbelleği bellekte FP16 formatında kalmaya devam eder. Bu durum batch boyutunun küçük olduğu (tek kullanıcı veya az istekli) çıkarımlarda bellek bant genişliği tasarrufu sayesinde harika hızlanmalar sunsa da, eşzamanlı istek sayısı arttığında ve sistem hesaplama sınırına (compute-bound) çarptığında INT4 dekuantizasyon ek yükü yüzünden hız avantajı azalır. Ayrıca algoritma az sayıda (örneğin 128 veya 256 örnek) kalibrasyon verisine muhtaçtır. Eğer üretim trafiğiniz kalibrasyon veri setindeki metin dağılımından radikal biçimde farklıysa, modelin mantıksal doğruluk metriklerinde gizli regresyonlar yaşanabilir.
Kod ve Entegrasyon Haritası
Makale yazarları tarafından sunulan orijinal IST-DASLab/gptq deposu temel algoritmayı ve minimal CUDA çekirdeklerini içeren akademik bir referanstı2. Fakat açık kaynak topluluğu bu çekirdeği aldı ve adeta bir endüstri standardı inşa etti. Hugging Face ekosisteminde önce AutoGPTQ kütüphanesi doğdu ve ardından transformers içine doğrudan yerel bir kuantizasyon yükleyicisi olarak entegre edildi3.
İşin donanım hızlandırma tarafında ise bağımsız geliştirici topluluğu devreye girdi. turboderp/exllama projesi, GPTQ formatındaki ağırlıkları standart CUDA çekirdeklerinden iki ila üç kat daha hızlı dekuantize edip işleyen özel assembly ve CUDA rutinleri geliştirdi4. Bugün vLLM, SGLang, TGI ve llama.cpp gibi sektörün en büyük çıkarım motorları, GPTQ kontrol noktalarını doğrudan yükleyip servis edebilmektedir. Hatta Marlin çekirdekleri de GPTQ formatlı modelleri FP16 hızında çalıştırabilecek optimizasyonları bünyesine katmıştır.
Üretim hattında dikkat edilmesi gereken güncel durum ise kütüphane ekosisteminin evrimidir. Orijinal AutoGPTQ projesinin bakım döngüsü yavaşladığı için güncel üretim boru hatlarında GPTQModel veya vLLM’in yerel kuantizasyon araçları tercih edilmektedir. Ayrıca --act-order (aktivasyon büyüklüğüne göre sütun sıralama) bayrağı, kalitede artış sağlasa da çalışma zamanında grup boyutlarının düzensizleşmesine yol açtığı için bazı optimize çıkarım motorlarında gecikme cezası yaratabilmektedir; bu yüzden statik grup (--static-groups) yapılandırmasının kullanılması tavsiye edilir.
Ticari Etki: Kimin İşine Yarar?
GPTQ’nun ticari etkisi, kurumların donanım bütçelerinde çarpan etkisi yaratan doğrudan bir sermaye amortismanıdır. 70 milyar parametrelik modern bir açık kaynak modeli FP16 hassasiyetinde servis etmek için iki adet A100-80GB GPU kiralamak ve ayda binlerce dolar sunucu parası ödemek gerekirken, GPTQ ile aynı model tek bir 48 GB veya 24 GB tüketici sınıfı GPU (örneğin RTX 3090 / 4090) üzerinde çalışır hale gelmektedir.
Bu kabiliyet en çok kendi sunucusunda gizli müşteri verisi işleyen finans kurumlarının, şirket içi kodlama asistanı barındıran yazılım şirketlerinin ve marjları dar olan tüketici yapay zeka girişimlerinin faturasını rahatlatır. Bulut sağlayıcılarına bağımlı kalmadan kurum içi iş istasyonlarında 70B modelleri çalıştırmak, token başına operasyonel maliyeti neredeyse sıfıra indirir.
Özetle, yüksek eşzamanlılıktan ziyade düşük maliyetli ve tekil kullanıcı odaklı çıkarım yapıyorsanız, GPTQ üretim hattınıza dahil etmeniz gereken en olgun ve test edilmiş teknolojidir. AWQ gibi yeni alternatifler türemiş olsa da, ExLlama ve vLLM ekosisteminin sunduğu devasa topluluk desteği ve binlerce hazır Hugging Face modeli sayesinde GPTQ, yatırım getirisini (ROI) ilk günden sağlayan vazgeçilmez bir mühendislik standardıdır.