Makale Bülteni — AQLM
Vektör veri tabanlarındaki Çoklu Kod Kitabı Kuantizasyonunu (MCQ) dil modellerine uyarlayarak 2-bit seviyesinde dahi doğruluk sınırını koruyan ve belleği 8 kata kadar küçülten sıkıştırma algoritması.
IST Austria, Yandex ve HSE araştırmacıları tarafından yayımlanan ve ICML 2024 konferansında sunulan “Extreme Compression of Large Language Models via Additive Quantization” (AQLM) makalesi, 3-bit ve 4-bit duvarına dayanan model sıkıştırma yarışını doğrudan 2-bit rejimine indirdi1. GPTQ ve AWQ gibi skaler kuantizasyon yöntemleri 4-bit hassasiyetinde mükemmel çalışsa da, parametre başına 2 bit seviyesine çekildiklerinde modelin akıl yürütme yeteneğini tamamen yok ediyordu. AQLM ekibi, bilgi erişimi (information retrieval) ve vektör veri tabanlarında yıllardır kullanılan Çoklu Kod Kitabı Kuantizasyonu (Multi-Codebook Quantization) tekniğini büyük dil modellerinin ağırlık matrislerine uyarladı. Ağırlıkları tek tek yuvarlamak yerine girdi-duyarlı (input-adaptive) öğrenilen kod kitaplarının toplamı olarak temsil eden algoritma, 3 bitin altındaki Pareto sınırını ilk kez kırdı. Pratikte bunun anlamı şudur: 70 milyar parametrelik dev bir modeli kaliteden vazgeçmeden 2-bit formatına sıkıştırabilir ve tek bir tüketici ekran kartında çalıştırabilirsiniz.
Bu aşırı sıkıştırma mimarisinin sahadaki somut karşılığı üç temel metrikte belgeleniyor: Standart FP16 modellere kıyasla 8 kata kadar bellek küçültme ile CPU’da 4 kata ve GPU’da %30’a varan çıkarım hızlanması, deneylerin yürütüldüğü kurumsal NVIDIA A100-80GB ve H100 altyapısı ve resmi GitHub deposundaki 1.300 yıldız, 12 açık issue ve 3 açık PR düzeyindeki topluluk canlılığı2.
İddia ve Gerçeklik: AQLM
Geleneksel skaler kuantizasyon algoritmaları her ağırlık elemanını bağımsız bir ölçekle en yakın tamsayıya yuvarlar1. 4-bit altında (örneğin 2-bit’te) her ağırlık yalnızca dört farklı değer alabildiği için ağırlık matrisinin ifade gücü çöker ve model anlamsız cümleler kurmaya başlar.
AQLM bu sınırı vektör kuantizasyonuyla aşar. Her ağırlık satırındaki $g$ elemanlık alt vektör gruplarını alır ve bunları öğrenilmiş $M$ adet kod kitabından (codebook) seçilen kod sözcüklerinin toplamı olarak yaklaşıklar. Böylece tek bir skaler sayı saklamak yerine, kod kitaplarındaki indeksler saklanır. Süreç her transformatör kod çözücü bloğunda iki aşamada yürütülür: Önce artık k-means ile başlatılan kod kitapları üzerinden her katman için ayrık kodlar öğrenilir; ardından kodlar dondurulup blok içindeki tüm kod kitapları ve ölçekleme katsayıları kayıtlı girdi-çıktı aktivasyonlarına karşı ortaklaşa (joint optimization) ince ayara sokulur. Bu ortak optimizasyon, katmanlar arasında biriken kuantizasyon hatasını telafi ederek 2-bit rejiminde GPTQ ve QuIP gibi rakiplerini geride bırakır.
Fakat bir sistem mimarının bilmesi gereken çok ağır bir kalibrasyon faturası vardır1. AQLM, GPTQ gibi dakikalar içinde biten hızlı bir yöntem değildir; yinelemeli kod kitabı optimizasyonu devasa hesaplama süresi ister. Varsayılan ayarlarla LLaMA-2 7B modelini sıkıştırmak tek bir A100 GPU üzerinde yaklaşık 1 gün (2 GPU ile 14 saat), 70B modelini sıkıştırmak ise tek GPU’da 10 ila 14 gün (8 GPU üzerinde 3-4 gün) sürmektedir. Ayrıca 2-bit Mistral-7B testlerinde QuIP# yönteminin AQLM’yi yer yer geride bırakması, algoritmanın her model ailesinde mutlak kazanan olmadığını göstermektedir.
Kod ve Entegrasyon Haritası
Makale yazarları tarafından paylaşılan Vahe1994/AQLM deposu, PyTorch üzerinde çalışan kapsamlı bir sıkıştırma ve çıkarım kod tabanı sunar2. Depo sadece araştırma betikleriyle kalmayıp doğrudan çıkarım için optimize edilmiş özel GPU ve CPU çekirdeklerini (aqlm paketi) barındırır. Ayrıca yazarlar daha sonra doğrudan straight-through estimation sınırlarını aşan PV-Tuning güncellemesini de aynı çatı altına eklemiştir.
Açık kaynak ekosisteminde AQLM hızlı bir kurumsal kabul gördü. Hugging Face transformers kütüphanesi AqlmConfig ile 2-bit ağırlıkları yerel olarak yüklemeyi desteklerken, vLLM topluluğu 3439 numaralı issue ile AQLM desteğini hızla tartışıp çıkarım motoruna taşıdı3. vLLM kıyaslamalarında AQLM modellerinin FP16’ya göre genellikle 1,2x ila 2x, en uygun kod kitabı konfigürasyonlarında ise 3,05x hızlanma sunduğu raporlanmıştır. Hugging Face Hub üzerinde Llama-2, Llama-3 ve Mixtral modellerinin önceden sıkıştırılmış AQLM kontrol noktaları doğrudan indirilebilmektedir.
Bununla birlikte üretim dağıtımında dikkat edilmesi gereken somut teknik pürüzler mevcuttur. Resmi depoda da uyarıldığı üzere PyTorch’un sdpa dikkat uygulaması bazı modellerde hata verebildiğinden eager dikkat modu önerilmektedir. Dahası aqlm paketi CUDA ve C++ uzantılarını ninja üzerinden çalışma zamanında (JIT) derleyebildiği için sunucu imajlarında GCC/G++ (örneğin 11.4) ve CUDA araç takımı (CUDA 12.1) sürümlerinin birebir uyumlu olması şarttır; aksi halde derleme hataları dağıtımı durdurabilir.
Ticari Etki: Kimin İşine Yarar?
AQLM’nin ticari etkisi, 70 milyar parametrelik dev modellerin akıl yürütme yeteneğini kaybetmeden bellek sınırlarını 8 kat daraltmak zorunda olan uç cihaz geliştiricilerinde ve donanım maliyeti kısıtlı servis sağlayıcılarında ortaya çıkar. 140 gigabayt yer kaplayan FP16 bir 70B modeli yaklaşık 18-20 gigabaytlık VRAM alanına sığdırmak, bu modeli tek bir RTX 3090, RTX 4090 (24GB) veya 32 GB bellekli bir Apple Silicon dizüstü bilgisayarda çalıştırılabilir kılar.
Bu kazanım bir CTO için sunucu maliyetlerinde doğrudan kaldıraç oluşturur: Kurum içi hassas veriler için 70B sınıfı bir modeli barındırmak adına çoklu A100 düğümleri kiralamak yerine, tekil tüketici kartlarıyla servis vermek aylık bulut faturasını dramatik biçimde düşürür. CPU çıkarımında sağlanan 4 kata kadar hızlanma, GPU bulunmayan standart x86 sunucularda dahi küçük ve orta ölçekli modellerin ticari olarak servis edilmesinin önünü açar.
Özetle AQLM, çıkarım hızından ziyade “en küçük VRAM ayak izinde maksimum zeka” hedefleyen ekipler için tasarlanmıştır. Eğer model sıkıştırma işlemini bir kez çevrimdışı maliyet olarak göze alabiliyorsanız (veya Hugging Face’teki hazır AQLM ağırlıklarını kullanacaksanız), 2-bit AQLM mimarisi donanım sınırlarınızı zorlayan en verimli üretim araçlarından biridir.