RadarMakale Bülteniai üretimi

Makale Bülteni — LLM.int8()

Büyük dil modellerinde ortaya çıkan aykırı aktivasyon kanallarını karma hassasiyetli vektör ayrışımıyla izole ederek 175 milyar parametrelik modellerde VRAM ihtiyacını sıfır kayıpla yarıya indiren açık kaynaklı kuantizasyon standardı.

Washington Üniversitesi ve Meta AI araştırmacıları tarafından yayımlanan ve NeurIPS 2022’de çığır açan “LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale” makalesi, açık kaynak yapay zeka dünyasında modellerin bellek duvarına toslamasını engelleyen en temel tarihi dönüm noktasıdır1. Parametre ölçeği 6,7 milyar sınırını aştığında standart 8-bit kuantizasyon algoritmaları feci şekilde çöküyor ve modeller tamamen anlamsız çıktılar üretiyordu; bu durum 175 milyar parametrelik OPT veya BLOOM gibi devleri çalıştırmak için yüz binlerce dolarlık GPU kümelerini zorunlu kılıyordu. Tim Dettmers ve ekibi, transformatörlerin iç dinamiklerinde belirli koordinatlarda aniden beliren ve normallerinden yüz kat daha büyük olan “aykırı aktivasyon kanallarını” (emergent activation outliers) ilk kez keşfetti. LLM.int8(), bu aykırı kanalları 16-bit hassasiyetinde tutup kalan %99,9’luk normal değerleri 8-bit tensör çekirdeklerine (Tensor Cores) yönlendiren vektör bazlı bir karma hassasiyet ayrışımı (mixed-precision decomposition) inşa etti. Pratikte bunun anlamı şudur: Matematiksel olarak tek bir doğruluk puanı dahi kaybetmeden, 175B modelin VRAM gereksinimini anında yarıya indirebilir ve iki kat daha az sunucuyla servis sağlayabilirsiniz.

Bu algoritmik zaferin somut endüstriyel karşılığı üç temel metrikte belgeleniyor: Standart FP16 model ağırlıklarına kıyasla sıfır doğruluk kaybıyla %50 VRAM tasarrufu ve 175B modellerin bellek ihtiyacını yarıya indirme, testlerin yürütüldüğü kurumsal NVIDIA A100-80GB donanımı ve algoritmayı doğuran bitsandbytes kütüphanesindeki 16.000 yıldız, 320 açık issue ve 45 açık PR seviyesindeki devasa ekosistem ayak izi2.

İddia ve Gerçeklik: LLM.int8()

Büyük transformatör modelleri ölçeklendikçe, dikkat katmanlarının ve FFN bloklarının belirli gizli boyutlarında (hidden dimensions) sistemik olarak devasa genlikli aykırı aktivasyonlar türemeye başlar1. Bu değerler tüm kanalların yalnızca binde birini (%0,1) oluştursa da, matris çarpımı standart INT8 aralığına (-127 ile +127) sıkıştırıldığında dinamik ölçeği tamamen rehin alır. Sonuç olarak kalan küçük ağırlıkların tamamı sıfıra yuvarlanır ve modelin akıl yürütme kabiliyeti çöker.

LLM.int8() bu açmazı vektör bazlı iki kollu bir ayrıştırma mekanizmasıyla çözdü. Girdi aktivasyonları geldiğinde sistem her sütunu tarar; eşik değeri ($\alpha = 6,0$) aşan aykırı boyutlar tespit edildiğinde bu sütunlar ve bunlara karşılık gelen ağırlık satırları ayrı bir FP16 matris çarpımı olarak izole edilir. Geriye kalan ve hiçbir aykırı değer barındırmayan %99,9’luk büyük matris bloğu ise satır ve sütun bazlı mutlak maksimum ölçeklemeyle (vector-wise quantization) INT8 formatına dönüştürülür ve GPU’nun INT8 tensör çekirdeklerinde hesaplanır. Son adımda bu iki çarpımın sonuçları FP16 hassasiyetinde toplanarak orijinal matris çarpımının birebir eşdeğeri elde edilir. BLOOM-176B ve OPT-175B üzerinde yapılan testler, 350 gigabaytlık model ağırlıklarının 175 gigabayta düşürüldüğünü ve sıfır şaşkınlık (perplexity) kaybı yaşandığını kanıtlamıştır.

Fakat bedelsiz bir donanım optimizasyonu yoktur ve LLM.int8()’in arkasındaki en acımasız bedel çalışma zamanı gecikmesidir (latency penalty). Matrisleri ikiye bölmek, aykırı indeksleri aramak, tensörleri dekuantize edip iki ayrı GEMM sonucunu birleştirmek ciddi bir operasyonel ek yük yaratır. Özellikle küçük modellerde veya batch boyutu 1 olan tekil kullanıcı çıkarımlarında, LLM.int8() standart FP16 çıkarıma kıyasla %20 ile %30 arasında daha yavaş çalışır. Başka bir deyişle LLM.int8() bir hızlandırma aracı değil, saf bir bellek tasarrufu teknolojisidir; sunucu faturanızı donanım sayısını azaltarak düşürür ancak belirteç akış hızını bir miktar yavaşlatır.

Kod ve Entegrasyon Haritası

Tim Dettmers tarafından geliştirilen ve açık kaynak topluluğuna devredilen bitsandbytes kütüphanesi, Hugging Face ekosisteminin en temel omurgası haline geldi2. Hugging Face ekibi transformers kütüphanesine eklediği load_in_8bit=True parametresiyle, LLM.int8() algoritmasını tüm dünyada tek satırlık bir çağrıya dönüştürdü3.

TRL, PEFT, Axolotl ve vLLM gibi büyük altyapıların tamamı Linear8bitLt katmanını destekleyerek milyarlarca indirmeye ulaştı. Kütüphane, sadece NVIDIA Ampere (A100, RTX 3090) kartlarında değil; Ada Lovelace (RTX 4090), Hopper (H100) ve Intel XPU/AMD ROCm platformlarında da derleme desteği kazandı. Ağırlıkların 8-bit formatında doğrudan diske serileştirilmesi (serialization) sağlanarak, model yükleme süreleri de yarı yarıya kısaltıldı.

Yine de üretim seviyesinde dikkat edilmesi gereken kritik pürüzler vardır. Bitsandbytes kütüphanesi derlenmiş CUDA bağımlılıklarına dayandığından, dinamik kütüphane bağlantılarında (libcudart.so) ve yeni PyTorch sürümlerinde sembol yükleme hataları yaşanabilmektedir. Ayrıca saf FP16 ile çalışan modern vLLM veya FlashAttention çekirdekleriyle kıyaslandığında, 8-bit ayrışım mekanizması PagedAttention blok yöneticisiyle her zaman en yüksek verimlilikte eşleşemez. Bu nedenle güncel üretim hatlarında yüksek hızlı çıkarım için GPTQ veya AWQ gibi derleme zamanı kuantizasyonları tercih edilirken, LLM.int8() sıfır kalibrasyon gerektirmeyen hızlı prototipleme ve güvenilir bellek sıkıştırma standardı olarak yerini korumaktadır.

Ticari Etki: Kimin İşine Yarar?

LLM.int8()’in ticari etkisi, yüz binlerce dolarlık devasa modelleri kısıtlı sermayeyle çalıştırmak zorunda olan yapay zeka girişimlerinde, bağımsız araştırma laboratuvarlarında ve kurum içi veri merkezlerinde doğrudan donanım amortismanını kurtarmıştır. 70 milyar parametrelik bir modeli FP16 hassasiyetinde servis etmek için en az iki adet 80 GB GPU kiralamak zorunluyken, LLM.int8() ile bu model tek bir 80 GB A100 veya 48 GB A6000 üzerinde barındırılabilir.

Bu durum doğrudan sermaye ve kiralama maliyetlerini yarı yarıya düşürmek demektir. 175 milyar parametrelik modellerde sekiz GPU’luk pahalı sunucu düğümleri yerine dört GPU’luk kümelerle çalışabilmek, aylık bulut faturasında on binlerce dolarlık nakit tasarrufu sağlar. En önemlisi, modelin dil yeteneklerinde, matematiksel akıl yürütmesinde veya kod tamamlama hassasiyetinde hiçbir bozulma olmaması, kaliteye duyarlı kurumsal müşterilere güvenle servis sunma imkanı verir.

Özetle LLM.int8(), yapay zeka devlerinin elindeki devasa modelleri bağımsız geliştiricilerin ve KOBİ’lerin erişebileceği donanım sınırlarına çeken ilk büyük mühendislik köprüsüdür. Eğer ürününüzde model kalitesinden tek bir milimetre dahi ödün vermeden GPU sayınızı yarıya indirmek istiyorsanız ve hafif gecikme artışını tolere edebiliyorsanız, load_in_8bit=True ile devreye alacağınız LLM.int8() donanım bütçenizi en güvenli şekilde koruyacak kalıcı bir endüstri standardıdır.

Kaynaklar

  1. arXiv:2208.07339 — LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale
  2. GitHub — bitsandbytes-foundation/bitsandbytes Resmi Kod Deposu
  3. Hugging Face Blog — A Gentle Introduction to 8-bit Matrix Multiplication with bitsandbytes