RadarMakale Bülteniai üretimi

Makale Bülteni — TriForce

Uzun bağlamlı modellerde spekülatif kod çözmeyi hiyerarşik iki kademeli taslak mimarisi ve dinamik seyrek KV önbelleğiyle birleştirerek 128K sekans üretimini 7,8 kata kadar hızlandıran kayıpsız sistem.

Carnegie Mellon Üniversitesi (CMU) ve Meta araştırmacıları tarafından yayımlanan ve COLM 2024’te sunulan “TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding” makalesi, uzun bağlamlı (long-context) LLM servislerinde spekülatif çıkarımın tıkandığı en acımasız darboğazı çözdü1. Standart spekülatif kod çözme (speculative decoding) teknikleri kısa metinlerde harikalar yaratsa da, sekans uzunluğu 32K veya 128K seviyesine çıktığında dramatik biçimde çöker. Çünkü taslak model (draft model) küçük olsa dahi her adımda yüz binlerce belirteçlik devasa KV önbelleğini (KV Cache) baştan sona taramak zorunda kalır; taslak modelin gecikmesi patladığı için tüm spekülasyon zinciri yavaşlar. TriForce, tek bir taslak model yerine iki kademeli hiyerarşik bir spekülasyon mimarisi kurguladı: En altta StreamingLLM önbelleğiyle ultra hızlı çalışan küçük bir taslak model, ortada dinamik olarak taranan seyrek KV önbelleğiyle çalışan hedef model ve en tepede tam doğruluk sağlayan ana doğrulayıcı. Pratikte bunun anlamı şudur: 128K bağlam penceresinde modelinizin matematiksel çıktı dağılımını zerre kadar bozmadan iki tüketici ekran kartında A100 hızlarına yakın kayıpsız bir akış elde edebilirsiniz.

Bu hiyerarşik mimarinin sunduğu somut mühendislik kazanımı üç temel metrikte tescilleniyor: Standart otoregresif çıkarıma kıyasla A100 üzerinde 2,31 kat ve iki tüketici kartında 7,78 kata varan kayıpsız hızlanma, deneylerin yürütüldüğü kurumsal ve tüketici sınıfı NVIDIA A100-80GB ve 2×RTX 4090 altyapısı ve resmi açık kaynak depodaki 418 yıldız, 14 açık issue ve 2 açık PR seviyesindeki topluluk canlılığı2.

İddia ve Gerçeklik: TriForce

Uzun bağlamlı çıkarımda sistemler ikili bir bellek duvarına çarpar: model ağırlıkları ve hızla şişen KV önbelleği1. KV önbelleğini seyrekleştiren (H2O, SnapKV gibi) yaklaşımlar bellek tüketimini düşürse de kayıplı (lossy) oldukları için uzun metinlerde modelin akıl yürütme ve kopyalama doğruluğunu zedeler. Standart spekülatif yöntemler ise kayıpsızdır ancak taslak modelin KV önbellek okuma süresi uzadığı için hız avantajını kaybeder.

TriForce bu çıkmazı spekülatif hiyerarşi kurarak aştı. İlk kademede, yalnızca yerel belirteçleri ve dikkat bataklıklarını (attention sinks) tutan hafif bir taslak model koşturulur; bu model çok az bellek okuduğu için aday belirteçleri mikrosaniyeler içinde fırlatır. İkinci kademede, orijinal model ağırlıkları kullanılır ancak tam KV önbelleği yerine yalnızca girdiyle en alakalı blokları getiren dinamik bir erişim önbelleği (retrieval cache) devreye girer. Bu ara katman, ilk taslağın önerilerini hızla süzer ve doğrulanmış daha kaliteli bir belirteç ağacı üretir. Son kademede ise ana model tek bir paralel ileri geçişte (forward pass) tam KV önbelleğini kullanarak tüm adayları doğrular. Rejection sampling sayesinde nihai çıktı ana modelin saf üretimiyle bit düzeyinde özdeş kalır. Llama2-7B-128K modelinde yapılan testler, A100 GPU üzerinde 2,31 kat hızlanma sağlarken iki adet RTX 4090 üzerinde katman boşaltma (offloading) ile belirteç üretim süresini 0,108 saniyeye indirmiştir3.

Fakat üretim bandındaki bir sistem mimarı için TriForce bedelsiz bir sihir değildir. En büyük zorluk, üç farklı KV önbellek katmanının (StreamingLLM önbelleği, dinamik seyrek önbellek ve tam önbellek) bellek ayak izini GPU üzerinde eşzamanlı idare etmektir. Önbellek erişim bütçesi (retrieval budget) ve blok boyutu (chunk size) yanlış ayarlandığında ara taslağın kabul oranı düşebilir ve sistem ek yük yaratabilir. Ayrıca metin uzunluğu 8K’nın altına indiğinde bu hiyerarşik yapı hantal kalır; TriForce’un gerçek ROI getirdiği alan kesinlikle 32K ve üzeri uzun doküman iş yükleridir.

Kod ve Entegrasyon Haritası

CMU Infini-AI Lab tarafından Apache-2.0 lisansıyla sunulan Infini-AI-Lab/TriForce deposu, PyTorch ve Hugging Face altyapısı üzerine inşa edilmiş açık kaynaklı bir referans kütüphanedir2. Kod tabanı; tekil A100 üzerinde çip içi (on-chip) çıkarım ve birden fazla GPU üzerinde tensör paralelliği destekli katman boşaltma (offloading) komut dosyalarını eksiksiz barındırır.

Ekosistem açısından TriForce, uzun bağlamlı spekülatif kod çözmenin akademik standardı haline geldi. DeepSpeed-Zero-Inference gibi köklü offloading kütüphaneleriyle kıyaslandığında tek bir RTX 4090 üzerinde 4,86 kat daha yüksek hız sunarak yerel yapay zeka topluluklarında büyük yankı uyandırdı. Hugging Face modellerine CUDA grafikleri (CUDA Graphs) ve optimize edilmiş FlashAttention-2 bağlayıcılarıyla entegre edilmiştir.

Bununla birlikte üretim ortamına geçişte dikkat edilmesi gereken ciddi bağımlılık kısıtları vardır. Depo dokümantasyonunda ve issue kayıtlarında vurgulandığı üzere, kod tabanı transformers==4.37.2 ve flash_attn==2.5.7 sürümlerine sıkı sıkıya bağlıdır. Hugging Face’in daha yeni sürümlerinde RoPE pozisyon kodlama (apply_rotary_pos_emb) API’sinin değişmesi, güncel kütüphanelerle doğrudan kurulumda uyumluluk kırılmalarına yol açmaktadır. Ayrıca vLLM veya SGLang gibi büyük servis motorlarının yerel blok yöneticilerine henüz tam olarak entegre edilmemiştir; kurumsal hatta dahil etmek için ekibin bağımsız bir çıkarım servisi olarak konumlandırması veya özel bir servis sarmalayıcısı yazması şarttır.

Ticari Etki: Kimin İşine Yarar?

TriForce’un ticari etkisi, 100K ve üzeri uzunluktaki yasal sözleşmeleri, finansal raporları, akademik tezleri veya devasa kod depolarını tarayan kurumsal yapay zeka girişimlerinde doğrudan sunucu bütçelerini rahatlatır. Bu şirketlerin en büyük problemi, uzun metinlerde her kullanıcının dakikalarca beklemesi ve GPU’ların uzun süre kilitli kalmasıdır. TriForce ile belirteç üretim süresinin 7,8 kata kadar hızlanması, kullanıcı deneyimini doğrudan dönüştürür.

Bu durum özellikle sermaye kısıtı olan girişimler için çığır açıcıdır: Llama2-7B-128K modelini akıcı bir şekilde çalıştırmak için on binlerce dolarlık A100/H100 kümelerine bağımlı kalmak yerine, iki adet tüketici sınıfı RTX 4090 kartına sahip ekonomik bir sunucuyla A100 hızının yalnızca yarısı kadar bir gecikmeyle (0,108 saniye/token) servis sunulabilir. DeepSpeed tabanlı eski offloading yöntemlerine göre 4,8 kat daha hızlı çalışmak, aynı donanım üzerinde dört kat daha fazla müşteri işlemek demektir.

Özetle TriForce, uzun bağlamlı model servislerinde kaliteden taviz vermeden hızlanmanın en zarif mühendislik yoludur. Eğer ürününüz kitap özetleme, kod tabanı analizi veya uzun RAG sohbetleri içeriyorsa ve bulut faturalarınız tavan yaptıysa, TriForce’un hiyerarşik spekülasyon mimarisini radarınıza almalı ve uzun sekans boru hatlarınızı bu hiyerarşik yaklaşımla modernize etmelisiniz.

Kaynaklar

  1. arXiv:2404.11912 — TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding
  2. GitHub — Infini-AI-Lab/TriForce Resmi Kod Deposu
  3. TriForce Proje Sayfası — Infini-AI Lab CMU