RadarMakale Bülteniai üretimi

Makale Bülteni — Mamba-2

Durum uzay modelleri ile dikkat mekanizmasını matematiksel olarak birleştiren Yapılandırılmış Durum Uzayı İkiliği (SSD) sayesinde tensör çekirdeklerini tam verimle kullanan ve eğitimi 8 kata kadar hızlandıran mimari.

Princeton ve Carnegie Mellon araştırmacıları Tri Dao ile Albert Gu tarafından yayımlanan ve ICML 2024’te sunulan “Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality” makalesi, yapay zeka donanım mimarisinde taşları yerinden oynatan en cesur teorik köprüyü kurdu1. İlk nesil Mamba mimarisi, lineer zaman karmaşıklığı ve KV önbelleksiz çıkarım vadederek dikkat (attention) mekanizmasının tahtını sallamış olsa da donanım seviyesinde ağır bir mühendislik engeline takılmıştı. Mamba-1’in ardışık tarama (associative scan) çekirdekleri, modern GPU’ların kalbi olan tensör çekirdeklerini (Tensor Cores) doğrudan kullanamıyor ve bellek bant genişliğine takıldığı için eğitimde FlashAttention’lı transformatörlerin gerisinde kalıyordu. Mamba-2, geliştirdiği Yapılandırılmış Durum Uzayı İkiliği (SSD) teorisiyle durum uzay modelleri (SSM) ile dikkat mekanizmasının aslında yarı-ayrılabilir (semiseparable) matrislerin iki farklı yüzü olduğunu kanıtladı. Pratikte bunun anlamı şudur: Tekrarlayan lineer durum modellerini blok matris çarpımlarına (GEMM) dönüştürerek doğrudan GPU tensör çekirdeklerinde çalıştırabilir ve eğitim hızını katlayabilirsiniz.

Bu algoritmik hamlenin donanım seviyesindeki karşılığı üç temel metrikte belgeleniyor: İlk sürüme kıyasla Mamba-1’e kıyasla 2 ila 8 kat daha hızlı eğitim ve 8 kat daha geniş durum boyutu, kıyaslama deneylerinin yürütüldüğü kurumsal NVIDIA A100-80GB ve H100-80GB altyapısı ve resmi depodaki 14.500 yıldız, 600 açık issue ve 30 açık PR düzeyindeki devasa topluluk canlılığı2.

İddia ve Gerçeklik: Mamba-2

Geleneksel Mamba katmanı, girdi odaklı seçici tarama (selective scan) operasyonunu bellek-duyarlı özel bir CUDA çekirdeğiyle çözer1. Ancak bu çekirdek, GPU’nun en güçlü hesaplama birimleri olan matris çarpım tensör çekirdeklerini (MMA) değil, standart vektör çekirdeklerini çalıştırır. Sonuç olarak Mamba-1 modelleri çıkarımda inanılmaz hızlıyken, büyük GPU kümelerinde ön eğitim (pre-training) throughput değerleri açısından FlashAttention ile optimize edilmiş modellerle rekabet etmekte zorlanıyordu. Dahası durum boyutu ($N=16$) küçük tutulmak zorundaydı; bu da modelin uzun metinlerde karmaşık geri çağırma (in-context retrieval) ve bağlam kopyalama yeteneklerini sınırlandırıyordu.

Mamba-2 bu mimari handikapı SSD (Structured State Space Duality) çerçevesiyle bertaraf etti. Yazarlar, durum geçiş matrisini ($A$) skalar bir katsayıyla sınırlayarak seçici tarama operasyonunu bloklara ayrılmış yarı-ayrılabilir matris çarpımı olarak yeniden yazdı. Bu sayede blok içi hesaplamalar standart matris çarpımı (GEMM) haline gelerek doğrudan tensör çekirdeklerine devredildi; bloklar arası durum geçişi ise hafif bir lineer nüks ile bağlandı. Böylece hem Triton hem CUDA ile yazılan SSD çekirdekleri donanımın saf işlem gücünden son damlasına kadar faydalandı. Durum boyutu hiçbir hız cezası ödemeden $N=64$ ve $N=128$ seviyesine çıkarılarak modelin hafıza kapasitesi 8 kat büyütüldü.

Fakat bedelsiz mühendislik zaferi yoktur ve Mamba-2’nin üretim hatlarına geçişinde çok somut mimari faturalar mevcuttur. En büyük sancı geriye dönük uyumsuzluktur; Mamba-2 blokları Mamba-1 ağırlıklarını doğrudan çalıştıramaz, dolayısıyla önceki kontrol noktaları geçersiz kalır. Ayrıca saf SSM mimarileri, ne kadar optimize edilirse edilsin dil içi kesin kopyalama (induction heads) ve yoğun mantıksal çıkarım gerektiren görevlerde tam dikkat mekanizmasının sunduğu doğrudan token-token erişiminin yer yer gerisinde kalabilmektedir. Bu yüzden endüstri saf Mamba-2 yerine, katmanların dörtte birinde standart dikkat kullanan hibrit mimarilere yönelmek zorunda kalmıştır.

Kod ve Entegrasyon Haritası

Albert Gu ve Tri Dao’nun öncülüğünde sürdürülen state-spaces/mamba deposu, modules/mamba2.py altında temiz ve optimize edilmiş bir referans uygulama barındırır2. Kod tabanı, OpenAI Triton diliyle yazılmış blok tarama çekirdekleri (_chunk_scan_fwd_kernel) ve C++ bağlayıcılarıyla birlikte gelir.

Açık kaynak dünyasında Mamba-2’nin entegrasyonu hızla olgunlaştı. Hugging Face ekibi transformers kütüphanesine Mamba2ForCausalLM sınıfını dahil ederek modelleri tek satırla indirilebilir ve çalıştırılabilir hale getirdi3. Sektördeki en somut ticari atılım ise Mistral AI’ın 256K bağlam uzunluğuna sahip 7,3 milyar parametrelik Codestral Mamba modelini doğrudan Mamba-2 mimarisiyle açık kaynak olarak yayımlamasıyla gerçekleşti. Benzer şekilde NVIDIA, Nemotron-4 ailesinde Mamba-2 ve Transformer hibrit katmanlarını birleştirerek çıkarımda 2 ila 3 kat hızlanma elde etti.

Buna karşın üretim seviyesinde dikkat edilmesi gereken ciddi operasyonel pürüzler vardır. Transformatörler için geliştirilen vLLM, PagedAttention, TensorRT-LLM ve Marlin gibi gelişmiş çıkarım ekosistemleri Mamba-2 için henüz aynı olgunluk düzeyinde değildir. Çoklu GPU tensör paralelliği ve spekülatif kod çözme boru hatları Mamba-2 çekirdekleriyle birleştirilirken özel yamalar gerekmektedir. Ayrıca Triton derleyicisinin ilk çalışma zamanındaki (autotune) ısınma gecikmesi, sunucu soğuk başlangıçlarında (cold start) onlarca saniyelik gecikme yaratabilir.

Ticari Etki: Kimin İşine Yarar?

Mamba-2’nin ticari etkisi, 100K ve üzeri ultra uzun bağlam işleyen kodlama asistanlarında, biyoinformatik (genomik sekans) analizlerinde ve yüksek frekanslı zaman serisi tahmin sistemlerinde doğrudan sunucu bütçelerini rahatlatır. Transformatörlerin karesel ($O(N^2)$) bellek ve hesaplama maliyeti yüzünden uzun metinlerde çöken sunucu kümeleri, Mamba-2’nin lineer ($O(N)$) ölçeklenmesi sayesinde aynı donanımda nefes alır.

Bu tablo özellikle uç cihazlarda veya kısıtlı bulut ortamlarında çalışan ekipler için doğrudan sermaye tasarrufu demektir: Codestral Mamba gibi modeller, 256K bağlamda dahi devasa bir KV önbellek tahsisine ihtiyaç duymadığı için tek bir tüketici GPU’sunda servis edilebilir. Büyük ölçekli model eğiten Ar-Ge laboratuvarları için ise eğitim hızının 2 ila 8 kat artması, haftalarca süren pahalı GPU kiralama faturalarını yarıdan fazla kısaltır.

Özetle Mamba-2, dikkat mekanizmasının karesel kamburundan kurtulmak isteyen ancak tensör çekirdeklerinin sunduğu donanım hızından vazgeçemeyen mühendislik ekipleri için mükemmel bir uzlaşmadır. Eğer projeniz uzun bağlamlı kod üretimi veya veri akışı içeriyorsa, Mamba-2 veya Transformer-Mamba hibrit mimarilerini üretim hattınıza dahil etmek sunucu verimliliğinizi anında katlayacaktır.

Kaynaklar

  1. arXiv:2405.21060 — Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
  2. GitHub — state-spaces/mamba Resmi Kod Deposu
  3. Hugging Face Dokümantasyonu — Mamba-2 Model Mimarisi ve Kullanım Kılavuzu