Makale Bülteni — Mooncake
Kimi'nin arkasındaki üretim mimarisini açığa çıkaran, Prefill ve Decode aşamalarını ayrıştırıp küme genelindeki CPU, DRAM ve SSD kaynaklarını RDMA tabanlı devasa bir KV önbellek havuzuna dönüştüren ayrık servis platformu.
Moonshot AI ve Tsinghua Üniversitesi araştırmacıları tarafından yayımlanan ve FAST 2025’te en iyi makale ödülünü kazanan “Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving” makalesi, popüler yapay zeka servisi Kimi’nin yüz binlerce eşzamanlı kullanıcıyı nasıl batmadan kaldırdığının şeffaf bir otopsisini sunuyor1. Büyük dil modellerinde hesaplama yoğunluklu ilk okuma (Prefill) aşaması ile bellek bant genişliği darboğazına takılan token üretim (Decode) aşamasını aynı GPU üzerinde çalıştırmak, uzun metinlerde kuyruk gecikmelerini (queue latency) patlatan ve sunucu verimliliğini yerle bir eden temel tasarım hatasıdır. Mooncake, bu iki iş yükünü bağımsız GPU kümelerine ayırmakla kalmıyor; GPU sunucularında atıl bekleyen yüzlerce gigabaytlık host DRAM ve NVMe SSD kaynaklarını küme geneline yayılan birleşik bir KV önbellek havuzuna (KVCache pool) dönüştürüyor. Pratikte bunun anlamı şudur: Tekrarlanan sistem promptları ve uzun bağlamlar için GPU belleğine bağımlı kalmadan, sıfıra yakın gecikmeyle çalışan RDMA ağı üzerinden önbellek yeniden kullanımı sağlıyorsunuz.
Kimi’nin üretim sahasından gelen bu mimari kazanım üç somut göstergeyle tescilleniyor: Standart servis mimarilerine kıyasla %525’e varan throughput artışı ve gerçek üretimde %75 daha fazla istek karşılama, ölçekleme testlerinin koşulduğu 128×NVIDIA H200 GPU ve 8×400 Gbps RoCE ağı ve resmi depodaki 6.900 yıldız, 363 açık issue ve 468 açık PR seviyesindeki canlılık2.
İddia ve Gerçeklik: Mooncake
Geleneksel LLM servis motorları her GPU düğümünü hem prefill hem decode yapabilen monolitik bir ada gibi kurgular1. Sisteme 100.000 tokenlik bir doküman girdiğinde prefill adımı GPU’nun tensör çekirdeklerini saniyelerce rehin alır; bu sırada aynı GPU üzerinde çalışan diğer kullanıcıların decode adımları beklemeye geçer ve ilk token gecikmesi (TTFT) ile token arası süre (TPOT) hedefleri (SLO) çöker. Dahası, her düğüm kendi yerel HBM belleği dolduğunda önceki oturumların KV önbelleklerini silmek zorunda kalır; aynı dokümanla gelen yeni bir soru tüm bağlamın baştan hesaplanmasına yol açarak hesaplama bütçesini tüketir.
Mooncake bu açmazı merkezine KV önbelleğini alan ayrık (disaggregated) bir mimariyle parçalar. Prefill düğümleri hesaplama canavarı olarak konumlandırılırken, decode düğümleri yalnızca çıktı üretmeye odaklanır. İki dünya arasındaki köprü, yüksek performanslı bir aktarım motoru (Transfer Engine) ve dağıtık nesne deposu (Mooncake Store) ile kurulur. Prefill düğümünün ürettiği onlarca gigabaytlık KV önbelleği, GPU HBM’sinden doğrudan RoCEv2 veya InfiniBand RDMA üzerinden karşı decode düğümünün belleğine ya da kümedeki boş ana makine belleğine (host DRAM/NVMe) saniyede 190 gigabayta varan aktarım hızlarıyla akar. Böylece hesaplanan hiçbir token kaybolmaz ve küme düzeyinde küresel bir hiyerarşik önbellek (tiered cache) inşa edilir.
Fakat Mooncake sahadaki her mühendislik ekibine hitap eden ucuz bir sihirli değnek değildir2. Sistemin tüm getirisi son derece agresif bir fiziksel ağ altyapısına dayanır. Çoklu NIC mimarisiyle 200 Gbps veya 400 Gbps RDMA kumaşı (fabric) olmayan standart 10G/25G TCP ağlarında Mooncake çalıştırmak felakettir; zira KV önbelleğini ağdan taşımak, onu GPU’da yeniden hesaplamaktan daha uzun sürer. Ayrıca resmi depodaki hata bildirimlerinde sıkça rastlandığı üzere, RoCE ağ kartlarındaki bellek anahtarı (MKEY) tükenmeleri, işletim sistemi sanal bellek sınırları ve RDMA tampon yönetimi ciddi seviyede Linux çekirdek ve ağ mühendisliği uzmanlığı gerektirir.
Kod ve Entegrasyon Haritası
Moonshot AI tarafından Apache-2.0 lisansıyla açık kaynağa sunulan kvcache-ai/Mooncake deposu, akademik bir kavram kanıtı değil, Çin’in en büyük yapay zeka ürünlerinden birini çalıştıran endüstriyel bir C++ ve Python kod tabanıdır2. Sistem mimarisi üç ana sütun üzerine oturur: Heterojen protokolleri ve ağ kartlarını soyutlayan Transfer Engine, çok katmanlı KV yönetimini sağlayan Mooncake Store ve MoE modelleri için hata toleranslı uzman paralelliği sunan Mooncake EP.
Açık kaynak ekosistemi bu ayrık mimariyi benzeri görülmemiş bir hızla benimsemiştir2. SGLang projesi, PD ayrık servis ve hiyerarşik HiCache mimarisinde Mooncake Transfer Engine’i resmi arka uç olarak entegre etmiştir. vLLM ekibi v0.31 sürümünden itibaren hem çok modlu (multimodal) önbellek aktarımları hem de düğümler arası KV paylaşımı için yerel Mooncake bağlayıcılarını devreye almıştır. TensorRT-LLM ise KVCMv2 katmanında Mooncake Store desteğini resmen birleştirmiştir. Üstelik sistem sadece NVIDIA donanımlarıyla sınırlı kalmayıp AMD ROCm, Huawei Ascend NPU ve AWS EFA adaptörlerini de destekleyen geniş bir donanım soyutlamasına kavuşmuştur.
Bununla birlikte üretim dağıtımında dikkat edilmesi gereken operasyonel karmaşıklıklar mevcuttur. Mooncake’in getirdiği erken ret politikası (early rejection) ve tahmin tabanlı zamanlayıcı (scheduler), arka planda çalışan ayrık kuyrukların durumunu milisaniyelik telemetrilerle takip etmek zorundadır. Kubernetes üzerinde llm-d veya özel operatörlerle konuşlandırılırken RDMA cihazlarının podlara doğrudan haritalanması (SR-IOV) ve NUMA düğüm yakınlıklarının doğru kurgulanması şarttır. Bu konfigürasyon yapılmadığında işlemciler arası veri kopyalama ek yükü tüm hız avantajını sıfırlayabilir.
Ticari Etki: Kimin İşine Yarar?
Mooncake’in ticari etkisi, uzun metin işleyen (RAG, yasal analiz, çok turlu ajan sohbetleri) kurumsal yapay zeka şirketlerinde ve genel model sağlayıcılarında sunucu amortismanını baştan tanımlar. Geleneksel mimarilerde yüz binlerce tokenlik sistem yönergeleri veya PDF dokümanları her istekte tekrar tekrar hesaplanarak GPU’lar kaba kuvvetle yakılırken, Mooncake bu hesaplama yükünü ucuz CPU belleğine ve kurumsal NVMe disklere yıkar. 128k bağlam uzunluğuna sahip LLaMA3-70B modelinde 40 gigabaytlık bir KV önbelleği sıfırdan hesaplanmak yerine saniyeler altında ağdan çekilebilmektedir2.
Bu durum doğrudan sermaye harcamalarını (CapEx) aşağı çeker: Prefill için pahalı H100/H200 kümeleri tahsis edilirken, decode tarafı daha ekonomik L40S veya yerel hızlandırıcılarla donatılabilir. Moonshot AI’ın Kimi üretim sahasında kanıtladığı gibi, donanım kümesini büyütmeden %75 daha fazla müşteri isteği karşılanabilmekte ve simüle edilmiş zorlu senaryolarda %525’e varan throughput sıçraması elde edilmektedir1.
Özetle, kısıtlı bütçeyle uzun bağlamlı model servisi sunmaya çalışan ve kullanıcı gecikme hedeflerini tutturamayan her CTO, monolitik çıkarım motorlarından ayrık (disaggregated) mimarilere geçişi zorunlu bir yol haritası olarak görmelidir. Eğer veri merkezinizde yüksek hızlı RDMA altyapınız varsa, Mooncake’i SGLang veya vLLM ile entegre etmek sunucu yatırımlarınızın getirisini katlayacaktır; ancak bu ağ omurgasına sahip değilseniz önce ağ mimarinizi modernize etmeniz gerekir.