Makale Bülteni — LLM in a flash
Model ağırlıklarını Flash hafızadan dinamik çekip seyrek FFN nöronlarını öngörerek DRAM sınırının iki katı modelleri çalıştıran sistem analizi.
Apple araştırmacıları tarafından yayımlanan ve ACL 2024’te sunulan “LLM in a flash: Efficient Large Language Model Inference with Limited Memory” başlıklı akademik makale, uç bilişim (edge computing) ve mobil yapay zeka dünyasının en katı fiziksel bariyerine doğrudan meydan okuyor1. Pratikte bu çalışma, bir dil modelini çalıştırmak için tüm ağırlık parametrelerini pahalı ve kısıtlı cihaz RAM’ine (DRAM) peşinen doldurma zorunluluğunu çöpe atıyor. Akıllı telefonlar ve dizüstü bilgisayarlarda bolca bulunan ancak yavaş kalan dahili Flash (NAND SSD) depolamayı akıllı bir veri akış boru hattıyla doğrudan çıkarım sürecine dahil ederek, cepten internet bağlantısı olmadan dev modelleri çalıştırmanın donanımsal yolunu açıyor.
Akademik teorinin ötesinde tüketici cihazlarındaki kıyaslama tablolarına baktığımızda ortaya çıkan performans dönüşümü oldukça çarpıcıdır. Makale, geleneksel diskten yükleme yöntemlerine kıyasla DRAM kapasitesinin 2 katı model çalıştırma ve GPU’da 25 kata varan yükleme hızlanması vadederken, bu ölçümler doğrudan kurumsal ve mobil mimariler olan Apple M serisi ve iPhone donanımları üzerinde kanıtlanmış durumda. Açık kaynak dünyasında ise Apple MLX ekosistemi ve topluluk depolarında son commit 6 ay önce, ACL 2024 teyitli ve 12 açık issue ile on-device model çalıştırma mimarilerine yön veren çalışan bir referans altyapı yer alıyor2.
İddia ve Gerçeklik: LLM in a flash
Bir akıllı telefonda veya sekiz gigabaytlık standart bir dizüstü bilgisayarda yedi ya da on üç milyar parametreli bir modeli çalıştırmaya kalktığınızda, işletim sisteminin bellek yöneticisi aşırı tüketim nedeniyle uygulamayı anında sonlandırır (OOM veya iOS jetsam kuralı). Modeli cihazın Flash hafızasında tutup ihtiyaç duyuldukça parça parça RAM’e çekmek ilk akla gelen fikir olsa da, Flash depolamanın bant genişliği DRAM’den onlarca kat yavaş olduğu için token üretim hızı kabul edilemez seviyelere çakılır. LLM in a flash makalesinin getirdiği ana sistem tezi iki temel donanım ve yazılım inovasyonuna dayanır: Kayan pencereleme (windowing) ve nöron seyrekleşmesini öngören kolon paketleme (sparsity-aware column bundling).
Yazarlar, dil modellerinin ileri beslemeli ağlarında (FFN) aktivasyon fonksiyonlarının yüzde altmış ile yetmiş oranında doğal bir seyreklik sergilediğini keşfetti. Yani her bir kelime üretilirken FFN katmanındaki nöronların yalnızca üçte biri aktifleşmekte, geri kalanı sıfır değeri üretmektedir. Sistem, hafif bir tahminci kullanarak bir sonraki adımda hangi nöronların tetikleneceğini önceden kestirir ve Flash hafızadan tüm matrisi değil, sadece aktifleşecek spesifik ağırlık kolonlarını bloklar halinde peşinen çeker. Dikkat katmanlarında ise aktivasyonlar kayan bir pencere içinde saklanarak tekrar tekrar disk okuması yapılmasının önüne geçilir. Bu sayede Flash-DRAM arasındaki veri transfer hacmi radikal biçimde budanır. Ancak bir sistem mimarı için madalyonun diğer yüzündeki donanım bedelleri dikkatle tartılmalıdır.
Flash depolamadan saniyede gigabaytlarca ağırlık çekmek, tüketici sınıfı NAND SSD yongalarında yoğun bir okuma döngüsü ve I/O veri yolu baskısı yaratır. Dahası pasif soğutmalı akıllı telefonlarda dakikalarca süren yoğun Flash transferi ve GPU çıkarımı, termal doygunluğa (thermal throttling) yol açarak cihazın hızını birkaç dakika içinde düşürebilir. Ayrıca bu teknik FFN katmanlarında yüksek seyreklik gösteren modellerde harikalar yaratırken, yoğun matrislere sahip yeni nesil mimarilerde aktarılması gereken veri hacmi arttığı için hız kazanımı erimektedir.
Kod ve Entegrasyon Haritası
LLM in a flash makalesi, Apple Research tarafından temel prensipleriyle açıklandıktan sonra açık kaynak topluluğu tarafından hızla benimsendi ve Apple Silicon için geliştirilen MLX çerçevesine uyarlandı3. Bağımsız mühendisler, Flash-MoE gibi açık kaynak projelerle bu mimariyi bir adım öteye taşıyarak iPhone üzerinde yüz milyarlarca parametreli uzmanlar karması (MoE) modellerinin ağırlıklarını doğrudan SSD’den dinamik çekerek çalıştırmayı başardı.
Açık kaynak dünyasında bu yaklaşım, özellikle cihaz içi yerel yapay zeka ajanları (Lapis, llama.cpp mmap offloading) için temel referans kabul edilmektedir. Kod tabanı incelendiğinde, işletim sisteminin sayfa önbelleği (page cache) mekanizmasını atlayıp doğrudan asenkron POSIX doğrudan I/O (O_DIRECT) çağrılarıyla veriyi GPU paylaşımlı belleğine besleyen C++ uzantıları göze çarpmaktadır. Ancak entegrasyon hattında sistem mühendislerinin yönetmesi gereken ciddi operasyonel sınırlar mevcuttur.
Hacker News ve GitHub tartışmalarında geliştiriciler, modelin ilk açılışında Flash hafızadaki ağırlıkların özel sıralı bloklar halinde önceden düzenlenmesi (bundling) gerektiğinden, standart HuggingFace safetensors dosyalarının doğrudan tak-çalıştır kullanılamamasından dert yanmaktadır4. Yine de kısıtlı RAM sınırlarında donanım kapasitesini ikiye katlayan en yaratıcı açık kaynak altyapı felsefesi budur.
Ticari Etki: Kimin İşine Yarar?
LLM in a flash teknolojisi, buluta bağımlı olmadan tamamen çevrimdışı (offline) ve gizlilik odaklı çalışan tüketici elektroniği üreticileri, mobil uygulama geliştiricileri ve savunma sanayii donanımları için doğrudan bir devrimdir. Uçak modundaki bir akıllı telefonda veya internet erişimi olmayan bir arazide çalışan askeri tablette, sunucuya tek kuruş API faturası ödemeden büyük bir modeli yerel çalıştırmak benzersiz bir ürün değeri sunar.
Aynı zamanda şirket içi dizüstü bilgisayarlarda çalışan yerel kod asistanları ve gizli doküman analiz araçları geliştiren teknoloji ekipleri için donanım maliyetini sıfırlayan bir fırsattır. Şirket çalışanlarının pahalı 64 GB veya 128 GB RAM’li iş istasyonlarına geçmesini beklemeden, mevcut standart 16 GB cihazlarda 13B ve 30B modellerin koşturulabilmesi donanım yatırımını (CapEx) radikal biçimde aşağı çeker.
Buna karşın veri merkezlerinde saniyede yüzlerce eşzamanlı istek karşılayan bulut tabanlı API sağlayıcıları için Flash’tan ağırlık çekmek kesinlikle uygun bir yöntem değildir. Çok kullanıcılı bulut sistemlerinde ağırlıkların daima yüksek hızlı GPU HBM belleğinde hazır beklemesi şarttır. Özetle LLM in a flash, tüketici cihazlarındaki bellek krizini aşmak ve büyük yapay zekayı yerel ceplere sığdırmak isteyen her sistem mühendisi için günümüzün en etkili on-device mimari kaldıracıdır.