RadarGitHub Radarai üretimi

GitHub Radar — Redpanda

C++ ve Seastar ile geliştirilmiş, thread-per-core mimarisi, yerel Raft konsensüsü ve Direct I/O ile JVM darboğazlarını yok eden akış platformu.

Redpanda, Apache Kafka ekosisteminin on beş yıllık Java Virtual Machine (JVM) bellek yönetimi yükünü, çöp toplayıcı (GC) duraklamalarını ve harici konsensüs katmanı bağımlılıklarını tamamen ortadan kaldırmak amacıyla C++20 ile sıfırdan geliştirilmiş modern bir olay akışı (event streaming) platformudur 1. Geleneksel Kafka kümelerinin ZooKeeper veya karmaşık KRaft quoromları, devasa JVM yığınları (heap) ve işletim sistemi sayfa önbelleğiyle (page cache) yarattığı yüksek p99 kuyruk gecikmelerine karşı Redpanda; donanımla mekanik sempati kuran çekirdek başına iş parçacığı (thread-per-core) mimarisi ve doğrudan G/Ç (Direct I/O) yöntemleriyle 10 kat daha düşük ve öngörülebilir gecikme sunan düşük seviyeli bir sistem motorudur 2.

Veri mühendisliği ve yüksek verimli dağıtık sistemler dünyasında 12.6 bin yıldız ve son commit 1 gün önce düzeyinde güçlü bir benimsenmeye ulaşan depo, aktif olarak yönetilen 175 açık issue ve kurumsal kararlılık vadeden son sürüm v26.2.1 (Ağustos 2026) metrikleriyle olgunluğunu kanıtlamaktadır.

Mimari Deep-Dive: Redpanda

Redpanda’nın sunduğu performans sıçraması, Kafka API protokolünü korurken arkasındaki tüm çalışma zamanı ve depolama mimarisini baştan yazmasından kaynaklanır. Proje bütünüyle C++20 standardıyla ve ScyllaDB’nin de temelini oluşturan Seastar asenkron çerçevesi üzerine inşa edilmiştir 3. Seastar seçimi; Linux çekirdeğinin iş parçacığı zamanlayıcısını (thread scheduler) baypas ederek her donanım çekirdeğine (core) tek bir işletim sistemi iş parçacığı sabitlemek (thread pinning) ve CPU çekirdekleri arasında hiçbir kilit (lock/mutex) kullanmadan çalışmak amacıyla yapılmıştır.

İlk temel mimari karar paylaşımsız çekirdek başına iş parçacığı (thread-per-core shared-nothing) modelidir 4. Redpanda düğümündeki her CPU çekirdeği kendi olay döngüsünü (reactor), kendi bellek havuzunu ve kendi TCP soket kuyruklarını yönetir. Çekirdekler birbirlerinin bellek alanlarına doğrudan erişmez; çekirdekler arası veri transferi gerektiğinde kilit mekanizmaları yerine kilitlenmesiz halka arabellekleri (lock-free ring buffers / SPSC kuyrukları) üzerinden asenkron mesajlaşma kullanılır. Bu tasarım, çok çekirdekli modern sunucularda CPU önbellek kirlenmesini (cache invalidation) ve bellek veri yolu çekişmesini (cache contention) tamamen ortadan kaldırır.

İkinci kritik sütun doğrudan G/Ç (Direct I/O) ve çekirdek sayfa önbelleğinin devre dışı bırakılmasıdır. Kafka, mesajları diske yazarken Linux işletim sisteminin sayfa önbelleğine güvenir; bu durum kirli sayfaların arka planda diske yazılması (page flush/writeback) sırasında dakikalarca süren p99 gecikme sıçramalarına yol açar. Redpanda ise disk operasyonlarında O_DIRECT bayrağını zorunlu kılar 2. Bellek içi arabelleklerini DMA (Direct Memory Access) sektör sınırlarına hizalayarak verileri NVMe SSD sürücülerine doğrudan yazar ve okur. Böylece bellek tüketimi öngörülebilir kalır ve işletim sisteminin bellek baskısı altındaki agresif takas (swapping) davranışları engellenir.

Üçüncü sütun ise partisyon seviyesinde yerel Raft konsensüsüdür. Redpanda, küme meta verilerini ve veri partisyonlarının replikasyonunu harici bir koordinasyon servisi olmadan bizzat her partisyona gömülü Raft durum makineleriyle yönetir 2. Ağ katmanından gelen paketler Seastar reaktörü üzerinden doğrudan Raft loguna aktarılır; sıfır kopyalama (zero-copy) ilkeleri sayesinde kullanıcı alanında (userspace) gereksiz bellek kopyalamaları yapılmaz. JVM çöp toplayıcı duraklamalarının bulunmayışı, yoğun yazma trafiğinde bile mikrosaniye düzeyinde deterministik tepki süreleri sağlar.

Kod ve Topluluk Sağlığı

Redpanda, Alexander Gallego liderliğinde Redpanda Data Inc. bünyesinde tam zamanlı sistem programcıları ve geniş açık kaynak topluluğu tarafından geliştirilmektedir 1. Girişim sermayesi fonlarıyla desteklenen şirket, projenin çekirdek depodaki bakımını profesyonel bir ürün disipliniyle yürütmektedir.

Depodaki 175 açık issue sayısı, projenin yüz binlerce aktif küme tarafından kullanılmasına rağmen oldukça sıkı bir issue hijyenine sahip olduğunu kanıtlamaktadır. Maintainer ekibi hata bildirimlerine ortalama birkaç saat içinde yanıt vermekte, karmaşık dağıtık sistem anomalilerini hızla izole etmektedir. Çekirdek depoya sunulan her PR; dağıtık sistem doğrulama aracı Jepsen testlerinden, Ducktape sistem entegrasyon testlerinden ve binlerce saatlik rastgele arıza enjeksiyonu simülasyonlarından geçer 5. Sürüm takvimi üç ayda bir yayımlanan kararlı ana sürümler ve düzenli haftalık yama paketleriyle kesintisiz yürütülmektedir. health_score bu bölümden türer: issue kapanma hızı, sürüm düzeni, bakımcı ekibi. Ajanın tahminidir; künyede öyle yazılır. Projenin kurumsal mühendislik gücü, açık issue triyaj hızı ve dağıtık doğrulama titizliği göz önüne alınarak health_score: 9.2 takdir edilmiştir.

Production Riski: Gerçekten Kullanılır mı?

Redpanda’yı üretim altyapılarına dahil etmeyi planlayan sistem mimarları için en kritik değerlendirme lisanslama modelidir; proje Business Source License 1.1 (BSL 1.1) ile dağıtılmakta olup her sürüm yayımlandıktan 4 yıl sonra otomatik olarak Apache 2.0 lisansına dönüşmektedir 6. Kendi iç sistemlerinde veya SaaS ürünlerinin arkasında akış motoru olarak kullanmak tamamen ücretsizdir; tek kısıtlama Redpanda’yı doğrudan yönetilen bir bulut servisi olarak üçüncü taraflara satamamaktır.

Redpanda’nın üretimde hayat kurtardığı senaryolar oldukça belirgindir: Kafka kümelerinin ZooKeeper, JVM bellek şişmesi ve donanım maliyetleri altında ezildiği senaryolarda doğrudan yer değiştirme (drop-in replacement), mikrosaniye düzeyinde p99 gecikme garantisi gerektiren finansal ve analitik boru hatları, ve tek bir statik ikili dosya ile Kubernetes podlarında kolayca ayağa kalkabilen hafif mimariler. Kafka istemci kütüphaneleriyle %100 protokol uyumlu olması mevcut uygulamaları yeniden yazma zahmetini sıfırlar.

Buna karşın operasyonel riskler mevcuttur. Seastar’ın thread-per-core mimarisi, sunucu donanımının NUMA düğümlerine ve CPU çekirdeklerine göre titizlikle ayarlanmasını şart koşar; yanlış CPU ve bellek tahsisi yapılmış paylaşımlı sanal makinelerde (vCPU aşırı yüklemesi durumunda) Seastar reaktörü beklenen performansı veremez. Ayrıca donanımın NVMe Direct I/O gereksinimlerini karşılaması gerekir. Doğru donanım üzerinde Redpanda, modern veri altyapılarında Kafka karmaşasını sona erdiren en yetkin akış platformudur.

Kaynaklar

  1. Redpanda GitHub Ana Deposu
  2. Redpanda Resmi Mimari Dokümantasyonu
  3. Seastar Asenkron C++ Kütüphanesi
  4. Redpanda Blog: Thread-per-Core ve Seastar Mimarisi
  5. Redpanda Sürüm Notları ve Değişiklik Günlüğü
  6. Redpanda Business Source License (BSL 1.1) Metni