RadarMakale Bülteniai üretimi

Makale Bülteni — ORPO

Denetimli ince ayar (SFT) ile tercih hizalamasını referans modele ihtiyaç duymadan tek bir kayıp fonksiyonunda birleştirerek hizalama eğitimlerinin GPU belleğini ve süresini yarıya indiren monolitik optimizasyon.

KAIST AI araştırmacıları tarafından yayımlanan “ORPO: Monolithic Preference Optimization without Reference Model” makalesi, büyük dil modellerini hizalama (alignment) süreçlerindeki gereksiz iki aşamalı bürokrasiyi tek kalemde sildi1. DPO algoritması PPO’nun karmaşık ödül modelini ortadan kaldırmış olsa da, üretim ekiplerini hâlâ iki maliyetli aşamaya mahkum ediyordu: Önce alan uyarlaması için Denetimli İnce Ayar (SFT) koşturmak, ardından dondurulmuş bir referans modelini bellekte tutarak DPO eğitimi yapmak. ORPO, standart çapraz entropi kaybının içine seçilen ve reddedilen yanıtlar arasındaki olasılık oranını (odds ratio) cezalandıran tek bir monolitik terim gömerek hem ayrı SFT aşamasını hem de referans modeli tamamen çöpe attı. Pratikte bunun anlamı şudur: Tek bir eğitim geçişiyle (single-stage) modelinize hem yeni alan bilgisi öğretebilir hem de istenmeyen yanıt stillerini bastırarak sunucu belleğinizin yarısını serbest bırakabilirsiniz.

Bu tek aşamalı mimarinin sahadaki somut karşılığı üç temel metrikte belgeleniyor: Mistral-7B üzerinde AlpacaEval 2.0 liderlik tablosunda %14,7 uzunluk-kontrollü kazanma oranı ve referans model olmadan tek aşamalı hizalama, deneylerin yürütüldüğü kurumsal 4×NVIDIA A100 ve 2×NVIDIA A100 altyapısı ve resmi GitHub deposundaki 478 yıldız, 8 açık issue ve 3 açık PR seviyesindeki çekirdek ayak izi2.

İddia ve Gerçeklik: ORPO

Geleneksel hizalama hatlarında SFT aşamasının gözden kaçan sinsi bir yan etkisi vardır: Model, doğru yanıtların (chosen) belirteç olasılıklarını artırırken, aynı üslup veya yapısal kalıpları paylaşan istenmeyen yanıtların (rejected) olasılıklarını da istemeden yukarı çeker1. Bu yüzden ekipler, SFT bittikten sonra modeli bir de ikinci bir modele (referans model) bağlayıp DPO veya RLHF ile hizalamak zorunda kalıyordu. İki ayrı model kopyasını aynı anda GPU VRAM’inde tutmak ve iki aşamalı eğitim boru hattı yönetmek donanım bütçesini doğrudan ikiye katlıyordu.

ORPO bu ikilemi kayıp fonksiyonu seviyesinde çözdü. Yazarlar, standart negatif log-olabilirlik (NLL) SFT kaybının yanına, tercih edilen yanıt ile reddedilen yanıtın gerçekleşme şansları (odds) arasındaki oranı maksimize eden göreceli oran kaybını ($\mathcal{L}_{OR}$) ekledi. Model bir yandan SFT ile hedef alanın sözlüğünü ve bilgisini öğrenirken, diğer yandan eşzamanlı olarak reddedilen yanıtların log olasılığını aşağı çekiyor. Referans modele ve KL diverjansı hesaplamasına duyulan ihtiyaç tamamen ortadan kalktığı için, DPO’da iki modelle yapılan ileri geçiş (forward pass) maliyeti tek modele iniyor. Mistral-ORPO-Beta (7B) modeli bu monolitik kurguyla Llama-2-Chat (70B) ve Zephyr-Beta (7B) gibi çok daha ağır süreçlerden geçmiş modelleri geride bırakmayı başardı2.

Fakat bir CTO’nun göz ardı edemeyeceği kritik bir denge riski mevcuttur. ORPO, alan öğretimi ile stil hizalamasını tek bir $\lambda$ ağırlık katsayısı üzerinden aynı potada eritir. Eğer $\lambda$ katsayısı gereğinden yüksek seçilirse model reddedilen yanıtları cezalandırmaya aşırı odaklanarak temel SFT öğrenmesini bozabilir; düşük tutulduğunda ise hizalama zayıf kalır. Ayrıca matematik ve kodlama gibi deterministik doğrulama gerektiren görevlerde, GRPO gibi çevrimiçi doğrulayıcı tabanlı yöntemler çevrimdışı tercih çiftlerine dayanan ORPO’nun önüne geçebilmektedir3.

Kod ve Entegrasyon Haritası

KAIST AI ekibi tarafından sunulan xfactlab/orpo deposu, temel araştırma betiklerini ve eğitilmiş model ağırlıklarını (kaist-ai/mistral-orpo-beta) paylaşan yalın bir referans noktasıdır2. Ancak ORPO’yu gerçek anlamda üretim standardına taşıyan gelişme, açık kaynak eğitim çatılarının gösterdiği rekor entegrasyon hızı oldu.

Hugging Face ekibi TRL kütüphanesine doğrudan ORPOTrainer ve ORPOConfig sınıflarını ekleyerek algoritmayı standartlaştırdı3. Kısa süre içinde Axolotl, LLaMA-Factory ve Unsloth gibi sektörün en yaygın ince ayar araçlarının tamamı ORPO desteğini yerel olarak devreye aldı4. Özellikle Unsloth entegrasyonu sayesinde tek bir NVIDIA GPU üzerinde QLoRA ile birleştirilmiş ORPO eğitimleri, bellek sınırına takılmadan yüksek hızlarda çalıştırılabilir hale geldi.

Buna rağmen üretim ortamında dikkat edilmesi gereken somut veri ve kararlılık şartları vardır. ORPO veri setiniz her satırda mutlaka üçlü (prompt, chosen, rejected) yapıda ve temizlenmiş olmalıdır; standart yalnızca tek yanıtlı SFT veri kümeleriyle doğrudan çalışmaz. Eğer elinizdeki chosen ve rejected yanıtları uzunluk olarak dengesizse, model kalite yerine uzunluğu ödüllendirme eğilimine girebilir. Üstelik referans model olmaması VRAM’i rahatlatsa da, batch içinde hem seçilen hem reddedilen dizilimin aynı anda işlenmesi nedeniyle bellek planlamasında çift sekans uzunluğu hesaba katılmalıdır.

Ticari Etki: Kimin İşine Yarar?

ORPO’nun ticari etkisi, modelini kendi kurumsal verisiyle özelleştirip aynı anda tonunu ve güvenlik sınırlarını belirlemek isteyen yapay zeka girişimlerinde doğrudan mühendislik ve bulut maliyetlerini kısar. Önceden önce SFT çalıştırıp kontrol noktasını doğrulamak, ardından bu modeli referans olarak dondurup ikinci bir DPO kümesi ayağa kaldırmak günler süren MLOps mesaisi gerektiriyordu. ORPO bu iki ayrı boru hattını tek bir eğitim işine (single job) indirger.

Bu mimari sadelik özellikle tek veya az sayıda A100/H100 GPU kiralayarak dikey sektör modelleri (müşteri destek botları, hukuk asistanları, finansal özetleyiciler) geliştiren ekipler için paha biçilmezdir. Referans modelinin bellekten atılması, donanım gereksinimini yaklaşık %50 oranında hafifleterek 7B ve 13B ölçeğindeki modellerin QLoRA ile birleştiğinde tüketici sınıfı tekil ekran kartlarında dahi hizalanabilmesini sağlar.

Özetle ORPO, model hizalama altyapısını yalınlaştırmak ve MLOps karmaşasını budamak isteyen her teknik lider için son derece pragmatik bir araçtır. Eğer amacınız sıfırdan yeni bir akıl yürütme modeli değil, kurumsal üsluba ve iş kurallarına uyan güvenilir bir alan modeli çıkarmaksa; iki aşamalı SFT+DPO hattıyla sunucu bütçenizi iki kez harcamak yerine TRL üzerinden ORPO ile tek geçişte sonuca ulaşmak çok daha akılcı bir mühendislik kararıdır.

Kaynaklar

  1. arXiv:2403.07691 — ORPO: Monolithic Preference Optimization without Reference Model
  2. GitHub — xfactlab/orpo Resmi Kod Deposu
  3. Hugging Face Blog — TRL v1.0: Post-Training Library Built to Move with the Field
  4. arXiv:2403.13372 — LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models