Bir okuyucu ile bir yapıcı arasındaki fark tek bir andır: ilk kez bir şey inşa etme anı. Bu yazı, o an için. Kendi işinize göre çalışan bir Türkçe model (bir müşteri destek asistanı, bir özetleyici, kendi tarzınızda yazan bir yardımcı) bugün LoRA gibi imkânlarla erişilebilir.
Burada size satır satır kod vermeyeceğiz; onun için harika rehberler zaten var (sonda birkaçını bıraktık). Bunun yerine size daha kalıcı bir şey vereceğiz: ne yaptığınızı anlamak. Çünkü mantığı kavradığınızda, hangi rehberi açarsanız açın kaybolmazsınız.
İnce ayar (fine-tuning) nedir?
Hazır bir dil modeli her şeyi biraz bilir ama sizin özel işinizi mükemmel bilmez. İnce ayar, genel bir modeli alıp belirli bir işe göre uzmanlaştırmaktır; tıpkı üniversite bitirmiş birine şirkete özel bir eğitim vermek gibi.
Klasik yöntem ("tam ince ayar"), modelin tüm ağırlıklarını yeniden eğitmektir. Ama bu çok pahalıdır: milyarlarca parametreyi güncellemek dev hesaplama gücü, çok bellek ve büyük veri ister. Çoğu birey ve küçük ekip için bu kapı kapalıdır. İşte LoRA tam da bu kapıyı açmak için doğdu.
LoRA fikri: devi dondur, küçük bir eklenti eğit
LoRA'nın (Low-Rank Adaptation) fikri hem basit hem dâhice. Devasa temel modeli olduğu gibi dondurursunuz; ona hiç dokunmazsınız. Onun yanına, çok küçük ve eğitilebilir bir "eklenti" (adapter) takarsınız. Eğitim sırasında sadece bu minik eklenti öğrenir; dev model sabit kalır.
Eğittiğiniz bu eklenti, tüm modelin parametrelerinin %1'inden azını oluşturur ve genelde birkaç yüz megabaytlık küçük bir dosyadır. Tek bir GPU'da eğitilebilir ve istediğinizde takıp çıkarabilirsiniz: aynı dev modele farklı işler için farklı eklentiler takabilirsiniz. Devi her seferinde yeniden inşa etmek yerine, ona küçük "uzmanlık modülleri" eklersiniz.
Kabaca nasıl çalışır? Model bir işi yaparken devasa bir "ağırlık" tablosu kullanır. LoRA o tabloyu değiştirmez; onun yanına, öğrenilen küçük bir "düzeltme" ekler. Dev bilgi sabit kalır, minik düzeltme işi sizin göreve uyarlar.
QLoRA: dizüstü bilgisayarınızda bile
LoRA'yı bir adım öteye taşıyan QLoRA, dev modeli 4-bit'e "sıkıştırarak" (nicemleme/quantization) belleğe sığdırır. Etkisi çarpıcı: normalde ancak büyük sunucularda eğitilebilecek modeller, artık tek bir tüketici ekran kartında ince ayarlanabiliyor. Örneğin QLoRA sayesinde 65 milyar parametreli bir modeli, tek bir 24 GB'lık ekran kartında (RTX 4090) eğitmek mümkün.
Üstüne Unsloth gibi araçlar, eğitimi ~2 kat hızlandırıp belleği ~%70 azaltıyor; hatta bazı modeller 8 GB'lık bir kartta bile eğitilebiliyor. Yani ücretsiz bir Google Colab hesabıyla, elinizdeki mütevazı bir bilgisayarla bu işe girişebilirsiniz. Kapı gerçekten herkese açık.
Ne gerekiyor? Dört malzeme
Uyarlayacağınız hazır bir Türkçe model. Örneğin Kumru ya da Cosmos'un Türkçe-Llama'sı: açık kaynak ve indirmeye hazır.
Modele öğretmek istediğiniz davranışı gösteren örnekler. Sohbet formatında, temiz ve tutarlı olmalı.
PEFT (adapter'ı ekler), TRL'nin SFTTrainer'ı (eğitimi yürütür), Unsloth (hızlandırır). Hepsi açık kaynak.
Ücretsiz Colab (T4 GPU) veya bir ekran kartı. Milyon dolarlık altyapı değil.
Veri sırrı: kalite > miktar Yaygın yanılgı, "ne kadar çok örnek o kadar iyi". Oysa LoRA için format tutarlılığı, ham sayıdan daha önemli. Temiz ve tutarlı 1.000 örnek, dağınık 100.000 örnekten daha iyi sonuç verebilir. (Türkçe veri yazımızı hatırlayın: az ama kaliteli, çok ama kirliden iyidir.)
Adım adım: iş akışı
Kod olmadan, sürecin haritası şöyle görünür:
- Temel modeli seç. İşine uygun açık kaynak bir Türkçe model indir (örn. bir Türkçe-Llama sürümü).
- Veriyi hazırla. Örneklerini sohbet formatına getir: "kullanıcı ne der, model ne cevaplamalı". Temizle, tutarlı hale getir.
- LoRA'yı ayarla. Basit başla: rank (r) = 16 çoğu iş için yeterli. Dar bir stil için 16, genel bir uyarlama için 32, karmaşık işler için 64.
- Eğit. SFTTrainer eğitim döngüsünü yönetir, PEFT adapter'ı enjekte eder. Küçük bir işte bu dakikalar/saatler sürer, gün değil.
- Dene ve ölç. Modeli kendi örneklerinle sına. Mümkünse bir benchmark'la değerlendir (ölçme yazımızı hatırla).
- Adaptörü paylaş. Elinde birkaç yüz MB'lık bir dosya olur. Onu Hugging Face'te paylaşabilir, toplulukla buluşturabilirsin.
Tipik başlangıç ayarları (temsili, mantığı görmek için):
r = 16 # rank: eklentinin "kapasitesi"
lora_alpha = 16 # ölçekleme (çoğu zaman r'ye eşit ya da 2r)
load_in_4bit = True # QLoRA: belleğe sığdır
target = [q_proj, k_proj, v_proj, o_proj, ...] # dikkat katmanları
Nelere dikkat etmeli?
İlk denemede kusursuz sonuç beklemeyin; bu normal. En sık karşılaşılan tuzaklar:
- Veri kalitesi: Kirli veri, kirli model demektir. En çok vaktinizi veriyi temizlemeye ayırın.
- Aşırı öğrenme (overfitting): Model örnekleri "ezberlerse" yeni durumlara uyum sağlayamaz. Az ama çeşitli veri, tekrar eden veriden iyidir.
- Format tutarlılığı: Örneklerin hep aynı yapıda olsun; model tutarlılıktan öğrenir.
- Değerlendirme: "Bana iyi geldi" yetmez. Dürüstçe ölçün, mümkünse birden çok mercekle.
Ve işte geldiğimiz nokta: artık kendine özgü bir modelin var
Bu satıra kadar okuduysanız, bu serinin başında "yapay zekâ nedir?" diye soran kişiden çok uzaktasınız. Artık bir modelin nasıl düşündüğünü, ne zaman kullanılacağını, ve nasıl kendi işinize uyarlanacağını biliyorsunuz. Okuyucudan yapıcıya giden yolu tamamladınız.
Ve burada seri, lleaderboard'ın en baştaki vizyonuna bağlanıyor. Eğittiğiniz o küçük adaptör, sizin topluluğa katkınız olabilir: paylaşın, ölçülsün, karşılaştırılsın, üstüne inşa edilsin. Türkiye'nin yapay zekâ hikâyesini yazacak olan pahalı çipler değil; sizin gibi, öğrenip üreten insanlar. Bilgi tabanı buraya kadar rehberdi; bundan sonrası, sizin ne kuracağınıza kalmış.
Bu seride nereden nereye geldik
- Yapay zekâya ilk adım · LLM ne zaman kullanılır
- Türkiye'nin yol haritası · Türkçe modeller · benchmark'lar
- Veri sorunu · büyük mü küçük mü · mimariler · enerji
- Ve şimdi: kendi modelini eğitmek.
Özet: LoRA, devi dondurup küçük bir eklenti eğitir; QLoRA bunu tek bir ekran kartına sığdırır. Temel model + temiz veri + açık kaynak araçlar = kendi Türkçe modeliniz. Kod ikinci mesele; mantık sizde artık.
Bir topluluğu bir arada tutan şey, ortak bir eserdir. Umarız bu seri, sizi o eserin bir parçası olmaya bir adım daha yaklaştırdı. Şimdi sıra sizde: bir şey inşa edin, paylaşın, ölçün ve bu hikâyeye adınızı yazın.
Ne sizin ne de lleaderboard'ın hikayesi burada bitti. Bu önümüzdeki bir çok hikayenin bir başlangıcı sadece.
Önümüzdeki blog yazısında görüşmek üzere.