Ollama Nasıl Kurulur? Bilgisayarınızda İnternetsiz Dil Modeli Çalıştırmanın İlk Adımları

Bir sohbet botuna iş belgelerinizi yapıştırmak içinize sinmiyor, internet bağlantınız her zaman güvenilir değil ya da sadece bu modellerin nasıl çalıştığını kendi bilgisayarınızda görmek istiyorsunuz. Ollama, açık ağırlıklı dil modellerini kendi bilgisayarınızda, internete bağlı olmadan çalıştırmanın en pratik yollarından biri. Kurulumu birkaç dakika sürer; asıl öğrenilmesi gereken şey, bilgisayarınıza uygun modeli seçmek ve beklentilerinizi doğru ayarlamaktır. Bu yazı ilk kurulumdan ilk sohbete, oradan da günlük kullanıma kadar adım adım ilerliyor.

Ollama nedir, ne değildir?

Ollama, dil modellerini indirmeyi, yönetmeyi ve çalıştırmayı kolaylaştıran açık kaynaklı bir araçtır. Kendisi bir model değildir; modelleri çalıştıran bir motordur. Modelleri tek komutla indirir, bilgisayarınızın donanımına göre çalıştırır ve diğer programların kullanabilmesi için yerel bir arayüz sunar.

Ne değildir? Bulutta çalışan büyük ticari modellerin birebir yerel kopyası değildir. Kendi bilgisayarınızda çalıştırabileceğiniz modeller, donanım sınırları nedeniyle genellikle daha küçüktür. Bu, işe yaramadıkları anlamına gelmez; özetleme, metin düzenleme, basit kod yardımı ve belge üzerinde soru-cevap gibi birçok iş için yeterli olabilirler. Küçük modellerin güçlü ve zayıf yanlarını küçük dil modelleri yazımızda ayrıntılı anlattık.

Başlamadan önce: Donanımınız ne kaldırır?

Yerel model çalıştırmada belirleyici olan şey bellektir. Model, çalışırken belleğe yüklenir. Ekran kartınız varsa ve yeterli video belleğine sahipse model orada çok daha hızlı çalışır; yoksa sistem belleği ve işlemci kullanılır, bu da daha yavaş ama çalışan bir deneyim sunar.

Donanım durumu	Beklenecek deneyim	Öneri
Ayrı ekran kartı yok, sınırlı RAM	Küçük modeller yavaş ama çalışır	En küçük model boyutlarıyla başlayın
Ayrı ekran kartı yok, bol RAM	Orta boy modeller yavaş, küçük modeller makul hızda	Küçük modelle başlayıp bir üst boyutu deneyin
Yeterli video belleğine sahip ekran kartı	Model video belleğine sığdığı sürece akıcı	Model boyutunu video belleğinize göre seçin
Birleşik bellekli Apple Silicon Mac	Bellek hem işlemci hem grafik birimi tarafından paylaşıldığı için verimli	Toplam belleğinizin rahatça altında kalan modelleri seçin

Pratik kural: Model kütüphanesinde her modelin yanında indirme boyutu yazar. Seçtiğiniz modelin boyutu, kullanılabilir belleğinizin rahatça altında olmalıdır; çünkü işletim sistemi ve açık programlar da bellek kullanır. Model belleğe sığmazsa ya hiç çalışmaz ya da dayanılmaz derecede yavaşlar. Cihaz üzerinde yapay zekâ çalıştırmanın genel avantaj ve sınırlarını Edge AI yazımızda ele aldık.

Kurulum

Windows ve macOS

Resmi site ollama.com üzerinden işletim sisteminize uygun kurulum dosyasını indirin ve normal bir program gibi kurun. Kurulumdan sonra Ollama arka planda çalışan bir hizmet olarak başlar. Yalnızca resmi siteden indirmeye dikkat edin; popüler araçların adını taşıyan sahte kurulum dosyaları zararlı yazılım yaymak için sık kullanılır.

Linux

Linux'ta kurulum genellikle resmi sitede verilen tek satırlık bir betikle yapılır. İnternetten indirilen bir betiği çalıştırmadan önce içeriğine göz atmak iyi bir güvenlik alışkanlığıdır.

Kurulumu doğrulama

Terminali (Windows'ta PowerShell ya da Komut İstemi) açıp şunu yazın:

ollama --version

Bir sürüm numarası görüyorsanız kurulum tamamdır.

İlk model ve ilk sohbet

Ollama'nın model kütüphanesinde farklı geliştiricilerin, farklı boyutlarda modelleri bulunur. Kütüphanede bir model seçtiğinizde, sayfasında hangi komutla çalıştırılacağı yazar. Genel kalıp şöyledir:

ollama run <model-adı>

Model bilgisayarınızda yoksa önce indirilir, ardından terminalde bir sohbet başlar. Bir şey yazıp Enter'a basın; cevap kelime kelime akmaya başlar. Sohbetten çıkmak için "/bye" yazabilirsiniz.

Model seçerken lisansına da göz atın. Açık ağırlıklı modellerin lisansları birbirinden farklıdır; bazıları ticari kullanıma serbestçe izin verir, bazıları belirli koşullar koyar. Bu farkları açık kaynak mı, kapalı mı yazımızda anlattık.

Türkçe performansı

Yerel modellerin Türkçe başarısı modelden modele belirgin şekilde değişir. Bazı modeller Türkçe sorulara makul cevaplar verirken, bazıları İngilizceye kayabilir ya da dil bilgisi hataları yapabilir. Birkaç modeli aynı Türkçe sorularla denemek ve kendi işiniz için en tutarlı olanı seçmek en sağlıklı yoldur. Deneme için kendi alanınızdan, cevabını bildiğiniz sorular kullanın.

Günlük kullanımda işe yarayan komutlar

Komut	Ne yapar
ollama list	Bilgisayarınızda yüklü modelleri ve boyutlarını listeler
ollama pull <model-adı>	Modeli çalıştırmadan yalnızca indirir ya da günceller
ollama ps	Şu anda belleğe yüklü olan modelleri gösterir
ollama rm <model-adı>	Modeli siler ve disk alanını geri kazandırır
ollama run <model-adı>	Modeli başlatır ve sohbet açar

Modeller disk üzerinde ciddi yer kaplayabilir. Denediğiniz ama kullanmadığınız modelleri düzenli olarak silmek, diskin sessizce dolmasını önler.

Modeli kendi işinize göre ayarlamak

Her sohbette aynı talimatları tekrar yazmaktan sıkıldıysanız, Ollama'nın "Modelfile" adlı basit yapılandırma dosyasıyla kendi varyantınızı oluşturabilirsiniz. Bu dosyada hangi modelin temel alınacağını, modelin her sohbete hangi sistem talimatıyla başlayacağını ve bazı üretim ayarlarını belirtirsiniz. Basit bir örnek:

FROM <model-adı>
SYSTEM "Sen Türkçe metinleri düzelten bir editörsün. Anlamı değiştirme, yalnızca yazım ve noktalama hatalarını düzelt."
PARAMETER temperature 0.3

Dosyayı kaydettikten sonra şu komutla yeni bir model adı altında oluşturursunuz:

ollama create turkce-editor -f Modelfile

Artık "ollama run turkce-editor" dediğinizde model, bu talimatla başlar. Buradaki "temperature" değeri, cevapların ne kadar yaratıcı ya da tutarlı olacağını etkiler; düzeltme ve özetleme gibi işlerde düşük değerler daha öngörülebilir sonuç verir. Bu işlem modeli yeniden eğitmez, yalnızca onu belirli bir ayarla başlatır; yeni bilgi öğretmek için değil, davranışı sabitlemek için kullanılır.

Örnek bir kullanım: Hassas notları yerelde toparlamak

Diyelim ki müşteri görüşmelerinden aldığınız dağınık notları düzenli bir tutanağa çevirmek istiyorsunuz, ama bu notları bir bulut hizmetine göndermek istemiyorsunuz. Yukarıdaki gibi bir yapılandırmayla "notları başlıklara ayır, yapılacak işleri ayrı listele" talimatı verilmiş bir yerel model, bu işi bilgisayarınızdan veri çıkmadan yapabilir. Sonuç bulut modellerindeki kadar cilalı olmayabilir; ama taslak için çoğu zaman yeterlidir ve son düzeltmeyi zaten siz yaparsınız.

Terminalden çıkmak: Diğer programlarla kullanım

Ollama çalışırken bilgisayarınızda yerel bir sunucu açar ve diğer programlar bu sunucu üzerinden modele istek gönderebilir. Bu sayede:

• Tarayıcı benzeri bir sohbet arayüzü sunan açık kaynak programları Ollama'ya bağlayabilirsiniz.
• Bazı kod editörü eklentileri, yerel modeli kod yardımcısı olarak kullanabilir.
• Kendi yazdığınız küçük betiklerden modele metin gönderip cevap alabilirsiniz.

Varsayılan ayarlarda bu sunucu yalnızca kendi bilgisayarınızdan erişilebilir durumdadır. Ağdaki diğer cihazların erişmesine izin vermek için ayarları değiştirirseniz, güvenlik açısından ne yaptığınızı bildiğinizden emin olun; kimlik doğrulaması olmayan bir model sunucusunu internete açmak önerilmez.

Beklentileri doğru ayarlamak

• Hız: Ekran kartı olmayan bilgisayarlarda cevaplar yavaş akabilir. İlk cevap, modelin belleğe yüklenmesi nedeniyle daha da gecikebilir.
• Bilgi güncelliği: Yerel modeller internete bağlı değildir; eğitim verisinin kesildiği tarihten sonraki olayları bilmezler.
• Doğruluk: Küçük modeller büyük modellere göre daha sık hata yapabilir ve uydurabilir. Cevapları özellikle önemli konularda doğrulayın.
• Gizlilik avantajı: Model tamamen yerel çalıştığında yazdıklarınız bilgisayarınızdan çıkmaz. Bu, hassas belgelerle çalışırken önemli bir avantajdır; ama bilgisayarınızın kendisinin güvenliği de o ölçüde önem kazanır.

Güncelleme ve bakım

Ollama'nın kendisi zaman zaman yeni sürümler yayımlar; yeni sürümler genellikle performans iyileştirmeleri ve yeni model desteği getirir. Masaüstü sürümlerde güncelleme bildirimi uygulama üzerinden gelir. Modellerin güncellenmiş hâllerini almak için ise ilgili model için "pull" komutunu tekrar çalıştırmanız yeterlidir.

Sıkça Sorulan Sorular

Ollama ücretli mi?

Ollama'nın kendisi açık kaynaklıdır ve yerel kullanımı ücretsizdir. Modellerin kullanım koşulları ise her modelin kendi lisansına bağlıdır.

İnternet olmadan gerçekten çalışır mı?

Model bir kez indirildikten sonra, sohbet için internet bağlantısı gerekmez. Yeni model indirmek ve güncellemek için bağlantı gerekir.

Model çok yavaş, ne yapabilirim?

Daha küçük bir model ya da aynı modelin daha küçük bir sürümünü deneyin. Arka planda çok bellek kullanan programları kapatın. Birden fazla modelin aynı anda belleğe yüklenmediğinden "ollama ps" ile emin olun.

Yerel model, bulut modellerinin yerini tutar mı?

İşe göre değişir. Gizlilik gerektiren, internet bağlantısının olmadığı ya da basit ve tekrarlayan işlerde yerel modeller çok işe yarar. Karmaşık akıl yürütme, geniş bilgi ya da güncel bilgi gerektiren işlerde bulut modelleri genellikle daha güçlüdür. İkisini birlikte kullanmak çoğu kullanıcı için en dengeli yoldur.

Buradan sonrası

Küçük bir modelle başlayın, kendi işinizden birkaç gerçek görevle deneyin ve sonuçları not alın. Bilgisayarınızın neyi rahatça kaldırdığını gördükten sonra daha büyük modellere geçmek ya da yerel modeli bir arayüze bağlamak için sağlam bir zemininiz olur.