Buluta Bağımlı Olmadan Kendi Bilgisayarınızda Yapay Zekâ Çalıştırmak: Ollama ve Yerel LLM Rehberi
İnternetsiz, tamamen çevrimdışı ve gizlilik endişesi olmadan kendi bilgisayarınızda büyük dil modellerini (LLM) çalıştırma rehberi. Ollama nedir, açık kaynak modeller (Llama, DeepSeek, Mistral) nasıl kurulur ve Python ile nasıl kullanılır?
OpenAI'ın ChatGPT'si, Anthropic'in Claude'u ve Google'ın Gemini'si günlük işlerimizin ve kodlama süreçlerimizin ayrılmaz bir parçası haline geldi. Ancak bu modeller bulutta (cloud) çalıştığı için şirketlerin ve bireysel yazılımcıların aklında devasa bir soru işareti var: 'Yazdığım tescilli kaynak kodları, şirketimin finansal raporları veya kişisel verilerim bu sunuculara gittiğinde ne kadar güvende?' Birçok kurum veri ihlali riskine karşı bulut yapay zekalarını tamamen yasaklamaya başladı. İşte tam bu noktada teknoloji dünyasını kasıp kavuran bir hareket doğdu: Kendi donanımınız üzerinde çalışan, internete bile ihtiyaç duymayan 'Yerel Yapay Zekâ' (Local LLM) modelleri.
Yerel Model Devrimi ve Açık Kaynak Gücü:
Birkaç yıl öncesine kadar milyarlarca parametreli bir yapay zekâ modelini evdeki sıradan bir bilgisayarda çalıştırmak imkansızdı; yüz binlerce dolarlık sunucu GPU'ları gerekiyordu. Ancak kuantizasyon (Quantization - 4-bit / 8-bit model sıkıştırma) teknikleri ve açık kaynak topluluğunun (Meta'nın Llama modelleri, Mistral AI, DeepSeek ve Qwen) inanılmaz atılımları sayesinde, bugün 16 GB veya 32 GB RAM'e sahip orta segment bir dizüstü bilgisayarda bile GPT-4 kalitesine yakın modeller saniyeler içinde çalışabiliyor!
Ollama Nedir? (Yapay Zekânın Docker'ı):
Açık kaynak modelleri bilgisayara indirip C++ veya Python kütüphaneleriyle derlemek eskiden oldukça zahmetliydi. 'Ollama', bu karmaşayı tek bir komuta indiren devrimsel bir araçtır. Tıpkı Docker gibi çalışır: Modelleri indirir, optimize eder, arka planda bir REST API servisi ayağa kaldırır ve GPU/CPU kaynaklarını otomatik olarak paylaştırır.
Kurulum son derece basittir:
1. ollama.com adresinden Windows, macOS veya Linux için yükleyiciyi indirin.
2. Terminalinizi açın ve istediğiniz modeli tek bir komutla indirin:
ollama run llama3
veya kodlama için optimize edilmiş DeepSeek Coder modelini çalıştırın:
ollama run deepseek-coder
Saniyeler içinde terminalinizde çevrimdışı çalışan bir yapay zekâ sohbeti başlar!
Python ile Yerel Modele Bağlanmak:
Ollama sadece terminalde sohbet etmek için değildir; yerel makinenizde http://localhost:11434 portunda tam teşekküllü bir REST API sunar. Kendi projelerinizde sıfır maliyetle, sınırsız token ile yerel yapay zekâyı kullanmak çocuk oyuncağıdır:
import requests
def yerel_yapay_zekaya_sor(soru):
url = 'http://localhost:11434/api/generate'
veri = {
'model': 'llama3',
'prompt': soru,
'stream': False
}
yanit = requests.post(url, json=veri)
return yanit.json()['response']
print(yerel_yapay_zekaya_sor("Python'da liste ve demet (tuple) farkı nedir?"))
Hiçbir API anahtarı (API Key) gerekmez, kota sınırı yoktur ve internetiniz kesilse bile kodunuz tıkır tıkır çalışır!
Yerel Modellerin Geleceği ve Ne Zaman Tercih Edilmeli?:
Elbette yerel modellerin de sınırları vardır: Çok büyük 70B+ parametreli modeller devasa VRAM gerektirir ve buluttaki dev modeller kadar geniş bir genel kültür tabanına sahip olmayabilirler. Ancak; şirket içi gizli belgeler üzerinde soru-cevap yapan RAG (Retrieval-Augmented Generation) sistemlerinde, çevrimdışı çalışması gereken saha cihazlarında ve gizlilik odaklı kodlama asistanlarında yerel modeller geleceğin standardıdır. Kendi donanımınızın kontrolünü elinize almak, yapay zekâ çağında bir geliştiricinin edinebileceği en özgürleştirici tecrübedir.