Veri egemenliğinizi koruyun, maliyetleri sıfırlayın ve modelleri tamamen kendi donanımınızda, internete bağlı olmadan güvenle çalıştırın.
Bilgisayarınızın RAM ve Ekran Kartı (VRAM) değerlerini seçin; çalıştırabileceğiniz modelleri dinamik olarak görün.
Bu donanımla Llama 4 8B veya Qwen 3 7B gibi 7-8 Milyar parametreli popüler modelleri 4-bit kuantizasyon (Q4_K_M) ile oldukça yüksek hızlarda ve akıcı bir şekilde çalıştırabilirsiniz.
Ollama, yerel yapay zekâ modellerini çalıştırmanın en sade ve performanslı yoludur. macOS, Windows ve Linux desteği mevcuttur.
Terminal / Terminal Komutu
ollama run llama4
Terminal kullanmak istemeyenler için LM Studio, Hugging Face üzerindeki binlerce modele grafik arayüzle erişme, sohbet etme ve yerel API sunucusu kurma imkanı tanır.
• Hugging Face entegrasyonu
• CUDA ve Metal donanım hızlandırma
• Yerel OpenAI-uyumlu sunucu portu 1234
Yerel çalışan modellerinizi Cursor, VS Code (Continue uzantısı) veya harici yapay zekâ istemcilerine OpenAI API standartlarında kolayca bağlayın.
Yeni çıkan modeller, açık kaynak gelişmeleri ve haftanın en iyi araçları her hafta e-postanıza gelsin.