01Sorun ve çözüm
Lokal yapay zekâ kurulumu, bir dil modelini kendi sunucunuzda ya da özel ağınızda çalıştırarak verinin kurum dışına çıkmadan işlenmesini sağlar. Han Dijit olarak bunu bir yazılım indirme işi olarak görmüyoruz; donanım boyutlandırma, model seçimi, erişim kontrolü, izleme ve güncelleme düzeni birlikte kurulur.
Devamını okuDaha az göster
Bunun bir bedeli de vardır: kendi sunucunuzda çalışan modeller bazı görevlerde en büyük bulut modellerinin gerisinde kalabilir ve donanım ile işletme sorumluluğu size geçer. Bu dengeyi baştan açıkça konuşuyoruz.
02Kimler için
Lokal yapay zekâ kurulumuna ihtiyaç duyan kurumlar
Karar çoğunlukla teknik tercihten değil, veri ve uyum kaynaklı bir zorunluluktan doğar.
- Müvekkil dosyalarıyla çalışan hukuk büroları ve gizlilik yükümlülüğü taşıyan danışmanlık firmaları
- Hasta kayıtları ya da laboratuvar sonuçlarıyla çalışan klinikler ve sağlık kuruluşları
- Teknik çizim, reçete ve ürün tasarımı gibi fikrî mülkiyeti dışarı çıkarmak istemeyen üretim ve Ar-Ge firmaları
- İç ağı internete kapalı olan ya da sıkı erişim kurallarına tabi kamu kurumları ve savunma sanayisiyle çalışan kuruluşlar
03İhtiyaçlar
Yerinde çalışan modelle çözülen sorunlar
Yerinde model her sorunu çözmez, ama belirli kısıtlar altında tek uygun seçenek olabilir.
- 01
Verinin kurum içinde kalması
Metin, bir dış sağlayıcının sunucusuna gitmez. Hangi veriyle kimin çalıştığı sizin ağınızda kayda geçer.
- 02
İnternete kapalı ağlar
Üretim tesisi ya da güvenli bölge gibi dışarıya kapalı ağlarda model, çevrimdışı çalışacak biçimde kurulur.
- 03
Sözleşme ve mevzuat kaynaklı kısıtlar
Müşteri sözleşmesi ya da kurum politikası bazı verilerin üçüncü taraflara aktarılmasını yasaklayabilir. Yerinde kurulum bu kısıtı teknik olarak karşılar; hukuki değerlendirme yine hukuk danışmanınızın işidir.
- 04
Öngörülebilir kullanım maliyeti
Yoğun ve sürekli kullanımda kullanım başına ücretlendirme yerine sabit donanım yatırımı daha öngörülebilir olabilir. Hesabı, kullanım hacminize bakarak birlikte yapıyoruz.
04Özellikler
Lokal yapay zekâ kurulumu kapsamında yapılanlar
Kurulum, donanımdan kullanıcı ekranına uzanan bir zinciri kapsar.
- 01
Donanım boyutlandırma
Modelin boyutu, eşzamanlı kullanıcı sayısı ve beklenen yanıt hızı birlikte değerlendirilerek ekran kartı belleği, işlemci ve depolama ihtiyacı çıkarılır. Tedarik için gereksinim listesi hazırlanır.
- 02
Model seçimi ve ön deneme
Açık ağırlıklı modellerden birkaç aday sizin örnek belge ve sorularınızla denenir; Türkçe başarımı ve hız yan yana karşılaştırılır.
- 03
Çıkarım sunucusu ve iç API
Model, uygulamaların çağırabileceği bir iç API olarak sunulur; istek kuyruğu, kullanıcı bazlı kota ve erişim kaydı bu katmanda yönetilir.
- 04
Sohbet ve belge arayüzü
İstenirse çalışanlar için bir sohbet ekranı ve belgeleriniz üzerinde soru-cevap bileşeni kurulur.
- 05
İzleme ve güncelleme düzeni
Donanım yükü, yanıt süresi ve hata kayıtları izlenir. Model ve yazılım güncellemeleri önce deneme ortamında sınanır.
05Entegrasyonlar
İç ağdaki sistemlerle bağlantı
Yerinde çalışan model, mevcut altyapınızla uyumlu olduğunda işe yarar.
- 01
Kimlik ve erişim yönetimi
Kullanıcılar kurumsal dizin hizmetinizle (LDAP, Active Directory) doğrulanır; hangi grubun hangi işlevi kullanabileceği tanımlanır.
- 02
Dosya sunucusu ve belge sistemleri
Ağ paylaşımındaki klasörler ve belge yönetim sistemi, belgelerle çalışan bileşenlere bağlanır; belgeler iç ağdan çıkmadan işlenir.
- 03
Mevcut iş uygulamaları
ERP, CRM ve kendi geliştirdiğiniz yazılımlar iç API'yi çağırarak özetleme ve sınıflandırma gibi işlevleri kullanabilir.
- 04
Yedekleme ve günlük toplama
Model dosyaları, yapılandırma ve kullanım kayıtları mevcut yedekleme ve günlük toplama düzeninize dahil edilir.
06Süreç
Lokal yapay zekâ kurulumu hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
Açık ağırlıklı modeller, çıkarım ve güvenlik
Yerinde çözümlerde açık ağırlıklı modeller kullanılır: model dosyaları sunucunuza indirilir ve bir çıkarım sunucusu üzerinden hizmet verir. Modellerin lisansları farklıdır; ticari kullanım koşulları seçim aşamasında kontrol edilir. Sunucu belleğine sığmayan modeller nicemleme (quantization) gibi yöntemlerle küçültülebilir; bu bellek ihtiyacını düşürür ama kaliteden bir miktar taviz verebilir. Etkiyi sizin örneklerinizle ölçüyoruz.
Devamını okuDaha az göster
Yerinde model kendiliğinden daha güvenli ya da daha doğru değildir. Açık modeller büyük bulut modellerine göre bazı görevlerde, özellikle karmaşık Türkçe metinlerde ya da uzun akıl yürütmede zayıf kalabilir; bu yüzden karar pilot sonuçlarına dayandırılır. Hibrit kurguda hassas veriler yerelde, genel görevler bulutta çalıştırılabilir.
Sunucuya erişim ağ düzeyinde sınırlanır, iletişim şifrelenir ve kullanıcı etkinliği kayda alınır. Güvenlik yamaları ve model güncellemeleri düzenli bakımın parçasıdır. Kayıtlarda kişisel veri geçebileceğinden saklama süresi konusunda KVKK bakımından hukuk danışmanınızın görüşünü almanızı öneririz.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
09Sık sorulan sorular
Lokal yapay zekâ kurulumu hakkında sık sorulan sorular
Lokal yapay zekâ kurulumu için hangi donanım gerekir?
Model boyutuna, eşzamanlı kullanıcı sayısına ve istenen hıza göre değişir. Küçük modeller tek ekran kartlı bir sunucuda çalışabilir, büyükleri daha fazla bellek ister. Örnek yükünüzü görmeden gereksinim vermiyoruz; ön denemeden sonra bir liste hazırlıyoruz.
Lokal yapay zekâ kurulumu fiyatları neye göre değişir?
Başlıca etkenler donanım ihtiyacı, kullanılacak model, eşzamanlı kullanıcı sayısı, bağlanacak sistemler, arayüz ihtiyacı ve bakım kapsamıdır. Donanımın nasıl tedarik edileceğini ve Han Dijit tarafındaki kapsamı yazılı teklifle netleştiriyoruz.
Lokal model bulut tabanlı modeller kadar başarılı olur mu?
Her görevde olmaz. Yerinde çalışan açık modeller bazı işlerde büyük bulut modellerinin gerisinde kalabilir; özet, sınıflandırma ve belge soru-cevap gibi sınırlı görevlerde yeterli olabilir. Bunu pilot aşamasında kendi örneklerinizle ölçüp karar veriyoruz.
İnternet bağlantısı olmayan bir ağda çalıştırmak mümkün mü?
Evet. Model dosyaları ve yazılım paketleri dışarıda hazırlanıp kurulum sırasında aktarılır, sistem çevrimdışı çalışır. Güncellemeler de aynı yolla, kontrollü biçimde taşınır.
Verilerim gerçekten kurum dışına çıkmaz mı?
Model sunucunuzda çalıştığı için istekler ağınızdan dışarı çıkmaz. Güvenliğin geri kalanı, yani erişim yetkisi, yedekler ve kayıtlar, ortamınızın düzenine bağlıdır; kurulumda bunları da birlikte gözden geçiriyoruz.
Kurulumdan sonra güncellemeleri kim yapar?
Bakım ve destek anlaşmasıyla model ve yazılım güncellemelerini, güvenlik yamalarını ve izleme raporlarını biz yürütürüz. İsterseniz süreci kendi ekibinize devredecek biçimde belgeleriz.
10İlgili hizmetler