01Sorun ve çözüm
LLM entegrasyonu, bir ya da birden fazla büyük dil modelini mevcut uygulamanıza dayanıklı bir katman üzerinden bağlama işidir. Han Dijit, özelliği uygulamanın geri kalanından ayıran, modeli değiştirmeyi kolaylaştıran ve her çağrıyı ölçülebilir kılan bir mimari kurar.
02Kimler için
LLM entegrasyonuna ihtiyaç duyan yazılım ekipleri
İhtiyaç genellikle iki durumda ortaya çıkar: yeni bir ürün özelliği geliştirmek ya da mevcut bir iç uygulamaya zekâ eklemek.
- Ürününe özetleme, öneri, sınıflandırma ya da doğal dille arama eklemek isteyen SaaS ve yazılım şirketleri
- ERP, CRM ve talep yönetimi gibi iç uygulamalarında yapay zekâ destekli bir adım denemek isteyen bilgi işlem ekipleri
- Prototipi çalışan ama gecikme, maliyet ya da tutarsızlık yüzünden üretime çıkaramayan geliştirici ekipleri
- Birden fazla model sağlayıcısını karşılaştırıp tek bir sağlayıcıya bağımlılığı azaltmak isteyen teknoloji yöneticileri
03İhtiyaçlar
Entegrasyonda sık karşılaşılan teknik sorunlar
Bu sorunlar çoğunlukla ilk canlı kullanımda ortaya çıkar.
- 01
Tutarsız ve biçimsiz yanıtlar
Model, uygulamanın beklediği alan yapısına uymayan bir metin döndürebilir. Çıktı şemasının zorlanması ve doğrulanması, bozuk bir yanıtın akışı kırmasını önler.
- 02
Yüksek gecikme
Uzun yanıtlar kullanıcıyı bekletir. Parça parça gösterim (streaming), ağır işlerin arka plana alınması ve kısa istemler gecikmeyi yönetilebilir tutar.
- 03
Gözden kaçan maliyet
Her çağrının bedeli girdi ve çıktı uzunluğuna bağlıdır. Özellik ve müşteri bazında kullanım ölçülmezse faturanın nedeni anlaşılamaz.
- 04
Sağlayıcı kesintisi ve model değişimi
Sağlayıcı kesinti yaşayabilir, model sürümü emekliye ayrılabilir. Yedek model ve sürüm sabitleme olmadan özellik bir anda çalışmaz hale gelir.
04Özellikler
Entegrasyon katmanında teslim edilenler
Katman modelden bağımsız bir arayüz sunar; uygulamanız belirli bir modelin değil bu arayüzün diliyle konuşur.
- 01
Model bağımsız servis katmanı
Uygulama bir sağlayıcının kütüphanesini değil kendi servis arayüzünü çağırır. Sağlayıcı ya da model değiştirmek yalnızca bu katmanda yapılır.
- 02
Yapılandırılmış çıktı ve şema doğrulama
Yanıtlar JSON gibi tanımlı bir yapıda istenir, alan tipleri doğrulanır; uymayan yanıt yeniden denenir ya da hata yoluna alınır.
- 03
Önbellek, zaman aşımı ve yedek model
Aynı girdi için tekrar çağrı yapılmaz; yanıt belirlenen sürede gelmezse ikinci modele geçilir.
- 04
Gözlemlenebilirlik
Her çağrının girdisi (gerekirse maskelenmiş), yanıtı, gecikmesi, kullanım miktarı ve hata durumu kaydedilir; maliyet özellik bazında raporlanır.
- 05
Değerlendirme seti
Gerçek girdilerden oluşan bir test seti her istem ya da model değişikliğinden önce çalıştırılır; sonuçlar kötüleşiyorsa değişiklik yayına çıkmaz.
05Entegrasyonlar
Bağlanılan model sağlayıcıları ve altyapı
Entegrasyon hem model tarafıyla hem de sizin altyapınızla konuşur.
- 01
Bulut model API'leri
OpenAI API gibi sağlayıcıların ve benzer bulut hizmetlerinin API'leri kullanılabilir; seçim kalite, gecikme, maliyet ve veri koşullarına göre yapılır.
- 02
Kurum içi modeller
Verinin dışarı çıkmaması gerektiğinde aynı arayüzle kendi sunucunuzdaki bir modele bağlanılır.
- 03
Veritabanı ve kuyruk sistemleri
Binlerce kaydın özetlenmesi gibi toplu işler, hız sınırlarına takılmadan bir mesaj kuyruğu üzerinden arka planda yürütülür.
- 04
Mevcut uygulama ve kimlik yapısı
Entegrasyon, mevcut API'leriniz ve yetki kurallarınızla uyumlu çalışır; gizli anahtarlar uygulama koduna değil, gizli bilgi deposuna konur.
06Süreç
LLM entegrasyonu yaptırmak istiyorum: süreç nasıl işler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
LLM entegrasyonunda model seçimi ve test yaklaşımı
Model seçimi tek seferlik bir karar değildir. Önce görev tanımlanır, ardından aynı örnek girdiler birkaç adayla denenir; kalite, gecikme ve maliyet yan yana okunur. Basit sınıflandırma için küçük ve hızlı bir model, çok adımlı akıl yürütme için daha güçlü bir model uygun olabilir. Seçimin gerekçesi yazılı bir karşılaştırma olarak paylaşılır.
Devamını okuDaha az göster
Dil modelleri aynı girdiye her zaman aynı yanıtı vermeyebilir ve kendinden emin biçimde yanlış bilgi üretebilir. Bu yüzden belirleyici olması gereken adımlarda sıcaklık gibi ayarlar düşürülür, çıktı kurallarla doğrulanır, riskli sonuçlar insan onayına bağlanır ve yeni bir model sürümü kullanılmadan önce değerlendirme seti yeniden çalıştırılır.
Kullanıcı verisi modele gönderilmeden önce gerekirse maskelenir. Hangi verinin hangi sağlayıcıya gideceği, saklama koşulları ve yurt dışına aktarım KVKK açısından hukuk danışmanınızla birlikte değerlendirilmelidir; teknik tarafta bu kararın uygulanabilir olmasını biz sağlıyoruz.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
09Sık sorulan sorular
LLM entegrasyonu hakkında sık sorulan sorular
LLM entegrasyonu yaptırmak yerine hazır bir API'yi doğrudan kullanamaz mıyım?
Prototip için kullanabilirsiniz. Üretimde zaman aşımı, tutarsız yanıt, maliyet izleme ve sağlayıcı değişikliği gibi konular ortaya çıkar; entegrasyon çalışması bunları yöneten katmanı kurar.
Hangi dil modelini seçmeliyim?
Tek bir doğru yanıt yoktur; görevin türü, kabul edilebilir gecikme, bütçe ve verinin gizliliği belirleyicidir. Aynı örnek girdilerle birkaç modeli deneyip sonuçları yan yana gösteriyoruz.
Sağlayıcı model sürümünü değiştirirse uygulamam bozulur mu?
Sürüm sabitleme ve değerlendirme seti bu riski yönetir. Yeni sürüme geçmeden önce set yeniden çalıştırılır; sonuçlar kötüleşiyorsa geçiş ertelenir.
LLM entegrasyonu fiyatları neye göre değişir?
Entegre edilecek özellik sayısı, bağlanacak uygulamalar, gerçek zamanlı ya da toplu çalışma ihtiyacı ile değerlendirme ve izleme kapsamı fiyatı belirler. Model kullanım bedeli ayrıca sağlayıcıya ödenir; bunu senaryonuza göre öngörüyoruz.
Birden fazla modeli aynı anda kullanabilir miyim?
Evet. Basit işleri ucuz bir modele, zor işleri güçlü bir modele yönlendirmek ya da ana model yanıt vermediğinde yedek modele geçmek mümkündür.
Modelin ürettiği yanıtları uygulamamın içinde nasıl denetlerim?
Her çağrı kaydedilir, yanıtlar şema ve kurallarla doğrulanır, gereken yerlerde insan onayına yönlendirilir. Bir şikâyet geldiğinde ilgili çağrının girdisine ve yanıtına geri dönmek mümkündür.
10İlgili hizmetler