01Sorun ve çözüm
MLOps, modeli bir kerelik çalışma olmaktan çıkarıp bakımı yapılan bir yazılım bileşenine dönüştüren uygulamalar bütünüdür: deney kaydı, sürümlenmiş veri ve model, otomatik test ve dağıtım, canlıda izleme ve gerektiğinde geri alma. Mevcut modellerinizi ve ekibinizin araçlarını inceleyip eksik halkaları tamamlıyoruz; her şeyi sıfırdan kurmak yerine işleyen parçaları koruyoruz.
Devamını okuDaha az göster
Hedef basittir: bir modelin hangi veriyle ve hangi kodla üretildiğini, hangi koşulda kötüleştiğini ve bir önceki sürüme nasıl dönüleceğini herkesin bilmesi.
02Kimler için
MLOps ve model izleme hangi ekiplere gerekir
Canlıda en az bir modeli olan ve bu modelin kararlarına iş süreci bağlanmış her ekip adaydır.
- Kredi skoru, dolandırıcılık ya da risk modelini canlıda çalıştıran ve kararlarını denetime açıklaması gereken finans ekipleri
- Talep tahmini veya fiyatlama modeli kullanan ama modelin ne zaman yeniden eğitileceğine elle karar veren perakende ve dağıtım firmaları
- Birden fazla veri bilimcinin aynı model üzerinde çalıştığı ve hangi deneyin canlıya çıktığının karıştığı analitik ekipleri
- Görüntü işleme modellerini sahadaki cihazlara dağıtan ve cihazlar arasında sürüm farkı oluşan üretim tesisleri
- Dil modeli tabanlı asistanını yayına almış, istem sürümlerini ve yanıt kalitesini takip etmekte zorlanan yazılım ekipleri
03İhtiyaçlar
Canlıdaki modellerde sık görülen sorunlar
Model hatası çoğunlukla kod hatası gibi bağırmaz; sessizce birikir.
- 01
Veri ve kavram kayması
Girdi verisinin dağılımı eğitim dönemindekinden uzaklaşabilir ya da aynı girdinin doğru cevabı zamanla değişebilir. İkisi de ölçülmeden fark edilmez ve model eski dünyaya göre karar vermeye devam eder.
- 02
Gecikmeli gelen doğru cevap
Bir kredinin ödenip ödenmediği ya da bir tahminin tutup tutmadığı ancak sonradan belli olur. Bu sürede kalite, girdi istatistikleri ve tahmin dağılımı gibi dolaylı göstergelerle izlenmelidir.
- 03
Tekrarlanamayan eğitim
Model dosyası durur ama hangi veri kesitiyle, hangi parametrelerle ve hangi kod sürümüyle üretildiği bilinmez. Bir sorun çıktığında aynı modeli yeniden üretmek mümkün olmaz.
- 04
Eğitim ile canlı arasındaki fark
Özellikler eğitimde bir sorguyla, canlıda başka bir kodla hesaplanır ve küçük farklar büyük hatalara dönüşür. Ortak özellik tanımları bu riski azaltır.
04Özellikler
MLOps ve model izleme altyapısının parçaları
Kapsam, ekibinizin olgunluğuna göre seçilir; aşağıdakilerin hepsi her projede gerekmez.
- 01
Deney ve model kaydı
Her eğitim çalıştırmasının verisi, parametreleri, metrikleri ve çıktısı kaydedilir. Canlıya çıkacak sürüm bir model kayıt defterinde onaylanır, kimin onayladığı görünür.
- 02
Otomatik eğitim ve dağıtım hattı
Yeni veri geldiğinde ya da kod değiştiğinde model eğitilir, sabit bir test setinde mevcut sürümle karşılaştırılır ve yalnızca geçerse dağıtıma hazırlanır.
- 03
Kademeli yayın ve geri alma
Yeni sürüm önce gölge modda, kararlarını uygulamadan çalışabilir ya da trafiğin küçük bir bölümüne açılabilir. Sorun görülürse önceki sürüme tek adımda dönülür.
- 04
Kayma ve kalite panosu
Girdi özelliklerinin dağılımı, tahmin dağılımı, gecikme ve hata oranları tek ekranda izlenir; eşik aşıldığında ilgili kişiye bildirim gider.
- 05
Dil modeli uygulamalarında izleme
İstem ve model sürümleri, istek başına maliyet, yanıt süresi ve örneklenmiş yanıtların kalite puanı kaydedilir; bir istem değişikliğinin etkisi sürümler arasında karşılaştırılır.
05Entegrasyonlar
Mevcut araçlarınızla birlikte çalışma
MLOps katmanı, veri ve yazılım ekiplerinin halihazırda kullandığı araçların arasına yerleşir.
- 01
Veri ambarı ve veri gölü
Eğitim verisi doğrudan ambardan ya da nesne depolamadan, tarih damgalı kesitler halinde okunur; aynı kesit sonradan yeniden çağrılabilir.
- 02
Kod deposu ve CI/CD
GitHub, GitLab ya da Azure DevOps gibi platformlardaki hatlara model testleri ve dağıtım adımları eklenir.
- 03
Bulut ve konteyner ortamı
Modeller AWS, Azure, Google Cloud ya da kendi sunucularınızda konteyner olarak çalıştırılır; Kubernetes kullanıyorsanız ölçekleme onun üzerinden yapılır.
- 04
Gözlemleme ve uyarı araçları
Metrikler Prometheus ve Grafana gibi mevcut izleme yığınınıza aktarılır; uyarılar ekibin kullandığı e-posta ya da mesajlaşma kanalına düşer.
06Süreç
MLOps ve model izleme hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
MLOps ve model izlemede teknik yaklaşımımız
Araç seçiminde ölçek belirleyicidir. Tek bir model ve küçük bir ekip için MLflow gibi açık kaynak bir kayıt aracı ile basit bir zamanlanmış eğitim hattı yeterli olabilir. Onlarca model ve ayrı ekipler söz konusuysa Kubeflow benzeri orkestrasyon araçları ya da bulut sağlayıcının yönetilen makine öğrenmesi servisi değerlendirilir. Gereğinden ağır bir platform kurmak, bakımını yapacak kimse olmadığında modeli izlenmez hale getirir.
Devamını okuDaha az göster
Kaymayı ölçmek için her özelliğin eğitim dönemindeki dağılımı referans alınır ve canlı veriyle istatistiksel testlerle karşılaştırılır. Ancak her kayma sorun değildir; mevsimsel değişim beklenen bir durumdur. Bu yüzden eşikleri iş birimiyle birlikte koyuyor, uyarıların gerçekten aksiyon gerektiren durumlarda gelmesini sağlıyoruz. Doğru cevaplar geldikçe asıl performans metriği hesaplanır ve yeniden eğitim kararı bu metriğe bağlanır.
Denetlenebilirlik isteyen modellerde her tahminin girdisi, model sürümü ve çıktısı saklanır. Kişisel veri içeren girdiler için saklama süresi, maskeleme ve erişim yetkileri KVKK yükümlülüklerinize göre belirlenir; kayıtlar yalnızca yetkili rollerce görüntülenir.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
09Sık sorulan sorular
MLOps ve model izleme hakkında sık sorulan sorular
Modelimiz zaten çalışıyor, MLOps'a neden ihtiyaç duyalım?
Bugün çalışıyor olması, gelecek çeyrekte de doğru karar vereceğini göstermez. İzleme olmadan kötüleşme ancak iş sonucu bozulduğunda fark edilir. Kayıt ve geri alma düzeni olmadan da bir sorun anında hangi sürüme dönüleceği belirsiz kalır.
Modelleri başka bir ekip ya da firma geliştirdi, yine de izleme kurabilir misiniz?
Evet. Modelin girdi ve çıktılarına erişebildiğimiz sürece izleme katmanı modelin içine dokunmadan kurulabilir. Yeniden eğitim hattı için ise eğitim kodu ve veri kaynaklarına erişim gerekir; bunu ilk incelemede birlikte netleştiriyoruz.
Model ne sıklıkla yeniden eğitilmeli?
Sabit bir takvim yerine ölçüme dayalı karar öneriyoruz. Verisi hızlı değişen alanlarda sık, durağan alanlarda seyrek eğitim yeterli olur. Kayma ve performans eşikleri aşıldığında hat otomatik olarak eğitimi başlatabilir ya da onaya sunabilir.
MLOps ve model izleme yaptırmak için hangi bilgileri hazırlamalıyız?
Canlıdaki modellerin listesi, nerede çalıştıkları, beslendikleri veri kaynakları, şu an nasıl güncellendikleri ve hangi kararları etkiledikleri ilk görüşme için yeterlidir. Mevcut kod deposu ve bulut hesabı yapısını analiz aşamasında birlikte inceliyoruz.
MLOps ve model izleme fiyatları neye göre değişir?
Model sayısı ve türü, eğitim hattının otomatikleştirilip otomatikleştirilmeyeceği, çalışma ortamı, izlenecek metriklerin kapsamı, denetim kaydı ihtiyacı ve kurulum sonrası bakım beklentisi belirleyicidir. Mevcut durumu inceledikten sonra kapsamı ve bedeli yazılı teklifte netleştiriyoruz.
Dil modeli kullanan asistanlarda da izleme yapılır mı?
Yapılır, ancak ölçütler farklıdır. Sınıflandırma modelindeki gibi tek bir doğru cevap olmadığından yanıtlar örneklenip belirlenen kriterlere göre puanlanır; maliyet, yanıt süresi ve istem sürümü de birlikte kaydedilir.
10İlgili hizmetler