01Sorun ve çözüm
LLM ve yapay zekâ güvenlik testi hizmetinde uygulamanızı hem modelin kendisi hem de etrafındaki kod, yetki ve veri akışı açısından ele alıyoruz. Deneyleri sizin senaryolarınıza göre elle kuruyor, tekrar eden denemeleri araçlarla çoğaltıyoruz. Her bulguyu, aynı istemi yapıştırdığınızda sonucu yeniden görebileceğiniz biçimde belgeliyoruz; çünkü modelin yanıtları her seferinde aynı çıkmayabilir ve kanıtın tekrarlanabilir olması gerekir.
02Kimler için
LLM ve yapay zekâ güvenlik testi kimlere gerekir
Risk, modelin hangi veriyi gördüğü ve hangi işlemi tetikleyebildiğiyle büyür.
- Web sitesinde ya da WhatsApp kanalında müşteri sorularını yanıtlayan bir sohbet botunu canlıya almaya hazırlanan işletmeler
- Sözleşme, teknik doküman veya personel yönergelerini RAG yöntemiyle aranabilir hâle getiren kurumlar
- Modelin sipariş iptali, randevu açma ya da e-posta gönderme gibi işlemleri araç çağrısıyla yaptığı ajan tabanlı ürünler geliştiren yazılım ekipleri
- Kurum içinde açık kaynaklı bir modeli kendi sunucusunda çalıştıran ve erişim sınırlarından emin olmak isteyen BT birimleri
- Kurumsal bir alıcının güvenlik anketinde yapay zekâ bileşenine dair soru gelen SaaS sağlayıcıları
03İhtiyaçlar
Dil modeli uygulamalarına özgü riskler
Bu risklerin çoğu, modelin metni veri ile talimat arasında ayırt edememesinden doğar.
- 01
Doğrudan ve dolaylı istem enjeksiyonu
Kullanıcının sohbete yazdığı komutların yanında, modelin okuduğu bir web sayfası, PDF ya da e-postaya gizlenmiş talimatlar da denenir. Dolaylı enjeksiyon, saldırganın sisteme hiç giriş yapmadan modeli yönlendirmesine izin verdiği için çoğu zaman daha tehlikelidir.
- 02
Sistem istemi ve bağlam sızıntısı
Sistem isteminde iş kuralları, iç adresler ya da yanlışlıkla bırakılmış anahtarlar bulunabilir. Modelin bunları farklı dillerde, parça parça veya kodlanmış biçimde dışarı verip vermediği sınanır.
- 03
Belge erişiminde yetki aşımı
RAG mimarisinde vektör veritabanından getirilen parçaların, soruyu soran kullanıcının görme yetkisine göre süzülüp süzülmediği kontrol edilir. Satış temsilcisinin İK belgesinden alıntı alabildiği bir yapı, modelin değil erişim katmanının hatasıdır.
- 04
Aşırı yetkili araç çağrıları
Modele tanınan fonksiyonların kapsamı, parametre doğrulaması ve onay adımları incelenir. Bir iade aracının tutar sınırı yoksa ya da müşteri kimliğini modelden alıyorsa, yönlendirilmiş bir sohbet gerçek bir işleme dönüşebilir.
- 05
Model çıktısının güvensiz işlenmesi
Modelin ürettiği metin bir arayüzde HTML olarak gösteriliyor, SQL sorgusuna ekleniyor ya da kabukta çalıştırılıyorsa, klasik enjeksiyon açıkları modelin ağzından geri döner.
04Özellikler
Testin kapsamı ve teslim edilenler
Çalışma, uygulamanın gerçek kullanım senaryolarından türetilen bir test planıyla başlar.
- 01
Kötüye kullanım senaryoları
Botun hangi konularda konuşmaması, hangi veriyi asla vermemesi ve hangi işlemi onaysız yapmaması gerektiğini sizinle birlikte listeleriz. Testler bu kırmızı çizgileri aşmaya odaklanır.
- 02
Çok turlu ve rol yapma denemeleri
Tek mesajla engellenen bir istek, birkaç tur süren bir sohbetle, kurgusal bir rol ya da başka bir dile geçişle tekrar denenir. Korkulukların yalnızca ilk mesajda mı çalıştığı böyle ortaya çıkar.
- 03
Kanıtlı ve tekrarlanabilir bulgular
Her bulgu için kullanılan istem dizisi, model sürümü, sıcaklık gibi ayarlar ve alınan yanıt kaydedilir. Bulgu birkaç denemede bir çıkıyorsa bu da rapora yazılır.
- 04
Savunma katmanı önerileri
Öneriler yalnızca istemi güçlendirmekle sınırlı kalmaz; girdi ve çıktı filtreleri, araçlarda insan onayı, kullanıcı bazlı belge süzme ve kayıt tutma gibi kod tarafı düzeltmeleri de içerir.
05Entegrasyonlar
Model sağlayıcıları ve bağlı sistemler
Modelin nerede çalıştığı kadar neye bağlandığı da kapsamı belirler.
- 01
Bulut model servisleri
OpenAI veya Azure OpenAI gibi sağlayıcıların API'leri üzerinden çalışan uygulamalarda anahtar yönetimi, kullanım sınırları ve sağlayıcının içerik filtrelerinin nerede devreye girdiği değerlendirilir.
- 02
Kurum içinde çalışan açık modeller
Kendi sunucunuzda barındırdığınız modellerde çıkarım sunucusunun ağ erişimi, kimlik doğrulaması ve model dosyalarının bütünlüğü de kapsama alınır.
- 03
Vektör veritabanı ve belge kaynakları
Belgelerin hangi kaynaklardan, hangi yetkiyle içeri alındığı ve dışarıdan zehirli içerik eklenip eklenemeyeceği incelenir.
- 04
Araç olarak bağlanan iş sistemleri
CRM, sipariş yönetimi, takvim ya da e-posta gibi modelin çağırdığı servislerin API yetkileri, modelin isteği kimin adına ilettiği sorusuyla birlikte ele alınır.
06Süreç
LLM ve yapay zekâ güvenlik testi hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
LLM ve yapay zekâ güvenlik testinde başvurulan çerçeveler
Test planını OWASP'ın büyük dil modeli uygulamaları için yayımladığı Top 10 listesine göre kuruyor, saldırı tekniklerini MITRE ATLAS ile eşleştiriyoruz. Uygulamanın web arayüzü ve API'si de varsa bu katmanlar klasik web güvenliği yöntemleriyle birlikte değerlendirilir; çünkü pek çok yapay zekâ açığı sonunda sıradan bir yetki ya da girdi doğrulama hatasına dayanır.
Devamını okuDaha az göster
Dil modelleri olasılıksal çalıştığı için tek bir başarısız deneme, açığın olmadığını göstermez. Önemli senaryoları farklı ifadeler ve tekrarlarla deniyor, sonucu deneme sayısıyla birlikte raporluyoruz. Canlı ortamda çalışıyorsak maliyet doğuracak yoğun istek üretimini önceden sizinle sınırlandırıyor, gerçek müşteri verisine dokunan bir yanıt alırsak denemeyi durdurup size hemen haber veriyoruz.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Danışmanlık
Saatlik veya günlük teknik danışmanlık
Karar, denetim veya yön belirleme gereken durumlar için.
- Saatlik veya günlük çalışma
- Yazılı rapor ve öneriler
- Ekibinizle birlikte çalışma
09Sık sorulan sorular
LLM ve yapay zekâ güvenlik testi hakkında sık sorulan sorular
Sistem istemine güvenlik kuralları yazmak yeterli değil mi?
Tek başına yeterli olmaz. İstem talimatları ikna edici bir sohbetle aşılabilir. Asıl koruma, modelin erişebildiği veriyi ve çağırabildiği araçları kod tarafında sınırlamaktan gelir; istem bunun üzerine eklenen bir katmandır.
LLM ve yapay zekâ güvenlik testi fiyatları neye göre belirlenir?
Modele bağlı araç ve veri kaynaklarının sayısı, kullanıcı rolleri, çok dilli destek, RAG kullanılıp kullanılmadığı ve yeniden test ihtiyacı belirleyicidir. Yalnızca soru yanıtlayan bir bot ile işlem yapabilen bir ajan aynı kapsamda değerlendirilmez.
Modeli kendimiz eğitmedik, yine de test gerekir mi?
Evet. Risklerin büyük kısmı modelin ağırlıklarında değil, onu nasıl kullandığınızda saklıdır: hangi belgeleri okuttuğunuz, hangi işlemlere izin verdiğiniz ve çıktıyı nerede gösterdiğiniz. Hazır bir API kullanan uygulamalar da bu açıdan sınanmalıdır.
Bir LLM ve yapay zekâ güvenlik testi firması hangi erişimlere ihtiyaç duyar?
Her kullanıcı rolü için test hesabı, mümkünse sistem istemi ve araç tanımlarının bir kopyası, belge kaynaklarının listesi ve test ortamı. Kaynak koda erişim zorunlu değildir ama verilirse bulguların kök nedeni daha hızlı gösterilir.
Test sonrası modelin hiçbir zaman yanlış davranmayacağını söyleyebilir misiniz?
Hayır, olasılıksal bir sistem için böyle bir söz verilemez. Yapabileceğimiz, bilinen saldırı tekniklerine karşı mevcut korumaların nerede yetersiz kaldığını göstermek ve hatalı bir yanıtın zararını sınırlayacak tasarım önerileri sunmaktır.
Model sağlayıcısını değiştirirsek test tekrarlanmalı mı?
Önerilir. Farklı modeller aynı isteme farklı tepki verir; bir modelde işe yarayan korkuluk diğerinde çalışmayabilir. Önceki testteki senaryo seti saklandığı için yeniden test daha dar ve hızlı kurulur.
10İlgili hizmetler