01Sorun ve çözüm
Vektör veritabanı kurulumu, bu vektörlerin canlı ortamda hızlı, güvenli ve sürdürülebilir biçimde saklanması ve sorgulanması için gereken altyapıyı kapsar: doğru ürünün seçimi, indeks ayarları, meta veri filtreleri, veri hattı, yedekleme ve izleme. Mevcut PostgreSQL veritabanınıza bir eklenti eklemenin yeterli olduğu durumlarda ayrı bir sistem önermiyoruz; ihtiyaç gerçekten ayrı bir motor gerektiriyorsa seçenekleri ölçerek karşılaştırıyoruz.
02Kimler için
Vektör veritabanı kurulumu kimler için gerekli
Gömme vektörleriyle çalışan bir uygulamanız varsa ya da kurmayı planlıyorsanız bu karar er geç önünüze gelir.
- Bir dil modeli asistanını şirket belgeleriyle beslemiş, prototipten canlı kullanıma geçmek isteyen yazılım ekipleri
- Kendi müşterilerine belge araması ya da soru yanıtlama özelliği sunan ve her müşterinin verisini ayrı tutması gereken SaaS şirketleri
- Ürün görselleri ya da açıklamaları üzerinden benzer ürün bulmak isteyen e-ticaret ve katalog sahipleri
- Verinin şirket dışına çıkmaması gerektiği için bulut hizmeti yerine kendi sunucusunda kurulum isteyen kurumlar
- Mevcut vektör aramasında yavaşlık, yüksek bellek tüketimi ya da alakasız sonuç sorunu yaşayan ekipler
03İhtiyaçlar
Prototipten canlıya geçerken karşılaşılan sorunlar
Birkaç bin kayıtla sorunsuz çalışan bir deneme, gerçek veri ve gerçek kullanıcıyla farklı davranır.
- 01
Yetki ve kiracı ayrımı
Vektör araması en yakın sonucu getirir, kimin görmeye yetkili olduğunu bilmez. Departman, müşteri ya da belge düzeyindeki yetki meta veri olarak saklanır ve filtre aramanın içinde uygulanır; sonradan ayıklamak hem sonuç kaybına hem veri sızıntısına yol açabilir.
- 02
Gömme modelinin değişmesi
Daha iyi bir gömme modeline geçildiğinde eski vektörler yeni sorgularla karşılaştırılamaz. Model sürümü her kayıtta tutulur, yeni indeks arka planda oluşturulur ve geçiş kesintisiz yapılır.
- 03
Kaynak verinin değişmesi
Belge güncellendiğinde ya da silindiğinde vektörün de güncellenmesi gerekir. Değişiklikleri izleyen bir veri hattı olmadan indeks zamanla kaynakla çelişen bilgi döndürmeye başlar.
- 04
Bellek ve maliyet
Yüksek boyutlu vektörler ve grafik tabanlı indeksler ciddi bellek ister. Vektör sıkıştırma, boyut azaltma ve disk tabanlı indeks seçenekleri arama kalitesine etkisi ölçülerek değerlendirilir.
04Özellikler
Vektör veritabanı kurulumunda yaptığımız işler
Kurulum, bir sunucuya yazılım yüklemekten çok uygulamanın arama davranışını doğru ayarlamaktır.
- 01
Ürün seçimi ve karşılaştırma
PostgreSQL için pgvector, Qdrant, Milvus, Weaviate gibi açık kaynak motorlar, Elasticsearch ya da OpenSearch'ün vektör özellikleri ve Pinecone gibi yönetilen hizmetler kendi verinizle denenir. Karar; sorgu hızı, filtre desteği, işletme yükü ve barındırma tercihinize göre verilir.
- 02
İndeks ve parametre ayarı
HNSW ya da IVF gibi indeks türlerinin parametreleri, arama doğruluğu ile yanıt süresi arasındaki dengeye göre ayarlanır. Ayar, sizin sorgularınızdan hazırlanan bir test setiyle doğrulanır.
- 03
Hibrit arama
Ürün kodu, kişi adı ya da madde numarası gibi tam eşleşme gerektiren sorgular için vektör araması anahtar kelime aramasıyla birleştirilir.
- 04
Veri alma hattı
Kaynaklardan veriyi alan, parçalayan, gömme modeline gönderen ve sonuçları meta veriyle birlikte yazan iş akışı kurulur; hatalı kayıtlar ayrı bir kuyrukta toplanır.
- 05
Yedekleme ve izleme
Anlık görüntü ile yedek alınır, geri yükleme düzenli olarak denenir. Sorgu süresi, bellek kullanımı ve indeks boyutu panelden izlenir.
05Entegrasyonlar
Vektör veritabanının bağlandığı bileşenler
Vektör deposu tek başına çalışmaz; veriyi üreten ve sorgulayan sistemlerle birlikte tasarlanır.
- 01
Gömme modeli sağlayıcıları
OpenAI gibi sağlayıcıların gömme servisleri ya da kendi sunucunuzda çalışan açık modeller kullanılabilir. Türkçe metinlerde birkaç modelin sizin verinizdeki başarısı karşılaştırılır.
- 02
Kaynak veritabanları ve dosya depoları
İlişkisel veritabanları, belge yönetim sistemleri ve bulut dosya depolarındaki değişiklikler izlenerek indeks güncel tutulur.
- 03
Uygulama çatıları
LangChain ya da LlamaIndex gibi çatılarla geliştirilmiş uygulamalar için uyumlu bağlantılar kurulur; doğrudan API kullanan uygulamalar da desteklenir.
- 04
Bulut ve kurum içi altyapı
Kurulum AWS, Azure ya da Google Cloud üzerinde, kendi sunucularınızda ya da Kubernetes kümenizde yapılabilir.
06Süreç
Vektör veritabanı kurulumu hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
Arama doğruluğu, ölçeklenme ve veri güvenliği
Yaklaşık en yakın komşu araması adından da anlaşılacağı gibi hız kazanmak için doğruluktan bir miktar ödün verir. Bu ödünün ne kadar olduğunu bilmeden yapılan ayar, kullanıcıya fark edilmeden eksik sonuç döndürebilir. Bu yüzden kurulumun başında kesin arama ile yaklaşık aramanın sonuçlarını karşılaştıran bir ölçüm hazırlıyor, indeks parametrelerini bu ölçüme göre belirliyoruz. Filtreli sorgularda performansın ayrıca test edilmesi gerekir; dar bir filtre bazı indeks türlerinde aramayı belirgin biçimde yavaşlatır.
Devamını okuDaha az göster
Ölçeklenme ihtiyacı kayıt sayısından çok eş zamanlı sorgu yüküne ve güncelleme sıklığına bağlıdır. Tek sunucuda çalışan bir kurulum birçok işletme için yeterlidir; çok kiracılı ya da yüksek trafikli senaryolarda parçalama ve kopyalama planlanır.
Vektörler, kaynak metni birebir içermese de ondan bilgi sızdırabilir; çoğu kurulumda yanlarında metin parçaları da saklanır. Bu nedenle vektör deposu diğer üretim veritabanlarınızla aynı özenle korunur: ağ erişimi kısıtlanır, bağlantılar şifrelenir, yetkilendirme uygulama düzeyinde zorunlu tutulur ve kişisel veri içeren kayıtlar için KVKK kapsamındaki saklama ve silme talepleri karşılanabilir biçimde tasarlanır.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
09Sık sorulan sorular
Vektör veritabanı kurulumu hakkında sık sorulan sorular
Ayrı bir vektör veritabanına gerçekten ihtiyacım var mı?
Her zaman değil. Verileriniz zaten PostgreSQL'deyse ve kayıt sayısı makul düzeydeyse pgvector eklentisi çoğu ihtiyacı karşılar ve yönetilecek ek bir sistem doğurmaz. Çok yüksek hacim, yoğun filtreli sorgular ya da gelişmiş ölçeklenme gerektiğinde ayrı bir motor anlam kazanır.
Vektör veritabanı kurulumu fiyatları neye göre belirlenir?
Kayıt hacmi, veri kaynaklarının sayısı, yetki ve kiracı yapısının karmaşıklığı, barındırma tercihi, yüksek erişilebilirlik ihtiyacı ve veri alma hattının kapsamı belirleyicidir. Yönetilen bir hizmet seçilirse onun kullanım ücreti ayrıca doğar.
Kendi sunucumuzda kurulum yapılabilir mi?
Evet. Açık kaynak motorlar kendi sunucunuzda ya da özel bulutunuzda çalıştırılabilir. Gömme modelini de kurum içinde çalıştırırsanız veri hiçbir aşamada dışarı çıkmaz.
Gömme modelini değiştirirsek baştan mı başlamamız gerekir?
Vektörlerin yeniden üretilmesi gerekir, ama baştan başlamak gerekmez. Veri hattı kaynak belgelerden yeni vektörleri arka planda üretir, yeni indeks hazır olunca trafik ona aktarılır.
Vektör veritabanı kurulumu yaptırmak için hangi bilgileri hazırlamalıyız?
Yaklaşık kayıt sayısı ve büyüme beklentisi, verilerin şu an nerede durduğu, kimin hangi veriye erişebileceği, beklenen sorgu yoğunluğu ve verinin şirket dışına çıkıp çıkamayacağı yeterli başlangıç sağlar.
Mevcut kurulumumuz yavaş çalışıyor, iyileştirebilir misiniz?
Önce sorunun kaynağına bakarız: indeks parametreleri, filtre kullanımı, donanım ya da veri hattındaki gecikme olabilir. Ölçüm sonucuna göre ayar yapar ya da gerekiyorsa başka bir motora geçişi planlarız.
10İlgili hizmetler