01Sorun ve çözüm
Data lake kurulumu hizmetimizde depolama katmanını, klasör ve tablo düzenini, kataloğu, erişim yetkilerini ve veri yükleme hatlarını birlikte tasarlıyoruz. Veri ham, temizlenmiş ve analize hazır olmak üzere ayrı katmanlarda tutulur; her katmana kimin yazabileceği ve kimin okuyabileceği bellidir. Tablolar açık tablo biçimlerinde saklandığı için aynı veriye farklı sorgu motorlarından erişilebilir.
02Kimler için
Data lake kurulumu kimlerin işine yarar
Veri ambarına sığmayan ya da henüz nasıl kullanılacağı belli olmayan veriyi düzenli biçimde saklamak isteyen kuruluşlar için uygundur.
- Uygulama logları, tıklama olayları ve cihaz verisi gibi yapısız ya da yarı yapılandırılmış veriyi uzun süre saklaması gereken şirketler
- Veri ambarındaki depolama maliyetini düşürmek için geçmiş veriyi daha ucuz bir katmana taşımak isteyen işletmeler
- Makine öğrenmesi ekiplerine ham ve geçmişe dönük veriye erişim sağlamak isteyen ürün şirketleri
- Birden fazla ERP, e-ticaret ve CRM kaynağını analiz öncesinde tek bir yerde toplamak isteyen holding ve gruplar
- Mevcut nesne depolama alanı düzensizleşmiş ve hangi verinin nerede olduğu bilinmeyen veri ekipleri
03İhtiyaçlar
Bir data lake'i bataklığa çeviren eksikler
Depolama alanı ucuz olduğu için düzen ihmal edilir; asıl maliyet sonradan aranan ve bulunamayan veride ortaya çıkar.
- 01
Katalog ve sahiplik bilgisi yok
Bir klasördeki dosyaların hangi sistemden geldiği, hangi sıklıkla güncellendiği ve kime ait olduğu yazılı değilse veri kullanılmaz ya da yanlış kullanılır. Her tablo kataloğa açıklaması ve sahibiyle kaydedilir.
- 02
Ham ve işlenmiş veri karışık
Analistlerin ham dosyayı doğrudan sorguladığı yapılarda aynı metrik farklı raporlarda farklı çıkar. Katmanlı düzen, temizleme kurallarının tek yerde uygulanmasını sağlar.
- 03
Kişisel veri silinemiyor
Değiştirilemez dosyalar içinde dağılmış kişisel verinin silme talebi geldiğinde bulunup kaldırılması zordur. Açık tablo biçimleri satır düzeyinde silmeyi destekler; kişisel alanlar ayrıca ayrı ve erişimi kısıtlı tablolarda tutulabilir.
- 04
Küçük dosyalar ve yanlış bölümleme
Her dakika yazılan küçük dosyalar ve sorgulara uymayan klasör bölümlemesi, sorguları yavaşlatıp tarama maliyetini artırır. Düzenli birleştirme işleri ve sorgu kalıbına göre seçilen bölüm alanları bu sorunu önler.
04Özellikler
Data lake kurulumu hizmetinin kapsamı
Kurulum, ilk veri kaynaklarının yüklendiği ve analistlerin sorgu yazabildiği çalışan bir yapıyla teslim edilir.
- 01
Katman ve klasör tasarımı
Ham, temizlenmiş ve analize hazır katmanlar ile kaynak, tablo ve tarih bazlı klasör düzeni bir adlandırma kuralıyla birlikte belirlenir.
- 02
Açık tablo biçimi
Veri Apache Iceberg, Delta Lake ya da Apache Hudi tablolarında saklanır. Böylece güncelleme, silme, şema değişikliği ve geçmiş bir ana dönerek sorgulama mümkün olur.
- 03
Veri kataloğu
Tablolar AWS Glue Data Catalog, Unity Catalog veya Hive Metastore gibi bir katalogda tanımlanır; her tablonun açıklaması, sahibi ve güncelleme sıklığı kayıtlıdır.
- 04
Yükleme hatları
Veritabanlarından değişiklik yakalama ile artımlı aktarım, dosya bırakma noktalarından ve API'lerden düzenli çekme işleri kurulur; her yükleme kaydı izlenebilir.
- 05
Yaşam döngüsü kuralları
Belirli bir süreyi dolduran ham veri otomatik olarak daha ucuz arşiv katmanına taşınır, saklama süresi biten veri kurala göre silinir.
05Entegrasyonlar
Gölün çevresindeki depolama ve sorgu bileşenleri
Data lake'in değeri, veriyi farklı araçların aynı anda okuyabilmesinden gelir.
- 01
Nesne depolama servisleri
Amazon S3, Azure Data Lake Storage Gen2 ve Google Cloud Storage; şirket içi kurulumlarda MinIO gibi S3 uyumlu depolama kullanılabilir.
- 02
Sorgu motorları
Amazon Athena, Trino, Apache Spark ve BigQuery gibi motorlar aynı tabloları kopyalamadan sorgular.
- 03
Kaynak sistemler
PostgreSQL, SQL Server ve MySQL veritabanları, ERP ve e-ticaret sistemlerinin API'leri ile SFTP üzerinden gelen dosyalar göle bağlanır.
- 04
Erişim yönetimi
AWS Lake Formation ya da Unity Catalog gibi katmanlarla tablo, sütun ve satır bazında yetki verilir; erişimler kurumsal kimlik sisteminize bağlanır.
- 05
Raporlama ve veri bilimi araçları
Power BI, Looker Studio ve Jupyter defterleri gibi araçlar analize hazır katmana bağlanır.
06Süreç
Data lake kurulumu hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
Data lake mimarisinde öncelik verdiğimiz kararlar
Tek bir sağlayıcının kapalı biçimine kilitlenmemek için veriyi Parquet dosyaları ve açık tablo biçimleriyle saklıyoruz. Bugün Athena ile sorguladığınız tabloyu yarın Spark ya da Trino ile de okuyabilmeniz, platform değiştirme maliyetini düşük tutar.
Devamını okuDaha az göster
Her yükleme işi yeniden çalıştırıldığında aynı sonucu üretecek biçimde yazılır; yarıda kalan bir aktarım tekrarlandığında veri iki kez yazılmaz. Hatalı ya da şemaya uymayan kayıtlar ayrı bir karantina alanına ayrılır ve sorumlu ekibe bildirilir.
Depolama alanı varsayılan olarak şifrelenir, genel erişime kapalıdır ve her okuma ile yazma işlemi denetim kaydına düşer. Kişisel veri içeren alanlar kurulumda işaretlenir; maskeleme ve imha kuralları KVKK kapsamındaki saklama politikanıza göre tanımlanır.
08Çalışma modelleri
Bu hizmette çalışma modelleri
09Sık sorulan sorular
Data lake kurulumu hakkında sık sorulan sorular
Data lake kurulumu fiyatları neleri etkiler?
Bağlanacak kaynak sistem sayısı, veri hacmi, açık tablo biçimi ve katalog ihtiyacı, erişim kurallarının ayrıntısı ve kurulumun bulutta mı şirket içinde mi yapılacağı fiyatı belirler. Kapsamı kaynak listesine göre çıkarıp proje bazlı, yazılı bir teklif sunuyoruz.
Data lake mi veri ambarı mı kurmalıyız?
Verinin çoğu yapılandırılmış ve raporlama odaklıysa veri ambarı daha doğrudan bir çözümdür. Yapısız veri, uzun süreli ham veri saklama ya da makine öğrenmesi ihtiyacı varsa data lake öne çıkar. Lakehouse yaklaşımıyla ikisini aynı depolama üzerinde birleştirmek de mümkündür.
Lakehouse ne anlama geliyor?
Lakehouse, nesne depolamadaki dosyaların üzerine açık tablo biçimleriyle veri ambarı benzeri işlem güvenliği ve SQL erişimi ekleyen mimaridir. Ayrı bir veri ambarı tutmadan raporlama ve veri bilimi aynı tablolar üzerinden yapılabilir.
Data lake kurulumu firması olarak verimizi hangi bölgede tutuyorsunuz?
Veri sizin bulut hesabınızda ya da kendi sunucularınızda durur; biz yalnızca kurulum için gerekli yetkiyle çalışırız. Bölge seçimi, kişisel veri içeriği ve KVKK kapsamındaki yurt dışına aktarım kuralları dikkate alınarak sizinle birlikte yapılır.
Şirket içinde, bulut kullanmadan data lake kurulabilir mi?
Evet. MinIO gibi S3 uyumlu bir nesne depolama, açık tablo biçimi ve Trino ya da Spark gibi bir sorgu motoruyla şirket içinde de kurulabilir. Bu durumda donanım, disk yedekliliği ve yazılım güncellemeleri de tasarımın parçası olur ve işletim sorumluluğu teslimde ekibinize devredilir.
Kurulumdan sonra yeni kaynakları kendimiz ekleyebilir miyiz?
Evet. Yükleme hatları ortak bir şablonla yazıldığı için yeni bir kaynak eklemek, tanım dosyasına kaynak bilgisini girip kataloğa kaydetmekten ibaret hâle gelir. Teslimde bu adımları gösteren bir kılavuz ve örnek bir kaynak eklenmiş hâliyle bırakıyoruz.
10İlgili hizmetler