01Sorun ve çözüm
ETL geliştirme hizmetimizde bu elle yapılan işi otomatik, izlenebilir ve tekrar çalıştırılabilir veri hatlarına çeviriyoruz. Kaynak sistemlerden yalnızca değişen kayıtlar çekilir, ürün ve müşteri kodları eşleştirilir, iş kuralları tek bir yerde kod olarak yazılır ve sonuç raporlama veritabanına yüklenir. Bir adım hata verdiğinde kimin, neden haberdar olacağı da tasarımın parçasıdır.
02Kimler için
ETL yazılımı ihtiyacı olan işletmeler
Veri birden fazla sistemde duruyor ve bir araya getirilmesi insan emeğine bağlıysa ETL hattı zaman ve hata maliyetini birlikte düşürür.
- Satış verisini kendi sitesi, birden çok pazaryeri ve fiziksel mağazalarından toplayıp tek raporda görmek isteyen perakendeciler
- Şubelerinde farklı ERP ya da ön muhasebe programı kullanan ve konsolide rapor hazırlamakta zorlanan gruplar
- Power BI veya benzeri bir raporlama aracına geçmiş ama veri hazırlığını hâlâ elle yapan finans ekipleri
- Reklam platformları, CRM ve satış verisini birleştirerek kanal bazında getiri ölçmek isteyen pazarlama ekipleri
- Eski SSIS paketleri ya da zamanlanmış betikleri kimsenin anlamadığı ve bakımı zorlaşmış BT departmanları
03İhtiyaçlar
Elle hazırlanan raporların gizli maliyetleri
Elle veri hazırlığı görünürde ucuzdur; maliyet, fark edilmeyen hatalarda ve bekleyen kararlarda ortaya çıkar.
- 01
Tutarsız ana veri
ERP'deki stok kodu, pazaryerine girilen satıcı stok kodu ve sitedeki varyant kimliği çoğu zaman birbirini tutmaz; renk ve beden kırılımı da her sistemde farklı açılır. Eşleştirme tablosu olmadan ürün bazında doğru ciro hesaplanamaz.
- 02
Kişiye bağlı süreç
Hangi dosyanın nereden indirileceği ve hangi düzeltmenin elle yapılacağı tek bir çalışanın bilgisindedir. ETL hattı bu bilgiyi koda ve belgeye taşır.
- 03
Sessiz veri hataları
Kaynak sistemde bir alanın biçimi değiştiğinde elle hazırlanan rapor hata vermez, yalnızca yanlış rakam üretir. Otomatik kalite kontrolleri bu tür sapmaları yükleme anında yakalar.
- 04
Geçmişin kaybolması
Kaynak sistemler çoğu zaman yalnızca güncel durumu tutar; bir müşterinin geçen dönem hangi bölgeye bağlı olduğu kaybolur. Yavaş değişen boyut teknikleriyle geçmiş değerler saklanır.
04Özellikler
ETL yazılımı projelerinde kurduğumuz yapı
Her hat aynı ilkelerle yazılır; böylece yeni bir kaynak eklemek mevcut düzeni bozmaz.
- 01
Artımlı veri çekme
Kaynaklardan her seferinde tüm tablo değil, son çalıştırmadan beri değişen kayıtlar çekilir. Değişiklik tarihi olmayan tablolarda değişiklik yakalama ya da karşılaştırma yöntemi kullanılır.
- 02
Ham ve dönüştürülmüş katmanlar
Kaynaktan gelen veri önce olduğu gibi saklanır, dönüşümler ayrı bir katmanda yapılır. Bir iş kuralı değiştiğinde geçmiş, kaynaktan yeniden çekmeye gerek kalmadan baştan hesaplanabilir.
- 03
Veri kalitesi kontrolleri
Boş olmaması gereken alanlar, tekrarlanan kayıtlar, beklenmedik düşüşler ve toplam tutarlılığı her yüklemede otomatik test edilir; başarısız kontrol raporları besleyen tabloya ulaşmadan durdurulur.
- 04
Zamanlama, yeniden deneme ve uyarı
Hatlar bağımlılık sırasına göre çalışır. Geçici bağlantı hataları otomatik yeniden denenir; kalıcı hatalarda e-posta, Teams ya da Slack üzerinden ilgili kişiye bildirim gider.
- 05
Veri soy ağacı ve belgeler
Bir rapordaki sayının hangi kaynak tablodan ve hangi dönüşümlerden geçerek geldiği izlenebilir; her tablo ve alan açıklamasıyla belgelenir.
05Entegrasyonlar
ETL hatlarına bağlanan kaynaklar ve hedefler
Bağlantı yöntemi her kaynağın sunduğu imkâna göre seçilir: doğrudan veritabanı, API ya da dosya.
- 01
ERP ve ön muhasebe
Logo, Mikro, Netsis, Nebim, Paraşüt veya SAP Business One gibi sistemlerden satış, stok, cari ve fatura verisi okunur.
- 02
E-ticaret ve pazaryerleri
Trendyol, Hepsiburada, n11 ve Amazon Türkiye gibi pazaryerlerinin satıcı API'lerinden sipariş, iade ve komisyon verisi çekilir.
- 03
Pazarlama ve CRM
Google Ads, Meta reklam hesapları, Google Analytics ve kullandığınız CRM'den harcama, kampanya ve fırsat verisi alınır.
- 04
Hedef veritabanı
Veri PostgreSQL, SQL Server, BigQuery ya da Snowflake gibi bir raporlama veritabanına veya veri ambarına yüklenir.
- 05
ETL ve zamanlama araçları
İhtiyaca göre Apache Airflow, dbt, Azure Data Factory, AWS Glue ya da mevcut SSIS altyapınız kullanılır.
06Süreç
ETL yazılımı yaptırmak istiyorum: süreç nasıl işler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
ETL yazılımında çalışma ilkelerimiz
Her hattı, aynı tarih aralığı için tekrar çalıştırıldığında aynı sonucu üretecek şekilde yazıyoruz. Bir gece yükleme yarıda kesilirse ertesi sabah aynı işi yeniden başlatmak tekrar eden kayıt ya da eksik veri oluşturmaz. Bu özellik, geçmiş dönemi yeniden hesaplamanız gerektiğinde de işinizi kolaylaştırır.
Devamını okuDaha az göster
Kaynak sistemlere yük bindirmemek için okumaları mesai dışı saatlere ya da salt okunur kopyalara yönlendiriyoruz. ERP veritabanına doğrudan bağlanmak gerekiyorsa yalnızca okuma yetkisi olan ayrı bir kullanıcı tanımlanır ve hangi tablolara erişildiği belgelenir.
Dönüşüm kodu sürüm kontrolünde tutulur ve değişiklikler test ortamında örnek veriyle denenip gözden geçirildikten sonra canlıya alınır. Kişisel veri taşıyan alanlar raporlama katmanına ihtiyaç kadar ve gerektiğinde maskelenerek aktarılır.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
- 03
Danışmanlık
Saatlik veya günlük teknik danışmanlık
Karar, denetim veya yön belirleme gereken durumlar için.
- Saatlik veya günlük çalışma
- Yazılı rapor ve öneriler
- Ekibinizle birlikte çalışma
09Sık sorulan sorular
ETL yazılımı hakkında sık sorulan sorular
ETL yazılımı yaptırma fiyatları hangi kalemlere göre değişir?
Kaynak sistem sayısı ve bağlantı yöntemleri, dönüşüm kurallarının karmaşıklığı, veri hacmi, geçmiş veri aktarımı ihtiyacı ve kalite kontrollerinin kapsamı belirleyicidir. Kaynak listesini birlikte çıkardıktan sonra yazılı ve kapsamı tanımlı bir teklif sunuyoruz.
ETL ile ELT arasındaki fark nedir, hangisini kullanmalıyız?
ETL'de veri hedefe yüklenmeden önce dönüştürülür; ELT'de önce ham hâliyle yüklenir, dönüşüm hedef veritabanında yapılır. BigQuery ya da Snowflake gibi güçlü bir veri ambarı kullanıyorsanız ELT genellikle daha esnektir; kaynak sistemlerin ve hedefin kapasitesine göre karar veririz.
Kullandığımız ERP'nin API'si yok; yine de veri çekilebilir mi?
Çoğu yerli ERP'nin altında SQL Server gibi bir veritabanı çalışır ve salt okunur bir kullanıcıyla doğrudan okunabilir. Bu mümkün değilse programın dışa aktardığı dosyalar belirli bir klasörden düzenli olarak alınır. Lisans ve destek koşullarınızı yazılım sağlayıcınızla kontrol etmenizi öneririz.
Veriler ne sıklıkla güncellenir?
Çoğu raporlama ihtiyacı için gece ya da birkaç saatte bir çalışan yüklemeler yeterlidir. Daha sık güncelleme gerekiyorsa artımlı çekme sıklığı artırılır; anlık veri gereken durumlarda gerçek zamanlı veri işleme yaklaşımı değerlendirilir.
Mevcut SSIS paketlerimizi yenilemeniz gerekir mi?
Her zaman değil. Paketler düzgün çalışıyorsa belgelendirip izleme ve hata bildirimi eklemek yeterli olabilir. Bakımı zorlaşmış ya da buluta taşınacak paketler ise Azure Data Factory, Airflow veya dbt gibi bir yapıya aşama aşama aktarılır.
Hat kurulduktan sonra yeni bir rapor ihtiyacı çıkarsa ne olur?
Ham katman korunduğu için yeni bir rapor çoğu zaman yalnızca yeni bir dönüşüm tablosu eklenerek karşılanır. Bu tür eklemeleri bakım ve destek anlaşması kapsamında ya da ayrı küçük işler olarak planlıyoruz.
10İlgili hizmetler