01Sorun ve çözüm
Veri temizleme ve dönüştürme çalışmasında önce verinin profilini çıkarırız: hangi alanda kaç farklı yazım biçimi var, nerede boşluk, nerede çakışma var. Ardından her düzeltmeyi yazılı bir kurala bağlarız. Kurallar betik olarak saklandığı için aynı işlem yeni gelen dosyalarda da tekrar çalıştırılabilir; elle yapılan ve bir daha kimsenin hatırlamadığı düzeltmeler bırakmayız.
02Kimler için
Veri temizleme ve dönüştürme hizmeti kimlere uygun
Veri bir yerden başka bir yere taşınacaksa ya da birden fazla kaynak birleştirilecekse temizlik kaçınılmazdır.
- Yeni bir ERP ya da CRM'e geçmeden önce eski programdaki cari, stok ve personel kartlarını düzene sokmak isteyen şirketler
- Birleşme ya da satın alma sonrası iki ayrı müşteri listesini tek kayıt düzenine indirmesi gereken işletmeler
- Tedarikçilerden farklı biçimlerde gelen ürün listelerini kendi kataloğuna aktaran e-ticaret ve toptan satış firmaları
- Raporlama veya veri ambarı projesine başlamadan önce kaynak verinin güvenilirliğini sağlamak isteyen ekipler
- Saha formlarından, anketlerden ya da eski Excel arşivlerinden toplanan verileri kullanılabilir hâle getirmek isteyen kurumlar
03İhtiyaçlar
Kirli verinin en sık görülen biçimleri
Aşağıdaki sorunların her biri farklı bir teknikle ele alınır; hepsine aynı yöntemi uygulamak yeni hatalar üretir.
- 01
Mükerrer ve parçalı kayıtlar
Aynı kişi ya da firma farklı yazımlarla birden çok kez bulunur. Eşleştirme vergi numarası, telefon ve e-posta gibi güçlü anahtarlarla başlar, ad benzerliğiyle yakalanan şüpheli eşleşmeler ise onayınıza sunulur.
- 02
Karakter kodlaması ve yazım farkları
Windows-1254 ile UTF-8 arasında yanlış dönüşüm, Türkçe büyük-küçük harf kuralları ve fazladan boşluklar arama ile eşleştirmeyi bozar. Bu alanlar tek bir standarda çevrilir.
- 03
Biçimi tutarsız alanlar
Tarih, telefon, para tutarındaki ondalık ayırıcı ve ölçü birimleri farklı biçimlerde yazılmış olabilir. Her alan için kabul edilen biçim tanımlanır, uymayan kayıt ayrı bir listede raporlanır.
- 04
Kod listelerinin uyuşmaması
Bir sistemde “İST”, diğerinde “34”, üçüncüsünde “İstanbul” yazan alanlar ya da farklı stok kodu yapıları eşleme tablolarıyla ortak bir kod sistemine bağlanır.
- 05
Eksik ve geçersiz değerler
Boş bırakılmış zorunlu alanlar, biçimsel kontrolden geçmeyen kimlik ya da vergi numaraları ve gelecekteki doğum tarihleri işaretlenir. Hangilerinin tamamlanacağı, hangilerinin dışarıda bırakılacağı birlikte kararlaştırılır.
04Özellikler
Çalışmanın teslim edilen parçaları
İş bittiğinde elinizde yalnızca temiz bir dosya değil, onu üreten yöntem de kalır.
- 01
Veri profili raporu
Her tablo ve alan için dolu-boş oranlarını somut örneklerle birlikte gösteren bir durum özeti hazırlanır; hangi sorunun ne kadar yaygın olduğu görülür.
- 02
Kural kitabı
Her dönüştürme kuralı sade bir dille yazılır ve iş birimlerinizin onayına sunulur. “Aynı vergi numarasına sahip kayıtlarda son güncellenen adres esas alınır” gibi kararlar belgede kalır.
- 03
Tekrar çalıştırılabilir dönüştürme hattı
Kurallar SQL, Python ya da dbt gibi araçlarla kodlanır; sürüm kontrolünde saklanır ve yeni veri geldiğinde aynı sonucu üretir.
- 04
Karantina ve düzeltme listesi
Kurala uymayan kayıtlar silinmez; nedeniyle birlikte ayrı bir tabloya alınır. İlgili ekip bu listeyi düzeltip yeniden işleme sokabilir.
05Entegrasyonlar
Veri temizleme ve dönüştürme sırasında bağlanan kaynaklar
Kaynağa okuma yetkisiyle bağlanır, hedefe yalnızca onaylanmış çıktıyı yazarız.
- 01
ERP ve ön muhasebe programları
Logo, Mikro, Netsis, ETA ya da Paraşüt gibi programların veritabanları veya dışa aktarım dosyaları kaynak ya da hedef olabilir.
- 02
Elektronik tablolar ve düz dosyalar
Excel, CSV ve sabit genişlikli metin dosyaları; sayfa adı, başlık satırı ve kodlama farkları otomatik algılanacak şekilde okunur.
- 03
Veritabanları ve veri ambarı
SQL Server, PostgreSQL, MySQL ya da bulut veri ambarları üzerinde dönüştürme doğrudan veritabanı içinde yapılabilir.
- 04
Adres ve kod listeleri
İl, ilçe ve mahalle listeleri, birim tabloları ya da sektörünüze özgü sınıflandırma kodları eşleme tablosu olarak kullanılır.
06Süreç
Veri temizleme ve dönüştürme hizmeti nasıl ilerler?
Adım 01
Analiz
İş akışınızı, kullanıcılarınızı ve mevcut sistemlerinizi dinleriz; kapsamı, öncelikleri ve kabul ölçütlerini yazılı hâle getiririz.
Adım 02
Tasarım
Ekran akışlarını ve veri modelini çıkarırız. Arayüzü sizinle gözden geçirip onay almadan geliştirmeye geçmeyiz.
Adım 03
Geliştirme
Kısa döngülerle çalışırız; her döngü sonunda çalışan bir sürümü test ortamında görürsünüz.
Adım 04
Test
İşlevsel testler, entegrasyon testleri ve temel güvenlik kontrolleriyle hataları yayından önce yakalarız.
Adım 05
Yayın
Sunucu, alan adı, yedekleme ve izleme ayarlarını yaparak canlıya alırız; ekibinize kısa bir kullanım eğitimi veririz.
Adım 06
Bakım
İsterseniz bakım ve destek anlaşmasıyla güncellemeleri, izlemeyi ve yeni geliştirmeleri sürdürürüz.
07Teknoloji
Veri temizleme ve dönüştürme yönteminin güvenlik tarafı
Ham veri hiçbir aşamada üzerine yazılmaz. Kaynağın değişmeyen bir kopyası alınır, her adımın çıktısı ayrı bir katmanda tutulur. Böylece bir kuralın beklenmedik sonuç verdiği fark edildiğinde geriye dönüp yalnızca o adım yeniden çalıştırılır; birleştirilen kayıtların hangi kaynak satırlardan geldiği de izlenebilir.
Devamını okuDaha az göster
Cari ve personel listeleri çoğunlukla kişisel veri içerir. Çalışmada kullanılan ortam erişim kayıtlı tutulur, test ve geliştirme aşamasında kimlik numarası gibi alanlar maskelenir. İş tamamlandığında ara dosyalar KVKK'daki veri güvenliği yükümlülüğü gözetilerek imha edilir ve bu adım yazılı olarak bildirilir.
08Çalışma modelleri
Bu hizmette çalışma modelleri
- 01
Proje bazlı
Sabit kapsam, sabit fiyat ve belirli teslim tarihi
Kapsamı belli, teslim tarihi olan işler için.
- Yazılı kapsam ve kabul ölçütleri
- Sabit fiyat ve belirli teslim tarihi
- Teslim ve kabul adımları sözleşmede
- 02
Bakım ve destek
Aylık sözleşmeli, SLA'lı bakım, destek ve geliştirme saati
Yayındaki bir sistemin sürekliliği için.
- Aylık sözleşme ve SLA
- İzleme, güncelleme ve hata düzeltme
- Aylık geliştirme saati
- 03
Danışmanlık
Saatlik veya günlük teknik danışmanlık
Karar, denetim veya yön belirleme gereken durumlar için.
- Saatlik veya günlük çalışma
- Yazılı rapor ve öneriler
- Ekibinizle birlikte çalışma
09Sık sorulan sorular
Veri temizleme ve dönüştürme hakkında sık sorulan sorular
Veri temizleme ve dönüştürme fiyatları nasıl hesaplanır?
Kayıt sayısından çok kaynak sayısı, sorunların çeşitliliği ve onayınıza sunulacak şüpheli eşleşme miktarı belirleyicidir. Profil raporu çıktıktan sonra kapsamı net görür, buna göre yazılı teklif hazırlıyoruz.
Mükerrer kayıtları birleştirirken yanlış eşleşme olursa ne olur?
Kesin anahtarla eşleşen kayıtlar otomatik birleştirilir; yalnızca isim benzerliğine dayanan eşleşmeler onay listesine düşer. Birleştirilen her kaydın kaynak satırları saklandığı için hatalı bir birleştirme geri ayrılabilir.
Temizlik bir kez mi yapılır, yoksa sürekli mi?
Taşıma öncesi tek seferlik bir çalışma olabilir. Ancak veri sürekli yeni kaynaklardan geliyorsa aynı kuralların otomatik çalıştığı bir hat kurmak, kirliliğin yeniden birikmesini önler; bunun için bakım ve destek anlaşması yapılabilir.
Excel ile kendimiz temizleyemez miyiz?
Küçük ve tek seferlik listelerde mümkündür. Kayıt sayısı büyüdüğünde, birden çok kaynak birleştiğinde ya da aynı işin her ay tekrarlanması gerektiğinde elle düzeltme hem hataya açık hem de izlenemez olur.
Bir veri temizleme ve dönüştürme firmasına verimizi vermek güvenli mi?
Çalışma tercihen sizin sunucunuzda ya da bulut hesabınızda, sınırlı bir erişimle yürütülür. Veri dışarı alınması gerekiyorsa gizlilik sözleşmesi imzalanır, aktarım şifreli yapılır ve iş bitiminde kopyalar silinir.
Dönüştürülmüş veri yeni programımıza nasıl yüklenir?
Hedef programın kabul ettiği aktarım şablonuna ya da API'sine göre çıktı üretilir. Önce küçük bir deneme yüklemesiyle alan eşlemeleri doğrulanır, ardından tüm veri aktarılır.
10İlgili hizmetler