Depolama yok, ağlama yok: Veri depolama engelini aşıyor

Bu bilgi çağında, Büyük veri giderek herhangi bir organizasyonun can damarı olarak görülüyor. Yine de, veriler çok büyük ve çeşitli hale geldiğinden, bunların düzgün bir şekilde analiz edilmesi işletmeler için büyük bir zorluk olmaya devam ediyor.

Bu nedenle, bu temel verilerin sağlaması gereken iş içgörülerinin üretilmesi ya çok zor, zaman alıcı ya da maliyetli hale geliyor.

Temel zorluklardan biri, depolama ve analitik çözümleri arasındaki etkileşim ve bunların bu veri yığınlarını işleyip işleyemeyecekleri veya depolama engelini tamamen atlamanın bir yolu var mı?

Veri depolama biçimleri: Bir geçmiş

Büyük verideki bu patlamanın zaman çizelgesi üç farklı döneme ayrılabilir.

Önce basit metin dosyası (TXT) depolaması vardı, ardından daha büyük veri kümeleriyle daha kolay izleme ve etkileşim sağlayan ilişkisel veritabanı yönetim sistemleri (RDBMS) geldi.

Üçüncü aşama – Parquet ve Iceberg gibi sıkıştırılmış dosyaları daha etkili bir şekilde toplayan modern açık kaynak formatları – bu veritabanlarının kapasitesinin toplama ve analiz etme görevi verilen veriler tarafından geride bırakılması gerçeğinden kaynaklandı.

Ardından, veritabanı şirketlerinin kendi depolama yöntemlerini şu şekilde geliştirecekleri aşama geldi: veri depoları. Bu ısmarlama, tescilli veri depolama biçimleri daha iyi performans sunar ve verilere bağımlı şirketlerin verilerini sorgulayabilecekleri ve en etkili şekilde işleyebilecekleri şekillerde depolamasına olanak tanır.

Peki, veri analitiği neden hala gecikiyor?

Veri ambarlarının maliyeti

Sağladıkları özelleştirmeye rağmen, veri ambarı depolama biçimleri bir dizi dezavantajla birlikte gelir.

Bu ambarların alım protokolleri şunları gerektirir: kurumsal veriler depoya girmeden önce ön işleme tabi tutulur, bu nedenle sorgular ertelenir. Kaynak depolama konumu (verilerin hala ham biçiminde oluşturulduğu yer) ile veri ambarı arasındaki eşitleme işlemi karmaşık olduğundan ve veri kümelerini çarpıtabileceğinden, “gerçeğin” tek bir kaynağı da yoktur.

Herhangi bir depolama formatı konumundan sorgulanabilir veriler genellikle yalnızca bir uygulama için kapalı olduğundan ve bu nedenle veri analitiği için gereken çeşitli araçlarla her zaman uyumlu olmadığından, satıcıya kilitlenme başka bir sorundur. Son olarak, bir departman verilerini analiz etmek istediğinde, veri kaynaklarının çoğaltılması gerekir, bu da farklı veri ambarları arasında dolambaçlı ve bazen imkansız veri paylaşımına neden olabilir.

Bu eksiklikler giderek daha belirgin hale geldikçe ve veriye dayalı kuruluşlar için daha büyük zorluklar oluşturdukça, veri depolama destanının dördüncü bölümü açılıyor.

“Veri gölü”nü girin.

Veri gölüne dalış

Bir veri ambarının (ve adının ima ettiği duvarlarla çevrili, sonlu doğa) aksine, bir veri gölü akıcı, derin ve tamamen açıktır. İlk kez, her büyüklükteki işletme, görüntülerden videolara ve metne kadar ilgili verileri merkezi, ölçeklenebilir, geniş çapta erişilebilir bir depolama konumuna kaydedebilir.

Girişleri ve kolları ve depolama biçimlerinin akışkan doğasıyla bu çözümler yalnızca veri depolama için değil, aynı zamanda veri paylaşımı ve senkronizasyonu da göz önünde bulundurularak tasarlandığından, veri gölleri satıcı bağlılığı ve veri çoğaltma zorluklarıyla tıkanmaz. veya tek gerçek kaynaklı komplikasyonlar.

Bir kuruluş içindeki çeşitli silolardaki analitik ihtiyaçları yönetmek için yeterince etkili olan Apache Parquet dosyaları gibi açık kaynaklı biçimlerle birleştiğinde, bu benzersiz depolama sistemleri, kuruluşların bir veri gölü mimarisi içinde başarılı bir şekilde çalışmasına ve bunun performans avantajlarından yararlanmasına olanak sağlamıştır.

göldeki ev

Veri gölleri gelecek vaat eden bir depolama ve analitik çözümü olsa da, hala nispeten yenidir. Buna göre, endüstri uzmanları, bu tür bulut bilgi işlem yeteneklerinin depolama çözümlerinde sahip olabileceği potansiyel fırsatları ve tuzakları keşfetmeye devam ediyor.

Mevcut dezavantajların üstesinden gelmek için bir girişim, veri gölü yeteneklerini veri ambarı organizasyonu ve bulut bilgi işlemle – “veri göl evi” olarak adlandırılan – esasen bir veri gölünün üzerinde yüzen bir veri ambarı ile birleştirmektir.

Bir veri gölünün yalnızca klasörlerdeki bir dosya koleksiyonu olduğunu düşünün: Basit ve kullanımı kolaydır, ancak merkezi bir veritabanı olmadan etkili bir şekilde veri çekemez. Veri ambarları, açık kaynak dosya biçimlerini okumak için bir yol geliştirdikten sonra bile, alım gecikmeleri, satıcı bağlılığı ve tek bir gerçek kaynaktan kaynaklanan zorluklar devam etti.

Öte yandan veri gölevleri, işletmelerin tüm verilerini aşırı dönüşümler ve kopyalar olmadan olduğu gibi sorgulamak için benzer bir veritabanı işleme motoru ve semantik katman kullanmalarına izin verirken, her iki yöntemin de avantajlarını korur.

Veri depolama ve analize yönelik bu birleşik yaklaşımın başarısı şimdiden cesaret verici. Ventana Araştırma Başkan Yardımcısı ve araştırma direktörü Matt Aslett tahmin ediyor 2024 yılına kadar, data lake’i benimseyenlerin dörtte üçünden fazlasının, birikmiş verilerinin iş değerini artırmak için veri göl evi teknolojilerine yatırım yapacak.

Kuruluşlar artık bir bulut veri gölünün ucuz, esnek depolama özelliklerinin yanı sıra SQL veritabanlarının analitik avantajlarından yararlanırken, kendi verilerine sahip olmaya ve her etki alanı için ayrı analitik ortamları sürdürmeye devam edebilir.

Bu göl ne kadar derine gidiyor?

Veri şirketleri, bulut veri gölevlerini giderek daha fazla benimserken, giderek daha fazla işletmeler, günümüzün en kritik iş varlıklarından birine, yani büyük veri kümelerindeki karmaşık analitiklere odaklanabilecek. İşletmeler, verilerini barındırma motorlarına taşımak yerine, aslında analiz edilmeleri gereken verilere yüksek seviyeli motorlar getiriyor olacaklar.

Yalnızca birkaç tıklamayla donanım tahsisinin gerçekleştirilebildiği bulut veri göl evlerinin düşük giriş engelleri sayesinde kuruluşlar, akla gelebilecek her kullanım durumu için kolayca erişilebilir verilere sahip olacak.

Veri gölü sağlayıcıları, bilgi işlem kaynaklarını sonsuza kadar otomatik olarak ölçeklendirmeden daha büyük veri kümeleriyle başa çıkma becerileri konusunda test edilmeye devam edecek. Ancak teknoloji ilerledikçe bile, veri göl evi yöntemi, veri bağımsızlığına izin verme ve kullanıcılara hem veri ambarlarının hem de veri göllerinin avantajlarını sağlama becerisinde tutarlı kalacaktır.

Veri gölünün suları denenmemiş gibi görünebilir, ancak dalmaya katılmayan satıcıların ve işletmelerin veri potansiyellerini gerçekleştiremeyeceği giderek daha açık hale geliyor.

Matan Libis, şirketinde Üründen Sorumlu Başkan Yardımcısıdır. SQream.