Kod KâşifiMERAK ET. DENE. KEŞFET.Bir şey öğren

Yayıncı: Kod Kâşifi · Düzeltme bildir

Büyük veri nedir: milyarlarca satır ne anlama gelir?

Büyük veri, tek bir bilgisayarın kolayca işleyemeyeceği kadar büyük ve karmaşık veri kümelerini anlatmak için kullanılan bir terimdir.

Çok sayıda küçük veri taşı, birlikte çalışan bilgisayarlara doğru büyük bir akış oluşturuyor.
Büyük veri, tek başına incelemesi zor olan geniş ve karmaşık bilgi kümeleridir. Kod Kâşifi için üretilen yapay zekâ illüstrasyonu.

Neden bu kadar büyük?

Her gün milyarlarca insan arama yapıyor, alışveriş yapıyor, mesaj atıyor ve konum paylaşıyor. Her işlem bir kayıt oluşturuyor. Fabrikalar, araçlar ve sensörler de sürekli veri üretiyor. Bu verilerin toplamı geleneksel tablolarla yönetilemeyecek kadar büyüktür. Büyük veri analizi, hastalıkların yayılma örüntüsünü bulmak, trafik sıkışıklığını öngörmek, müşterilerin davranışını anlamak ve enerji tüketimini optimize etmek için kullanılır. Daha fazla veri, daha iyi örüntü anlamına gelebilir; ama yanlış soru sorulursa yanlış sonuç çıkar.

Mahremiyet sorunu

Büyük veri kişisel verileri de barındırır. Kim nereye gitmiş, ne almış, ne aramış... Bu bilgiler bir yerde toplanınca güvenlik ve gizlilik çok önemli hâle gelir. Veriyi kim tutuyor, nasıl kullanıyor ve kiminle paylaşıyor? Bu soruların cevabını bilmek her kullanıcının hakkıdır. Bir hafta boyunca gün içinde ne kadar veri ürettiğini düşün: kaç mesaj attın, kaç site açtın, kaç uygulamayı kullandın. Bu sayıyı dünya nüfusuyla çarp. Büyük verinin büyüklüğünü hayal edebilirsin.

Çok sayı, kendiliğinden iyi cevap demek değil

Bir okul kantininde her satış kaydediliyor. Uzun bir liste oluşunca çok veri var diyebilirsin. Ama hangi soruya cevap arıyorsun? En sevilen ürün mü, israf edilen miktar mı, belirli saatteki yoğunluk mu? Aynı kayıtlar farklı sorular için farklı biçimde incelenir. Verinin büyüklüğü, soruyu sormanın yerini tutmaz.

Bazı kayıtlar eksik veya yinelenmiş olabilir. Aynı satış iki kez görünürse toplam şişer. Ürünün adı farklı yazılırsa aynı şey iki ayrı ürün gibi sayılabilir. Çok kayıt olması bu hataları yok etmez; bazen etkilerini büyütür. Analizden önce verinin nasıl toplandığını anlamak gerekir.

Birlikte artan iki sayı arasında mutlaka neden ilişkisi bulunmaz. Hava sıcak olduğunda hem soğuk içecek hem dondurma satışı artabilir; biri diğerini yapmış olmayabilir. İyi yorum, sayının arkasındaki koşulları sorar. İnsanlara ait kayıtlar söz konusu olduğunda gerekli olmayan ayrıntıları toplamak da doğru değildir. Analiz için işe yarayan bilgiyle kişiyi tanımlayan bilgi ayrı değerlendirilmelidir.

Büyüklüğün üç farklı yüzü

Bir okul kantininin bir günlük kayıtları kâğıtta yönetilebilir. Çok sayıda cihazın her saniye ölçüm gönderdiği bir sistemde ise miktar, geliş hızı ve veri çeşitliliği birlikte zorlayıcı olabilir. Büyük veri yalnız çok satır bulunması değildir; mevcut araçlarla depolama ve işleme sınırları da önemlidir. Bir tabloyu büyük yapan şey kullanım bağlamına bağlıdır. Bu nedenle kesin tek bir satır eşiği bütün projeler için anlamlı olmayabilir.

Bir haftalık kendi mesaj sayını dünya nüfusuyla çarpmak büyüklüğü hayal etmeye yardım edebilir, fakat gerçek dünya veri miktarını ölçmez. İnsanların kullanım alışkanlıkları farklıdır; mesajlar da aynı boyutta değildir. Kaba benzetmeyle ölçülmüş sonuç arasında fark vardır. İyi analiz, önce hangi verinin toplandığını ve hangi soruya cevap arandığını açıklar. Çok sayı, eksik veya yanlı kayıtları kendiliğinden düzeltmez; bazen hatanın etkisini de büyütebilir.

Ölçümün kapsadığı insanlar

Kantin verileri yalnız kantinden alışveriş yapanların seçimlerini gösterir. Evden yiyecek getiren öğrenciler kayıtta bulunmaz. Çok satış kaydı olması bu eksik grubu kendiliğinden temsil etmez. Bütün okulun tercihi hakkında sonuç çıkarırken bu sınırı düşünmek gerekir. Büyük veri de belirli koşullarda toplanır ve bazı kişileri daha çok, bazılarını daha az gösterebilir. Veri miktarı kadar hangi grubun görüldüğü sorusu önemlidir; doğru örneklem olmadan geniş sayı listesi yanıltıcı olabilir.

Kaynaklar ve ileri okuma

KEŞFE DEVAM

Bir sonraki merakın ne?

İki mantık kapısı, doğru ve yanlış lambalarıyla bir kararı hesaplıyor.
4 dk okumaYeni keşif

George Boole: doğru ve yanlış nasıl hesap olur?

Bilgisayarın içi sayılarla dolu görünür. O sayıların altındaki kararlar ise çoğu zaman doğru ya da yanlıştır. George Boole, bu kararları hesap gibi yazmanın yolunu açtı.

Yazıyı oku
Bir taş değişince kontrol terazisinin ürettiği sonuç da değişip uyarı ışığı yanıyor.
6 dk okumaYeni keşif

Kontrol toplamı hangi hataları yakalar?

Bir dizi rakamı kopyalarken tek sayı yanlış yazılmış olabilir. Basit bir kontrol toplamı, bazı değişiklikleri fark etmeye yardımcı olur.

Yazıyı oku
Kırpılmış bir ekran görüntüsü, arkadaki tam pencereyle karşılaştırılıyor.
4 dk okumaYeni keşif

Ekran görüntüsü tek başına kanıt mıdır?

Ekran görüntüsü bir anın kopyasıdır. Gösterdiği şeyin tamamı, zamanı ve kesilmemiş hâli olmak zorunda değildir.

Yazıyı oku