Günümüzde bilgi toplumunun unsurlarını hayatın her alanında görmek mümkündür. Artık herkesin cebinde bir akıllı telefon, herkesin evinde bir bilgisayar ve tüm şirketlerin arka ofislerinde bilgi teknolojileri yönetimini yapan birimler bulunmaktadır. Ancak bilginin kendisi o kadar görünür değildir. Bununla birlikte bilgisayarların insan hayatına girmesinden ancak yarım asır sonra bilgi miktari anlamlı ve özel bir nitelik kazanacak şekilde toplanmaya başlamıştır. Günümüzde sadece bilgi miktari artmamış aynı zamanda bilgiye erişim hızı da artmıştır. Niceliksel değişiklik beraberinde niteliksel değişikliği de getirmiştir. Verinin manalı bir bütün oluşturacak şekilde toplanması ilk önce astronomi ve genetik alanında gerçekleşmiştir. Büyük veri kavramı da ilk olarak bu alanlarda kullanılmış daha sonra bu kavram her alan için kullanılmaya başlanmıştır. Büyük veri artık hayatımızın her alanında kendini göstermeye başlamıştır. Örneğin; internet arama motoru Google’dan hastalıkların teşhis ve tedavisi, internet üzerinden alışverişlere kadar her alanda büyük veri karşımıza çıkmaktadır.

Büyük veri; toplumsal medya paylaşımları, ağ günlükleri, bloglar, fotoğraf, video, log dosyaları vb. gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Olageldiği gibi, ilişkisel veri tabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal olmayan veri yığınıdır. Artık yıkılmış olan yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi, ama büyük veri bize bir şey gösterdi o da günümüzdeki bilgi çöplüğü diye adlandırılan olgudan muazzam derecede önemli, kullanılabilir, yararlı yani çöplükten hazine çıkmasına neden olan yegane sistemdir. Büyük veri; web sunucularının logları, internet istatistikleri, sosyal medya yayınları, bloglar, mikrobloglar, iklim algılayıcıları ve benzer sensörlerden gelen bilgiler, GSM operatörlerinden elde edilen arama kayıtları gibi büyük sayıda bilgiden oluşuyor.

Büyük veri, doğru analiz metotları ile yorumlandığında şirketlerin stratejik kararlarını doğru bir biçimde almalarına, risklerini daha iyi yönetmelerine ve innovasyon yapmalarına imkan sağlayabiliyor.

Şirketlerin çoğu, halen konvansiyonel veri ambarı ve veri madenciliği yöntemleriyle elde ettikleri datalardan yola çıkarak, karar almaya devam ediyorlar. Ancak, tüketici eğilimlerini dinamik şekilde öngörebilmek, büyük veriyi analiz edebilmekten ve bu analizlere göre hareket edebilmekten geçiyor. Büyük veri, geleneksel veritabanı araçları ve algoritmaları ile işlemesi zor olan bu büyük verinin oluşturulması, saklanması, akışı, analiz edilmesi gibi birçok konuyu içeren bir terim olarak karşımıza çıkmaktadır. Veriler klasik veritabanlarının kaldıramayacağı büyüklükte olduğu gibi verinin büyüme hızı da bir bilgisayar veya bir veri depolama ünitesini aşmaktadır. 2012 rakamları ile dünyada günlük 2.5 Kentirilyon byte veri üretilmektedir. Bu çapta büyük veriyi işleme, transfer etme gibi işlerin tümüne Büyük veri (Big Data) adı verilmektedir.

Günümüz veritabanları bu çapta büyüyen verileri tutmakta yeterli değildir. İlişkisel veritabanları gigabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz. Ancak büyük data sadece yığın işleme(Batch) işlemleri için uygundur. Transactions gibi gelişmiş veritabanlarında kritik öneme sahip özellikler yoktur. Veritabanları okuma, yazma güncelleme gibi işlemleri transactionlar aracılığı ile yapabildiği için bu işlemler atomik olarak kabul edilir ve çeşitli kilitleme mekanizmaları ile verinin birden fazla işlem tarafından değiştirilerek tutarsızlaşması engellenir. Büyük veri bir kere yazılıp defalarca okuma işlemi yapıldığı duruımlarda kullanılması gerekir. Çünkü veriler birden fazla yerde paralel olarak işlenir.Bu büyüklükte veri RFID sensörlerinden, sosyal medyaya, hastanelere kadar birçok alanda üretilmektedir. DNA dizilişlerinin analizi, hava durumu sensörlerinden gelen veriler başta olmak üzere verileme işlemlerinin yapıldığı birçok alanda büyük veri bir ihtiyaç olarak karşımıza çıkmaktadır.

Büyük Veri İçerisindeki Veri Bileşenleri

Büyük veri platformunun oluşumunda beş bileşen vardır. Bunlar; variety, velocity, volume, verification ve value ‘dir. Genel olarak 5v diye açıklandığı için ingilizce karşılıklarına yer verilebilinir.

  • Variety (Çeşitlilik): Üretilen verinin yüzde 80’i yapısal değil ve her yeni üretilen teknoloji, farklı formatlarda veri üretebiliyor. Telefonlardan, tabletlerden, bütünleşik devrelerden gelen türlü çeşitlilikte “Veri Tipi” ile uğraşılması gerekiyor. Bir de bu verilerin farklı dillerde, Non-Unicode olabileceğini düşünürseniz, bütünleşik olmaları, birbirlerine dönüşmeleri de gerekli.
  • Velocity (Hız): Büyük Veri’nin üretilme hızı çok yüksek ve gittikçe artıyor. Daha hızlı üreyen veri, o veriye muhtaç olan işlem sayısının ve çeşitliliğinin de aynı hızda artması sonucunu doğuruyor.
  • Volume (Veri Büyüklüğü): IDC istatistiklerine göre 2020’de ulaşılacak veri miktarı, 2009’un 44 katı olacak. Şu anda kullanılan, “büyük” diye adlandırdığımız kapasiteleri ve “büyük sistemleri” düşünüp, bunların 44 kat büyüklükte verilerle nasıl başa çıkacaklarını hayal etmek gerekiyor! Kurumun veri arşivleme, işleme, bütünleştirme, saklama vb teknolojilerinin bu büyüklükte veri hacmi ile nasıl başa çıkacağının kurgulanması gerekiyor. 2010’lu yıllarda dünyadaki toplam bilişim harcamaları yılda %5 artmakta, ancak üretine veri miktarı %40 artmaktadır.
  • Verification (Doğrulama): Bu bilgi yoğunluğu içinde verinin akışı sırasında “güvenli” olması da bir diğer bileşen. Akış sırasında, doğru katmadan, olması gerektiği güvenlik seviyesinde izlenmesi, doğru kişiler tarafından görünebilir veya gizli kalması gerekiyor.
  • Value (Değer): En önemli bileşen ise değer yaratması. Bütün yukarıdaki eforlarla tariflenen Büyük Veri’nin veri üretim ve işleme katmanlarınızdan sonra kurum için bir artı değer yaratıyor olması lazım. Karar veriş süreçlerinize anlık olarak etki etmesi, doğru kararı vermenizde hemen elinizin altında olması gerekiyor. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu anlık olarak bölge, il, ilçe vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. Hava Kuvvetleri, bütün uçucu envanterindeki taşıtlarının anlık yerlerini ve durumlarını görebilmeli, geriye dönük bakım tarihçelerini izleyebilmeli. Bir banka, kredi vereceği kişinin, sadece demografik bilgilerini değil, yemek yeme, tatil yapma alışkanlıklarını dahi izleyebilmeli, gerekirse sosyal ağlarda ne yaptığını görebilmeli.

 

 

Referans:

https://tr.wikipedia.org/wiki/B%C3%BCy%C3%BCk_veri

Designed by Freepik