Büyük verinin en etkili kaynağı internettir. Ekonomiden sağlığa, turizmden eğitime birçok sektörde önemli ölçüde internetin yaygınlaşması, hem kurumsal hem de bireysel anlamda büyük oranlarda dijital veri üretiyor oluşumuz big data denen şeyi yaratmış bulunmaktadır. İnternet üzerinden alış-veriş yapmak, Google’da bir şeyler aratmak, e-mail gönderip-almak, döküman oluşturmak, sosyal medya hesaplarında bir şeyler paylaşmak, video yüklemek-izlemek, konum paylaşmak ve hatta internette gezinmenin kendisi bile büyük veri kümelerini oluşturmaktadır.
Bununla birlikte ‘nesnelerin interneti (the internet of things)’ denen olgunun gelişmesi de big data ile doğrudan ilgilidir. Makineler arası iletişim olarak da değerlendirilebilecek ‘nesnelerin interneti’, cihazların kendi aralarında IP protokolleri yardımıyla, kablolu veya kablosuz şekilde büyük miktarlarda veri gönderim-alımını gerçekleştirmek üzere iletişime girmelerini ifade etmektedir. Court’a göre nesnelerin interneti sayesinde üretilen veri miktarı, beklenenden veri üretim miktarından %30 daha fazla olacaktır.
Nesnelerin interneti olgusunun neden olacağı veri patlaması ve sonunda meydana gelen big data kümelerinin nasıl analiz edileceği konusu da önemli bir sorun olarak karşımızda durmaktadır.
Big Data (Büyük Veri) Analizi
Günümüzde birçok sektör, büyük veri analizi kullanarak müşteri potansiyelini artırma yoluna gitmektedir. Sağlık, bankacılık, güvenlik, bilişim ve enformasyon şirketleri big datadan yararlanmaya başlamışlardır. Big data analizi ile maliyeti azaltma, kaynakları etkin kullanma, son kullanıcıların isteklerini doğru belirleyip yeni ürünler yaratarak kar maksimizasyonu sağlamak mümkün hale gelmektedir.
Bununla birlikte big data, sadece şirketlerin değil, siyasi partilerin de kullanmaya başlamış olduğu bir teknik haline gelmiştir. Sosyal medya gibi büyük veri yığınlarının aktığı kaynaklardan elde edilen veriler analiz edilerek, seçmenlerin kaygılarına göre politika geliştirilmeye başlanmıştır. En çarpıcı örneği ise Kasım 2016’da Amerika’da yapılan başkanlık seçimlerinde ortaya çıkmıştır. Cambridge Analytica adlı şirket, geliştirdiği bir uygulama sayesinde Facebook’ta hesabı olan 50 milyon kişinin verilerine ulaşmış ve bu kişilerin verileri üzerinde big data analizi yaparak Trump’ın seçimleri kazanması için ‘kişiye özel’ seçim propagandası geliştirilmesinde yardımcı olmuştur.
2000’li yılların başından itibaren teorik olarak tartışılan big data; artık anlık olarak yakalanıp, depolanabilmekte; analiz edilerek değerli, işe yarar bilgiye dönüştürülmektedir. Big datadan veri üretmek geleneksel veri tabanları ve analiz yöntemleriyle mümkün değildir. Google ve Yahoo gibi büyük bilişim şirketleri big data analiz araçları ve yöntemleri geliştirmiş bulunmaktadır. Bu analiz araçları ve yöntemler; istatistik, bilgisayar bilimleri, uygulamalı matematik ve ekonomi gibi bilimsel disiplinlerden yararlanmaktadır. Hadoop, Big Table, Cassandra, Google File System, Appache Hbase, MapReduce, MongoDB, Oracle NoSQL DB gibi veritabanı sistemleri, big datanın depolanmasını sağlayan gelişmiş veri tabanlarıdır. Başlıca big data analiz teknikleri ise şu şekildedir: A/B analizi, veri füzyonu ve veri entegrasyonu, veri madenciliği, makine öğrenmesi, öngörü modellemesi, duygu analizi, uzay analizi ve simülasyon ve zaman serisi analizleri.