Apache Pig ile Hadoop Üzerinde Veri Analizi

pig-on-elephant

Apache Pig, Hadoop üzerindeki verileri işlemek için Yahoo firması tarafından geliştirilmiş, “Pig Latin” olarak adlandırılan kolay bir dile sahip, açık kaynaklı bir projedir. MapReduce ile yapmak istediğimiz analizleri Pig ile daha kısa ve daha kolay şekilde yapabiliyoruz. Pig Latin ile farklı formatta verileri yükleyip, bu veriler üzerinde filtreleme, sıralama, grouplama, aritmetik işlemler ve en önemlisi join’ler yapabiliyorsunuz.
Okumaya devam…

Hadoop ve Bileşenlerine Genel Bakış

01_Hadoop_full

Hadoop, büyük verileri işlemek üzere kullanılan HDFS ve MapReduce özelliklerini bir araya getiren, Java ile geliştirilmiş açık kaynaklı bir frameworktür. Google, Yahoo, Facebook gibi firmalar devasa boyuttaki veriyi analiz etmek için SQL ve RDBMS sistemleri kullanmıyorlar. Aşağıda Hadoop’un ve Big Data’nın kullanıldığı bir örnek mevcut.       Yeşil ile işaretlenen yerde aradığımız kelime ve
Okumaya devam…

Big Data Nedir?

Word Cloud "Big Data"

Big data (büyük veri) dendiğinde akla ilk olarak “çok fazla yer kaplayan veri” geliyor. Fakat durum tam olarak böyle değil. Bu devasa veriler geleneksel veri tabanı sistemlerinde (SQL gibi) işlenemiyor. Peki ne oldu da bu kadar veri birikti? Bu kadar verinin birikmesinde baş faktörler olarak teknolojinin ve internetin gelişmesi, sosyal medyanın hayatımızın her yerine dahil
Okumaya devam…