Hadoop SingleNode Kurulumu

hadoop-database-590x321

1-Sistemimizde javanın kurulu olup olmadığına bakmak için terminale aşağıdaki kodu yazmamız gerekmektedir. (Java kurulu değilse 2. adımdan devam edin. Eğer kuruluysa bu adımı atlayın)

java -version

2- Eğer kurulu değilse kurulum için java jdk indirmemiz gerekiyor.Bunun için Oracle’ın resmi sitesinden Linux-64 bit için güncel java versiyonunu indiriyoruz.

2

3- Sonraki adımda hadoop sürümün http://archive.apache.org/dist/hadoop/cor e/ adresinden hadoop 1.2.1 sürümünü indiriyoruz ve inndirdiğimiz 2 dosyayı klasörlere çıkartıyoruz.

3

 

4-Aşağıdaki komutlar yardımıyla indirmiş olduğumuz javayı usr/lib klasörünün altında bir java klasörüne taşıyoruz. (Daha sonra konfigürasyon ayarlarında bu yol işimize yarayacak)

cd /usr/lib
sudo mkdir java

5-Daha sonra benim bilgisayarımdaki adı İndirilenler (sizde daha değişik Downloads vs. olabilir) klasörüne dönüyoruz ve indirdiğimiz jdk yı yeni oluşturduğumuz klasöre taşıyoruz.

cd İndirilenler
sudo mv jdk1.7.0_45 /usr/lib/java

6-Daha sonra javanın en güncel versiyonunu denetliyoruz. bunun için terminalden “cd /usr/lib/java/jdk1.7.0_45/bin” komutunu yazıp daha sonra teker teker teker aşağıdaki komutları yapıştırıyoruz.


sudo update-alternatives -- install "/usr/bin/java" "java" "/usr/lib/java/jdk1.7.0_45/bin/java" 1

sudo update-alternatives -- install "/usr/bin/javac" "javac" "/usr/lib/java/jdk1.7.0_45/bin/javac" 1

sudo update-alternatives -- install "/usr/bin/javaws" "javaws" "/usr/lib/java/jdk1.7.0_45/bin/javaws" 1

7-Daha sonra kurmuş olduğumuz javanın yolunu belirtmemiz gerekiyor bunun içinde aşağıdaki ilk komutla jdk dosyamıze gidip, ikinci komutla dosyamızı düzenleyeceğiz.

cd /usr/lib/java/jdk1.7.0_45/bin
gedit ~/.bashrc

8-Açılan.bashrc sayfasında ise javanın yolunu export ediyoruz.Yazdığım komutları sayfanın en alt kısmına yapıştırıyoruz.


export JAVA_HOME="/usr/lib/java/jdk1.7.0_45"

set PATH="$PATH: $JAVA_HOME/bin"

9-Bu işlemi yaptıktan sonra terminalden tekrardan en baştaki konuma geliyoruz ve  echo $JAVA_HOME komutunu yazıyoruz.Eğer ekranda görünen sonuç kurduğumuz javanın yolunu gösteryorsa doğru ilerliyoruz demektir.

10

 

10-Daha sonra ilk başında çıkartmış olduğumuz hadoop 1.2.1 sürümünü aşağıdaki komutlar yardımıyla /usr klasörüne taşımamız gerekmektedir.

cd İndirilenler
sudo mv hadoop1.2..1/ /usr

11-Bir sonraki adımda hadoop yolumuzu da .bashrc dosyasına export etmemiz gerekiyor. Bunun için terminale “gedit ~/.bashrc yazdıktan sonra açılan belgeye aşağıdaki satırları ekliyoruz.

export HADOOP_HOME="/usr/hadoop-1.2.1"
PATH=$PATH:$HADOOP_HOME/bin
export PATH

12-Şimdi /usr altındaki hadoop klasörümüze normal yoldan giderek conf klasörü altında “hadoop-env.sh” ı açarak aşağıdaki satırları ekliyoruz.


export JAVA_HOME=/usr/lib/java/jdk1.7.0_45

export HADOOP_HOME_WARN_SUPPRESS="TRUE"

13-Bu işlemi tamamladıktan sonra terminale echo “$HADOOP_HOME” ve “hadoop version” yazıyoruz.

15

 

*Eğer yukarıdaki gibi bir çıktı alıyorsak doğru yoldayız demektir.

14-Daha sonra tüm ssh ları indirmek için terminale “sudo apt- get install ssh” yazmamız gerekiyor.

15-hadoop klasörünün içindeki conf klasörünü açıp bu klasör içinde bulunan  core-site.xml,hdfs- site.xml,mapred-site.xml dosylarına sırasıyla aşağıdaki komutları yazıyoruz.

core-site.xml için;


<configuration>
<property>
<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml için;


<configuration>
<property>
<name>dfs.replication</name>

<value>1</value>
</property>
</configuration>

mapred-site.xml için;


core-site.xml için
<configuration>
<property>
<name>mapred.job.tracker</name>

<value>localhost:9001</value>
</property>
</configuration>

Tüm bunları yaptıktan sonra dosyalarımızı kaydedip kapatıyoruz.

16-localhost’a bağlantı sağlamak için localhost şifresini kaldırmamız gerekiyor. Bunun için aşağıdaki komutları terminale girmemiz lazım.

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

Bu komutları yazdıktan sonra terminale “ssh localhost” komutunu giriyoruz ve aşağıdaki çıktıyı almamız gerekiyor.

22

 

17-Daha sonra Hadoop NameNode’u formatlamak için aşağıdaki komutu giriyoruz.

hadoop namenode -format

18-Sonraki adımda dfs ve mapred sh’larını başlatmak için aşağıdaki komutları giriyoruz.

start-dfs.sh
start-mapred.sh

Eğer adımları eksiksiz bir biçimde tamamladıysanız Hadoop kurulumunu yapmışsınız demektir. Test etmek için tarayıcımıza aşağıdaki adresleri yazıyoruz.

ttp://localhost:50070 yazdığımızda hadoop arayüzünü,

http://localhost:50030  yazdığımızda mapreduce arayüzünü,

http://localhost:50060 yazdığımızda ise çalışan uygulamaları görebilmekteyiz.

Örnek olsun diye aşağıdaki resmi paylaşıyorum.

30

 

Takıldığınız bir nokta olursa batuhantozun@gmail.com adresine mail veya yorum atmaktan çekinmeyin.

Büyük verili günler!

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir