Hadoop MapReduce adalah

Bagi rekans yang tertarik untuk mengerti tentang framework Hadoop, memahami konsep hadoop MapReduce adalah menjadi sesuatu keharusan, Karena dengan mengerti apa itu MapReduce maka kita bisa memahami proses komputasi dari framework Hadoop dalam mendukung aplikasi Big Data.

Pengertian hadoop MapReduce

Untuk penyederhanaan saya coba merumuskan definisi hadoop MapReduce ke dalam poin-poin sebagai berikut :

• Hadoop MapReduce adalah algoritma atau proses komputasi pada sistem terdistribusi
• Ditulis di atas bahasa Java
• Mempunyai 2 proses utama, yaitu map dan reduce
• Mampu untuk memproses secara pararel data yang sangat besar, karena komputasi bisa berjalan di puluhan, ratusan, atau bahkan ribuan node

Map mengambil satu set data dan mengubahnya menjadi satu set data, di mana unsur-unsur individu dipecah menjadi tupel. Kemudian, Reduce mengambil output dari hasil proses map sebagai masukan dan menggabungkan/mengelompokkan tupel data ke satu set data yang lebih kecil dari tupel. Sebagai urutan pada penamaan MapReduce menyiratkan, proses reduce selalu dilakukan setelah proses map. Tupel di sini berarti pasangan antara key dan value-nya, dapat digambarkan dengan simbol "(k1, v1)"

Tahapan proses MapReduce

MapReduce terdiri atas tiga tahap, yaitu tahap map, tahap shuffle, dan terakhir tahap reduce. untuk tahapan shuffle dan reduce digabungkan kedalam satu tahap besaran-nya yaitu tahap reduce.

1. Tahap map, memproses data inputan yang umumnya berupa file yang tersimpan dalan HDFS (dapat di baca di Sistem file terdistribusi), inputan tersebut kemudian diubah menjadi tuple yaitu pasangan antara key dan value-nya.

2. Tahap reduce, memproses data inputan dari hasil proses map, yang kemudian dilakukan tahap shuffle dan reduce yang hasil data set baru-nya disimpan di HDFS kembali.

Berikut ini ilustrasi untuk mendapatkan gambaran tentang proses map dan reduce.

Kesimpulan :
Hadoop MapReduce adalah model komputasi berbasis Java pada sistem terdistribusi dalam rangka mendukung aplikasi Big Data. Diberi nama MapReduce dikarenakan terdiri atas dua proses utama yaitu map dan reduce.

Tweet