HDFSとMapReduceの違いは何ですか

NS 主な違い HDFSとMapReduceの間は HDFSは、アプリケーションデータへの高スループットアクセスを提供する分散ファイルシステムですが、MapReduceは、大規模なクラスター上のビッグデータを確実に処理するソフトウェアフレームワークです。

ビッグデータは、大きなデータセットのコレクションです。これには、ボリューム、速度、および多様性という3つの主要なプロパティがあります。 Hadoopは、ビッグデータの保存と管理を可能にするソフトウェアです。これは、Javaで記述されたオープンソースフレームワークです。さらに、コンピューターのクラスター全体で大規模なデータセットの分散処理をサポートします。 HDFSとMapReduceは、Hadoopアーキテクチャの2つのモジュールです。

ビッグデータ、HDFS、MapReduce

HDFSとは

HDFSはの略です Hadoop分散ファイルシステム。これは、Hadoopの分散ファイルシステムであり、大規模なクラスターで確実かつ効率的に実行されます。また、Googleファイルシステム（GFS）に基づいています。さらに、ファイルシステムと対話するためのコマンドのリストもあります。

さらに、HDFSはマスター、スレーブアーキテクチャに従って動作します。マスターノードまたはネームノードはファイルシステムのメタデータを管理し、スレーブノードまたはデータノートは実際のデータを保存します。

図1：HDFSアーキテクチャ

さらに、HDFS名前空間内のファイルはいくつかのブロックに分割されます。データノードはこれらのブロックを格納します。また、名前ノードは、ブロックをデータノードにマップします。データノードは、ファイルシステムでの読み取りおよび書き込み操作を処理します。さらに、名前ノードの指示に従って、ブロックの作成、削除などのタスクを実行します。

MapReduceとは

MapReduceは、コモディティハードウェアの大規模なクラスター上でビッグデータを同時に処理するアプリケーションを作成できるようにするソフトウェアフレームワークです。このフレームワークは、クラスターノードごとに1つのマスタージョブトラッカーと1つのスレーブタスクトラッカーで構成されます。マスターは、リソース管理、スレーブでのジョブのスケジューリング、失敗したタスクの監視と再実行を実行します。一方、スレーブタスクトラッカーは、マスターから指示されたタスクを実行し、タスクのステータス情報を常に母体に送り返します。

図2：MapReduceの概要

また、MapReduceに関連する2つのタスクがあります。それらはマップタスクとリデュースタスクです。マップタスクは入力データを受け取り、それらをキーと値のペアのタプルに分割します。一方、リデュースタスクは、マップタスクからの出力を入力として受け取り、それらのデータタプルをより小さなタプルに接続します。さらに、マップタスクはreduceタスクの前に実行されます。

HDFSとMapReduceの違い

意味

HDFSは、大規模なクラスター内のマシン間で大規模なファイルを確実に保存する分散ファイルシステムです。対照的に、MapReduceは、コモディティハードウェアの大規模なクラスター上で、信頼性が高くフォールトトレラントな方法で大量のデータを並行して処理するアプリケーションを簡単に作成するためのソフトウェアフレームワークです。これらの定義は、HDFSとMapReduceの主な違いを説明しています。

主な機能

HDFSとMapReduceのもう1つの違いは、MapReduceがビッグデータの処理を実行している間、HDFSは高度にスケーラブルなHadoopクラスター全体でデータへの高性能アクセスを提供することです。

結論

簡単に言うと、HDFSとMapReduceはHadoopアーキテクチャの2つのモジュールです。 HDFSとMapReduceの主な違いは、HDFSはアプリケーションデータへの高スループットアクセスを提供する分散ファイルシステムであるのに対し、MapReduceは大規模なクラスター上のビッグデータを確実に処理するソフトウェアフレームワークであるということです。

リファレンス：

1.「HDFSアーキテクチャガイド」、Apache Hadoop、こちらから入手できます。 2.「MapReduceチュートリアル」、Apache Hadoop、ここから入手可能。「Hadoop分散ファイルシステム（HDFS）とは何ですか？ –WhatIs.comからの定義。」 SearchDataManagement、ここから入手できます。