Cygwin上でプチMapReduce的動作を試してみました

System

最近の日記で良く記述している大規模分散処理に関連する話ですが、Googleさんが開発した分散処理プログラミングモデルであるMapReduceについてマネージャ１号さんとnobusueさんに教えて頂いた以下の情報を基にCygwin上でMapReduceの考え方に近い動作を目視してみました。

確認したことは幾つかの単語を含んだファイルを出力した結果をソートし、全く同じ内容の行を一つにまとめながら、そのカウントを出力するだけのものです。

MapReduceとは上記のような感覚でお互いが依存しない処理を複数のサーバに負荷分散し(Map)、それらのサーバの処理結果を集約する(Reduce)することで、大規模分散処理を簡単に制御可能にするプログラミングモデルのようです。（私が試した内容に分散処理は有りませんが・・・。(^-^;)

私の技術力では、これ以上突っ込んだ理解は難しいですが・・・。(劇汗)