はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
13. $ env | grep JAVA JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home $ java -version java -versionjava version quot;1.5.0_07quot;Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-154)Java HotSpot(TM) Client VM (build 1.5.0_07-87, mixed mode, sharing) $ curl -O http://www.apache.org/dist/lucene/hadoop/stable/hadoop-0.13.0.tar.gz $ tar zxvf hadoop-0.13.
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce Fr
連載 MPI本格入門 はじめに パラレル計算機の本格的な利用を考えておられる方々の参考になることを目指し、実際の科学技術計算ソフト開発に有用な並列プログラミング入門として本連載を開始します。 対象者 主にFortranを用いた科学技術計算プログラミングの経験があり、UNIXやLINUXが一通り使える方を対象としています。 本連載に呼応してMPI テストとサポートを充実 また、この内容の充実に連動させ、HPC-Alpha/SuSE-Linuxシリーズを縦軸、各ネットワークを横軸とし、計算分野や計算アルゴリズムでのパフォーマンスの目安となるようなベンチマークテストや製品開発・サポートを充実させてゆきます。 もくじ 第１回 ←クリックすると本文へジャンブ mpichのインストール mpich.tar.gzの入手と展開 configureスクリプト make >& Make.log buildの
技術情報 本ページでは，mpich でのプロセス起動について説明します。 mpich でのプロセス起動 ワークステーション・クラスタ環境で並列プログラムを実行すると， 各ノード(マシン)上でプロセスが実行されますが， まず疑問に思うのは， 起動時に指定するコマンドラインオプションは引き継がれるの？ とか，各プロセスの実行ディレクトリはどこなの？ といったことではないでしょうか。 ここでは，mpich でこれらのプロセス起動に関することを 説明します。 対象は Work Station クラスタ型の並列計算環境 ( ch_p4 デバイス ) で，mpich のバージョンは 1.1.2 です。 バージョンが違うと以下の記述と異なる場合がありますので ご注意ください。 ●プロセス起動の流れ 例として，ホスト host0 で以下のように mpirun を実行したとしましょう。 host0> m
このページでは、PGI コンパイラを使用して MPI 開発環境に関して説明します。現在のシステムは、1プロセッサに複数のマルチコアを搭載しているため、MPI のプログラム開発も 1 ノード上の複数の並列プロセスを使用して開発できるようになりました。こうした環境では、1ノード内のローカルなマルチコア環境で MPI 並列の開発ができることから、 PGI の Workstation/Server ライセンスにおいても、ローカルノード上での MPI 用のデバッガ、プロファイラを含めた開発環境を提供しています。このページでは、主に、MPIプログラムをコンパイル・リンクする方法について説明します。なお、ローカル並びにリモート・ノードも含めた MPI の開発環境は、 PGI CDK ライセンス製品で可能となっております。 2019年2月8日更新 Copyright © 株式会社ソフテック PGI Pro
2003-08-23T16:00+09:00 matsu helloを出力する簡単なサンプルをとおしてMPIプログラミングを開始する. まずサンプル どの辺がMPI特有なんだ? MPI関数を呼び出せる範囲 ランク MPI_SendとMPI_Recv MPIデータ型 MPI_Comm_size まとめ まずサンプルあんまりグダグダ言っても面白くないので,何はともあれサンプルを示してみる. 1: #include <stdio.h> 2: #include <string.h> 3: #include <stdlib.h> 4: #include "mpi.h" 6: #define MSG_LEN 100 8: int main(int argc, char* argv[]){ 9: int my_rank; 10: int tag = 0; 11: char message[MSG_LEN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
