タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

hdfsとhoopに関するmuddydixonのブックマーク (2)

  • cloudera/hoop - GitHub

    ----------------------------------------------------------------------------- Hoop, Hadoop HDFS over HTTP Hoop is a server that provides a REST HTTP gateway to HDFS with full read & write capabilities. Hoop is distributed under Apache License 2.0. Hoop can be used to transfer data between clusters running different versions of Hadoop (overcoming RPC versioning issues), for example using Hadoop Dis

  • Hoop (HDFS over HTTP) を試してみた - たごもりすメモ

    バッチ処理にかける対象ファイルの抽出には中身を見る必要があって、headやtailでいいんだけどhadoop fsコマンドではそういうオペレーションができない*1ので FUSE hdfs でLinuxにHDFSをmountしてやっている。 が、これがまたビルドするのにひと苦労だったりmount元と先が密結合になっちゃったり遅かったりいつまでメンテされるもんかと思われたりするし外部コマンドを起動して結果を読んでゴニョゴニョしたりするのが面倒なのでどうにかしたいなーと思っていたら、Clouderaから Hoop なるプロダクトが少し前にリリースされた。 Hoop - Hoop, Hadoop HDFS over HTTP - Documentation Sets 0.1.0-SNAPSHOT HTTP REST APIを経由してHDFSの内容にアクセスできるし、オペレーションもできる。GETの

    Hoop (HDFS over HTTP) を試してみた - たごもりすメモ
  • 1