embulkに関するtakadayuichiのブックマーク (1)

  • embulk-plugin-sqlite3を作った · Yuichi Takada

    takady/embulk-plugin-sqlite3 embulkとは いわゆるbulk loaderと言われる並列にデータを移動させるためのプロダクトの一つ.embulkがユニークなのはinput/outputなどの部分がpluggableになっている点. つまり,データの移動に際して発生するリソースへの接続処理の実装や,データのクレンジング・フォーマット変換,その他必要になる雑多な処理をプラグインという形で定義しておくことで,再利用しやすくなるというわけ. Fluentdとの違い 同じくTreasure Data社が開発しているFluentdも,input/outputのpluginをrubyで書けるなど,一見同じ感じである. ただ,Fluentdのユースケースは__リアルタイム__にlogを流すという部分であり,一方でembulkは__バッチ処理__でデータをimport/exp

    takadayuichi
    takadayuichi 2015/02/08
    embulkのplugin書いてみた.
  • 1