CDH4.1.2のYarnクラスタで、${yarn.nodemanager.local-dirs}/filecache/以下にディレクトリがいっぱい(3万以上)できてしまってタスクが起動しなくなるという現象に見舞われました。 # 他のnodeでリカバリしてjob自体は成功していましたが。。。どうやらDisto…

前のエントリでは各ノードのメモリ管理について書いたので、次にクラスタ全体のリソース管理として CapacitySchedulerについてのメモです。 なお、CDH4.1.2で試した結果ですので、最新のバージョンとは(ry CapacitySchedulerについて クラスタ上では同時に様…

yarnはmr1と色々と変わっているのですが、まず各ノードにおけるメモリの設定についてまとめます。 なお、CDH4.1.2で試した結果ですので、最新のバージョンとは挙動が異なる可能性があります。 # まとめるのをサボっていた結果既にCDH4.2がリリースされていま…