こんにちは。Ruby化をすすめるメドピアをお手伝いしている@willnetといいます。 メドピアではPHPからRubyに移行するにあたり、単純に言語を置き換えるだけではなく、言語以外の仕組みについても適宜見直しを行っています。今回はそのうちジョブスケジューラを見直した件について書いていきます。 言語を置き換えた話はこちらを参考にしてください。 レガシーな独自フレームワークから脱却してRailsへ徐々に移行している話 - メドピア開発者ブログ そもそもジョブスケジューラってなに 「毎日1時になったら前日のアクセスログを集計して統計データとしてまとめる」などといった定期的に実行するジョブを登録するためのものです。 ウェブサービスを作るときのジョブスケジューラといったらやっぱりcronですよね。メドピアでもこれまでcronを活用していました。しかしサービスが小さいうちはcronでもそれほど問題な
私の所属するプロジェクトで、OSSのジョブ管理ツールKuroko2を導入しました。 簡単にKuroko2の特徴、設定手順をご紹介します。 導入の経緯 プロジェクトが始まった時、一定間隔で起動する小さなジョブが一つか二つあるだけなのでcronで動かしていました。 ですが、リリースから時間が経ちサービスが成長するにつれ次第にジョブも増えていきました。 「こっちのDBから1日1回データを同期して画面に反映して欲しいです！」 「FTP接続してこっちのファイル取得してほしいんだけど...」 「対象のデータがあったらS3にJSON書き出してくれない？」 その場しのぎで次々にcron起動のジョブを増やしていったところ、ある日 崩壊した... (青：使用可能メモリ、緑：使用済みメモリ) ジョブ管理システム Kuroko2の導入 自前でジョブ管理システムを構築することも検討しましたが、時間がないことやすでに
Cron is a trusty tool in the unix toolbox for scheduling work to run at periodic intervals. In addition to system tasks, it’s common for app developers to use an app-specific crontab to run application tasks. For example, if your app is a feed reader, you might use a cronjob to fetch new feeds every three hours, and another cronjob to clean out old unread articles every night. Cron Weaknesses Whil
crontabの設定方法をすぐに忘れるのでメモ代わりにまとめています。 ※最初にまとめてからかなり時間が経過したので、内容の精査とその間に勉強した項目を追加しました。 crontabを設定する方法 crontabを設定する方法には２通りの方法があるので説明をしていきます。 crontab -e ※コマンドで設定 crontab ファイル ※ファイルを読み込んで設定 「crontab -e」コマンドで設定 「crontab -e」コマンドを実行するとcronを設定する画面が表示されます。 「e」では無く、横にある「r」を誤って指定してしまうと、設定されているcronの内容が削除されてしまうので注意してください。 $ crontab -e 設定を編集する画面が表示されるので、下記のような書式で設定を行います。 00 * * * * /root/disk-space.sh ちなみに、設定している
crontab にたくさんの同じようなバッチ処理を書く場合、環境変数を使うのが便利です。各バッチ処理で、同じ環境変数名でかつ値が違う環境変数を設定するためにどうすればよいのかなぁと調べたところ、crontabで環境変数を使う際に知っておきたいたった1つのこと – (ﾟ∀ﾟ)o彡 sasata299’s blog を見つけました。ここでは env を使っていますが、なぜか CentOS 5 系ではうまくいきませんでした。 いろいろと試行錯誤したところ、次のような感じで値が違う同じ環境変数を設定することができました。 MAILTO=root RUBY=/usr/local/bin/ruby ROOT_DIR=/home/naoya/app1 RAILS_ENV=production 0 0 * * * cd $ROOT_DIR; $RUBY script/runner ROOT_DIR=/ho
ちょっと前、職場の人に、「(以下の)このエントリが役立った、ありがとう！」とお礼をいただきました。(わざわざ、ありがとうございました。恐縮です。) cronで30秒毎など、秒単位で処理を実行したい場合 - 元RX-7乗りの適当な日々 で、今更ですが、気付けばそこそこの数のブクマがついていたので、コメントを見させていただくと「正確には30秒毎ではなく、コマンド実行時間+30秒になる。」といった記載がいくつかありました。 あれ？そうなん？なんか自信なくなってきた。 ちなみに↑の(cronの)書き方は以下のような感じ。 * * * * * command & sleep 30; command 実行時間も含める(実行後の終了ステータスを見て、次コマンドを実行する)のは"&&"だと思ってたのですが、何か間違っているのかしら。 1つ目の処理(コマンド実行)は"&"でバックグラウンドに移って、すぐにs
crontabファイル含め、設定ファイルはレポジトリで管理しましょうという話です。 恐怖のcrontab -r crontab -r を安全にする - antipop 間違えて crontab -r してしまい、crontab をふっとばしてしまったので、以下のような zsh 関数を書いて、確認を出すようにした。つか、隣同士にある -e と -r で編集と削除とか、酷いよ＞＜。。。 cronのにジョブを登録する際に、crontabファイルを開きますが、「crontab -e」と間違って「crontab -r」をやると、crontabが消えてしまう。しかも、記事の内容にある通り、「e」と「r」というタイポしてもおかしくない位置にあるというので、これは怖い。 crontabの内容なんてほとんど覚えてない割にはちょくちょく更新するファイル。バックアップとかとってないと大変なことになる。 ytoy
cronは分単位からの制御が可能だが、秒単位まではサポートしていない。 というわけで、例えば30秒毎などに実行したい場合は工夫が必要になる。 # ニーズがあるかはわからないが、例えば短い周期で監視を行っている場合など。 例えば、30秒毎に実行したい場合は、以下のようにcronの設定を記述する。 * * * * * command & sleep 30; command上記の"command"の部分に、実行したいコマンドを記述する。 1つ目の"command"を実行しながら、それと並列して30秒間sleep、そして2つ目の"command"を実行、という流れ。 他にも、毎分15秒に処理を実施したい場合は以下。 * * * * * sleep 15; command 上記が、何かのお役に立てば。 追記 bashの"&"と"&&" - 元RX-7乗りの適当な日々 詳解 Linuxカーネル 第3版
Landscape トップページ | < 前の日 2004-11-15 2004-11-17 次の日 2004-11-18 > Landscape - エンジニアのメモ 2004-11-17 ssh scp sftp の正しい自動実行方法 当サイト内を Google 検索できます * ssh scp sftp の正しい自動実行方法この記事の直リンクURL: Permlink | この記事が属するカテゴリ: [ssh] [セキュリティ] scp と sftp について調べていると、正しい自動実行についての文書を見つけた。cron から scp や sftp を自動実行しようと考えている私には役に立つ文書だ。 - 「専用のパスフレーズなしの鍵を作って権限限定」がベスト正しいssh/scpの自動運転は ぴろ日記 http://www.banana-fish.com/~piro/20040609.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
