Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? HashiCorp tools を支える技術 このエントリは HashiCorp Advent Calendar の 16 日目の記事です。 HashiCorp HashiCorp といえば、Vagrant から始まり、 Packer, Serf, Consul, Terraform, Vault, Nomad, Otto など、 運用面で有用なツールを数多く公開していることで有名です。 これらのそれぞれのツールは、 サービスを運用する立場の目線からの知見が大量に入っているのに加え、 堅牢性や様々な機能、現実的な処理速度を実現するために
Serfが必要とされる理由 複数のサーバ環境上で、一斉にセットアップ用やデプロイ用のコマンドを実行したり、バージョン番号の確認を行ったりするためには、どのような方法が最適でしょうか。管理対象が数台程度であれば、毎回手打ちでSSHログインを実行し、コマンドを実行する方法もありでしょう。 しかし、その作業が同じ手順の繰り返しである場合や、システムにおける作業対象が十数台～数百台まで増えたとしたらどうでしょう？ 人の手で行うとなると、作業にかかる時間が増える上に、作業ミス発生のリスクも高まります。ミスを防ぐためには、チェックの仕組みも必要となります。たとえそれが単純な作業だったとしても、システム全体としては非常に面倒なものになりがちです。 このような問題を解決するためのツールとして、parallel-sshが挙げられます。parallel-sshは名称の通り、ある環境上から対象となるサーバ群に対
3. ● Explicitly (often manually) configured nodes with implicit roles ● Static addresses, often hard- coded ● Scaling up/down means complex re-configuring ● Failure recovery means re- building failed node(s) ● Service discovery isn’t useful 4. ● Explicitly configured roles, automatically configured nodes ● Dynamic addresses, never hard-coded ● Scaling up/down can happen often and automatically ● F
HashiCode#1 - HashiCorp Dojo 2015年5月27日(水) 19:00 - 21:00 東京都秋葉原 1. Tao of HashiCorp 2. HashiCorp Tools 3. Atlas 4. Discussion 5. Lightning Talks To be continued... Lire moins
前回までの連載は、Serfを使ったクラスタの構築や、イベントハンドラを使って一斉にコマンドを実行する方法を見てきました。今回からはSerfではなく、Consulを用いたクラスタの管理や、サービスの監視、自動処理のしかたを学んでいきます。 ConsulはSerfと同じく、面倒な手作業を自動化または省力化するための役割を持っています。ですが、両者の機能や使い方には様々な違いがあります。今回はSerfとConsulの違いと、Consulの基本的な機能・特徴について扱います。 Consulの主な機能と特徴 Consulは、Serfと同様にHashiCorpがオープンソースとして公開・開発しているソフトウェアです。Serfより後の2014年春に初リリースされ、以降はGitHubやIRCを通して議論・開発が行われています。 Consulの機能の1つに、クラスタのメンバー管理機能があります。これはSer
これまではSerfの基本的な使い方や、Serfで構成されたイベントハンドラの動きを見てきました。今回はSerfに関する連載のまとめです。複数の仮想サーバ上にも応用可能なように、Dockerコンテナでの活用方法をご紹介します。また、より詳細な設定方法についての理解も進めていきます。 Dockerコンテナ群をSerfで管理する方法 DockerはLinuxコンテナを簡単に起動・管理するためのツールです。Dockerの魅力は、単純にコンテナを操作できる点だけではありません。公開レポジトリであるDockerHubを使ったコンテナの共有や、Dockerfileと言う設定ファイルを使った構成管理の自動化などの利点があります。 コンテナ管理問題を解決するSerf コンテナを多く立ちあげた時に発生するのは、沢山のコンテナを効率的に操作するのかという課題です。例えばコンテナ内のプロセス稼働状況や、設定ファイ
イベントハンドラとは？ 前回の記事で見たように、Serfエージェントをサーバ上で起動することで、簡単にネットワーク上にクラスタを構成できます。クラスタを構成後、Serfはネットワーク上で相互に死活監視するだけでなく、クラスタのメンバ管理（ホスト名・IPアドレス・タグ等を共有）を行えます。この監視状況やメンバの変化という「イベント」に応じて、シェルスクリプトやコマンドを実行する機能が「イベントハンドラ」です。 イベントハンドラは単純にコマンド実行するだけでなく、環境変数を通してSerfからスクリプトに様々なデータを渡せます。この仕組みを使い、コマンド実行時に動的に変わる引数（ホスト名・IPアドレス・タグ等）の指定や、動的に変わる環境に対する設定変更を行えます。 そのため、イベントハンドラの理解・習得が、Serfを使って自動化を進めるうえで欠かせません。とは言え、さほど難しい概念ではありません
Serfとは？ Serfは、HashiCorp社がオープンソースとして開発・公開しているクラスタ管理用のツールです。軽量なエージェントを起動するだけで手軽にクラスタを構成でき、複数台のサーバにまたがる作業の自動化に役立ちます。2013年後半から開発がスタートし、現在もGitHubやIRC上で開発が行われています。 登場背景と利用シーン クラウドコンピューティングを使ったシステムの普及と、継続的な開発・運用スタイルの普及により、インフラ環境が増えたり減ったりするシーンが増えつつあります。クラウドを活用し、OSの領域までは短時間で準備できるようになりました。ミドルウェアやアプリケーションの設定も、ChefやAnsible等の構成管理ツールを使う手法が広まり、作業時間の短縮や正確性の向上が実現しています。 このようにインフラ部分が動的に変わることが当たり前になりつつある一方、運用視点で新しい課題
タイトルのまんまですが、最近 Serf を触っています。 Serf がわからない人は @sonots さんの記事がおすすめです。 正月休みだし Serf 触ってみた serf-hosts とは @kentaro さんが作った serf-hosts は Serf のイベント (join, leave, failed) をトリガーに、各サーバの /etc/hosts を更新する Perl スクリプトです。クラスタにサーバが追加されたら、そのホスト名をクラスタ全体に反映してくれます。サーバがダウンしたり、クラスタから抜けたときも同様です。 /etc/hosts に書いてあると、内部 DNS サーバを立てる必要がありません。名前解決のコストもほぼゼロにできます。 機能的には満足なんですが、個人的に Perl が苦手なのでシェルスクリプトで書き直してみました。 Amazon Linux で動作確認を
Serf ( http://serfdom.io/ ) の agent 設定オプションを整理しました。 ※ 現行のバイナリ配付版 version 0.5.0 に対応。 まとめた動機は、いくつかあります。まずは、Serf に興味を持たれる方が増えてきたので、設定時の参考になるように。自分自身、設定を忘れてしまうこともあり、再整理しなくてはと思っていました（去年スライド公開用に整理した時に比べ、使えるオプションが増えています）。 そして、tcnksm @deeet さんの Serf 虎の巻 （これは素晴らしいまとめ） に触発され、自分の手許に散らばっているメモを整理しようと思い立ちました。 当記事は、オフィシャルのドキュメント、SERF AGENT Configuration の内容に準じています。 ■ Serf エージェントのオプション設定は２種類 エージェントの設定オプションは、コマンドラ
serf-munin.pl1を書いた時にハマったこと。 複数タグを登録すると、カンマ区切りのkey=valueになる serfの基本的な動作を試してみた時に知ったことです。 これはドキュメントにもそれとなく書いてあるので、ハマるという程のことは無かったのですが、なんとも言えない挙動があるのでメモしておきます。 例えば以下のように、role=appとdatacenter=tokyoという2つのタグを設定します。
Serf を systemd を使い、サーバのブート時に自動起動する設定方法をまとめました。systemd は SysV init スクリプトにかわり、デーモンの起動・停止やリソース設定を行う事が出来ます。systemd については、@enakai00 さんのスライドが参考になります m(__)m Linux女子部 systemd徹底入門 http://www.slideshare.net/enakai/linux-27872553 ■動機と目的 Raspberry Pi 上で監視を行うためです。Raspberry Pi 上は pidora で運用中（Fedora 18 の ARM 特化ディストリビューション。pidora インストール手順はこちら）。電源を入れると DHCP で接続する設定のため、都度 IP アドレスが変更になります。 そのため、IP アドレスを知る為には、通知するスクリ
自分のブログに書いたことを順番にまとめる． serfの基本的な動作を試してみた url: http://blog.hifumi.info/2014/07/23/try-serf-clustering/ serfのことが何も分からなかったので，アレコレと試した作業記録のようなものを雑多に書いている． provisionをほんのちょっとだけ工夫して，vagrant up --provisionでひと通りの道具が揃うようにした． $script = <<SCRIPT [ -f /usr/local/src/serf.zip ] || wget -q https://dl.bintray.com/mitchellh/serf/0.6.3_linux_amd64.zip -O /usr/local/src/serf.zip [ -f /usr/local/bin/serf ] || unzip /u
2015.12.17追記：マネージドNATゲートウェイというサービスがリリースされました。 AWS VPCでプライベートサブネット内に起動したインスタンスは、インターネットと通信することができません。外部リポジトリやAmazon S3等の各種サービスも利用するためには、NATインスタンスを用意して外部との通信を中継する必要があります。 このためにAWSではNATインスタンス用のオフィシャルなAMIが提供されているのですが、わざわざ専用のインスタンスを稼働させるのは勿体ないので、ヴェッテルでは管理用サーバにNATインスタンス機能を持たせて併用しています。またNATインスタンスがSPOFにならないように障害が発生したら、自動的にフェイルオーバーするような冗長化も行っています。 ここでは、オフィシャルなAMIを利用せずに独自でNATインスタンスを構築する方法と Serf による冗長化の方法を紹介
2014年12月11日(木) サムライインキュベート（東京都品川）19:00 ～ 22:00 Code the Clouds Mix-up Vol.2 発表資料 http://everevo.com/event/17392Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
