Pull型デプロイツール stretcher - fujiwara-ware advent calendar 2024 day 8 この記事は fujiwara-ware advent calendar 2024 の8日目です。 本日は、10年前に開発した(でも今でも使われているらしい)ちょっと懐かしいツールを紹介します。 stretcher とは stretcher は、Pull型デプロイツールです。Pull型デプロイツールとは、デプロイ先のサーバーが自分でデプロイメント(の成果物)を取得する方式のことです。 Push型デプロイツール = デプロイ元がデプロイメントをデプロイ先(複数)に送る方式 Pull型デプロイツール = デプロイ先がデプロイメントをデプロイ元(ネットワークストレージやコンテナレジストリ)から取得する方式 デプロイするサーバーが大量にある場合、Push型デプロイツール
拙作の pull 型デプロイツール Stretcher をご利用中のかたに大切なお知らせです。 Amazon S3のAWS署名バーション2が、2019年6月24日をもって廃止されます dev.classmethod.jp Stretcher v0.x は Amazon S3 からのファイル取得に AdRoll/goamz を利用しており、このライブラリは Signature V2 を使用しているため、2019年6月24日以降 S3 からのファイル取得に失敗するようになります。 現状でも Signature V4のみサポートしているリージョン (us-east-2など) に対して実行すると、以下のようなエラーメッセージで失敗することが確認されています。 Load manifest failed: cannot detect valid credentials or region ということで
GMOペパボ Advent Calendar 2017の12日分のエントリーになります。 どうも！本日は分散デプロイについての記事になります。2年目氏のスンがお送りいたします。 今年最大のバリューは自分の担当サービスに分散デプロイを導入したことだと思うので、ふりかえりも兼ねて紹介します。書こうと思っていたのですが、なかなか筆が進まなかったです。デプロイを高速化したいという方にぜひご覧いただきたいです。 挫折 僕の上期の目標は、デプロイの高速化でした。下記の資料をご覧いただくとわかるのですが、色々挑戦した後、ファイルの分散配布への挑戦を行い挫折しました。その時導入を検討したのが @fujiwara さんが作成した、 tuggle というプロダクトでした。 https://speakerdeck.com/asuforce/distributed-deployment 資料をご覧いただくとわかる
Helping Users Find Their Own Way: Creating Modern Search Experiences
github.com これはなに? HTTPを使って、ファイルを Consul クラスタ内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機とユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務しているカヤックだけではなく、他社さんでも使われているようです。 先日、某社の Stretcher をお使いのかたに話を伺う機会があり、デプロイアーカイブの取得時のネットワーク負荷が問題になっているということを聞きました。 カヤックではサーバは基本 AWS にあり、S3 からデプロイアーカイブ(200〜300MB程度)を取得しています。S3はちょっと意味が分からないぐらい堅牢で、stretcherの -random-delay 5 (開始を平均2.5秒、最大5秒ずらす) を設定した状態で100台程度から一斉に
これはドリコム Advent Calendar 2016 3日目です。 クラウドの仕様にとらわれないデプロイを実現するために採用したStretcherとConsulについて 選択の経緯とその利用事例を紹介したいと思います。 自己紹介 社内ではsexyと呼ばれています。 珍妙なあだ名がついてしまった経緯については、いつかどこかで。 ソーシャルゲームの開発・運用やアプリ基盤開発を経て、今はインフラ部員です。 複数のクラウドを利用するためにそれらを抽象化したプロビジョニング環境を提供する開発プロジェクトでリーダーをやりました。 背景 弊社はAWSを中心にクラウドサービスを利用してきましたが、他のクラウドを並用したい思惑もあって AWS前提での運用を見直して、機能差分は自社開発で補うことによって、クラウドを選ばない運用を する試みに着手していました。 そのときに目指していたのがポイントが以下になり
About 私が担当しているインフラ環境で先日インスタンス障害がありましたが、pull型デプロイにしていたからか自動でインスタンスが復旧できたので嬉しさのあまり記事にしてみます。 About 技術スタック AutoScalingにした際のゴールデンイメージ問題 pull型デプロイについて インスタンス起動の流れ この前起きた障害時の流れ この構成のデメリット まとめ 参考 技術スタック consul + stretcher Autoscaling AutoScalingにした際のゴールデンイメージ問題 AutoScallingをさせるにはアプリが全部入りのAMIが必要です（AMIを起動させた時点でサービスインできる状態）。ただ、更新が多いアプリだと更新の度にAMIを作るの時間かかりますよね…。1日10回デプロイするなんてことになったら、CIでやるにしろそれなりの時間がかかるのでかなり面倒く
Large-scaled Deploy Over 100 Servers in 3 Minutes Deployment strategy for next generation involves creating OS images using Packer and cloud-init that allow deploying over 100 servers within 3 minutes through automation. The strategy uses Puppet for configuration management and builds minimal and application-specific images to reduce bootstrap time. All deployment operations are implemented throug
$ stretcher -h Usage of stretcher: -max-bandwidth string max bandwidth for download src archives (Bytes/sec) -random-delay float sleep [0,random-delay) sec on start -timeout int timeout for download src archives (sec) 帯域制限 -max-bandwidth manifestのsrcに指定したアーカイブは往々にして巨大になるため、アーカイブの取得でネットワーク帯域を使い果たさないように制限するオプションです。 単位は Bytes/Sec で、go-humanize が解釈できる形式のsuffixも付けられます。 例: 10MB/sec に制限したい場合 -max-bandwid
Shibuya.go#2 という勉強会で、自分が開発している Pull型デプロイツール Stretcher について発表してきました。 shibuyago.connpass.com 発表資料はこちらです。 speakerdeck.com Goの勉強会なので、Stretcherの実装で使われているTips的なコードの紹介を多めにしてみました。 ちなみに資料中で紹介している copyAndCalcHash の実装は、既にPRをいただいて io.MultiWriter によってすっきりきれいになっています。 copyAndCalcHash is simplified by io.MultiWriter by shogo82148 · Pull Request #13 · fujiwara/stretcher · GitHub 会場とピザ、ビールを提供していただいた VOYAGE GROUP 様、
こんにちは。フィードフォース ボドゲ部の kano-e です。 こないだ『Last Night on Earth』というアメリカB級ゾンビ映画ゲーム(オリジナルサウンドトラック付き)で遊んで楽しかったのでまた遊びたい！ さて、最近 stretcher + consul を使ったアプリケーションのデプロイを tjinjin に布教1され、実際のプロダクト導入に向けてデモ用の環境で動かしています。 これまでの (capistrano を使った) デプロイとの違い stretcher や consul が何をしているか 良い点と現状の課題 について、社内勉強会で話した内容をまとめます。 これまでの capistrano でのデプロイ これまでの capistrano を使ったプロダクトのデプロイは、以下のようなフローでした cap production deploy などと実行するだけですので、
Lobiチームの長田です。 今回は現在運用中のLobiというサービスのデプロイについて紹介します。 Lobi Chat & Game Community Lobiについての紹介は以前のエントリを参照ください。 サーバーサイドエンジニア視点でLobiというサービスを紹介します | tech.kayac.com - KAYAC engineers' blog TL;DR デプロイ=各種ファイル更新とサービスへの反映、chefの実行 毎日十数回のデプロイを行っている デプロイ対象は数十台単位 十余名のサーバーサイドエンジニア全員にデプロイ権限がある Auto Scalingを考慮したデプロイ手段を採用している ファイル更新もchef実行もstretcherでOK まだまだ改善の余地あり おおまかな手順 本番環境にデプロイするぞ！という段になると、こんな操作が行われます。 GitHub上でコードレ
Stretcher を使うと、Consul と連携して、所謂 Pull 型の Deploy ができるようになります。 Consul と連携させる場合は、 $ consul event -name deploy s3://xxx-stretcher-files/deploy-20151112-193139.yml のように、consul event で Manifest の path を指定してイベントを送ると、 YAML に書いてある path(s3, http, file) から tar.gz を取得して展開してくれます。 Stretcher は Rollback するのも簡単で、 Rollback したいバージョンの Manifest の path を指定して consul event を実行するだけです。 S3 に置いている場合、都度 aws s3 ls などして Manifest
2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。本件に関する詳細は、プレスリリースをご確認ください。 2024年4月1日より、Supership株式会社は親会社であるSupershipホールディングス株式会社に吸収合併されました。 合併に伴い、存続会社であるSupershipホールディングスは社名をSupershipに変更し、新たな経営体制を発足しました。 本件に関する詳細は、プレスリリースをご確認ください。
2. self.introduce => { name: “SHIBATA Hiroshi”, nickname: “hsbt”, title: “Chief engineer at GMO Pepabo, Inc.”, commit_bits: [“ruby”, “rake”, “rubygems”, “rdoc”, “tdiary”, “hiki”, “railsgirls”, “railsgirls-jp”, …], sites: [“hsbt.org”, ruby-lang.org”, “rubyci.com”, “railsgirls.com”, “railsgirls.jp”], } 5. 2014/11 の minne の状況 • IaaS の上で動くシンプルな Rails アプリケーション • Rails が動いているサーバーは 6 台 • デプロイは capistrano
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
