Fastlyについて知らないかもしれない30のこと – TravelBook Tech Blog
いわくら君が書いてくれた通り 、トラベルブックではFastlyを導入しました。Fastlyについて初めて分かったことがたくさんありました。列挙してみたら30個もあったので、一個ずつ紹介してみることにします。 そもそもFastlyとは そもそもFastlyとはCDNのサービスです。現在では後述するCompute@Edgeを主力としたサーバーレス環境を推していますが、とにかくCDNです。今回は www.travelbook.co.jp ドメイン全てに対して適応し、全てのHTMLページをFastly経由にしました。 もともとVarnishでページをキャッシュしていた部分をFastlyに置き換えることで冗長化・安定化、また、パフォーマンスアップを図ります。 加えて、これまでキャッシュの対象外だったページも、この際TTL付きでキャッシュする、というのが今回やったことです。 詳しくはいわくら君の書いた
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
Shin x blog Advent Calendar 2013 の 6 日目です。 とあるサイトに、Varnish をリバースプロキシとして導入して、半年が経過しました。 導入した経緯やその効果など書いてみたいと思います。 Varnish とは Varnish は、HTTP アクセラレータです。Web サーバのリバースプロキシとして動作し、キャッシュを生かして高いパフォーマンスを発揮するのが特徴です。また、VCL という独自の設定言語を持ち、これにより状況に応じた設定を柔軟に行うことができます。 導入の経緯 このサイトでは LAMP 構成の CMS を利用しており、インフラには AWS を利用しています。基本、閲覧が中心なのですが、イベント時に多数のアクセスがあります。S3 や CloudFront も検討したのですが、コンテンツを数分おきに更新する必要があるので今回は採用しませんでした
夏コミで同人誌でだしたVarnishCache入門ですがPDFで公開します。 幾つか公開したかった理由はあったのですが、実際コミケまで足を運んで買っていただいた方にちょっと申し訳ないかなと 電子出版での有料配布も考えていたのですが 64P程度で大げさかなというのと、もう一ヶ月経って3.0.1も出たしいいかなと思い公開します。 内容的には初心者向けとなっていますので、そこまで高度な内容については記述していません。 なお3.0.1が公開されたためページ数が変わらない範囲で、その内容についても一部加筆しています。（fallback directorとか） Varnishを使ってみようと考えている方の参考になればと考えています。 PDFのダウンロード ちなみに、時間と印刷費の関係で書ききれなかった事がたくさんあるのですが(転記されないパラメータやら、varnishtestとか・・・） そういうこと
Varnish Cache3.0.1が公開されました。 主にバグ修正かとおもいきや嬉しい機能追加もあります。 僕は英語が苦手で書いてる時点で変更の検証が終わってないので 勘違いしている訳があったら教えて下さい・・・ Varnish Cache releases Objects with grace and keep set were mistakenly seen as candidates for the shortlived storage, but would not be cleaned up quickly, something that manifested as if there was a memory leak. This is now fixed. Transientストレージにおいてメモリリークのような現象が起きるバグを修正しました。 この件ですね Varnish3で
今回は簡単な設定を行い各サブルーチンの役割を見ていきます。 backend backend default { .host = "192.168.0.1"; .port = "80"; } データを取りに行くバックエンドサーバ（Webサーバ）を指定します。 localhostやローカルネットワーク内でも構いませんし、グローバル越しでもサーバからアクセスできるところであれば取得することが可能です。名前解決が出来ればホスト名またはFQDNでの記載も可能ですが、最初のコンパイル時にIPに変換され組み込まれるため、IPが変わった場合は設定ファイル再読み込みが必要となります。 default 部分が設定名となり、変更や複数設定することが可能です。 例： backend mitsue { .host = "172.24.0.1"; .port = "80"; } backend solution {
みなさん、こんにちは。 2010年9月入社のUDAGAWAです。 今回は、reverse proxyのvarnishに関して記事を 書かせていただきます。 ■varnishとは 高性能HTTPアクセラレータです。 同じような機能を持ったsquidより10～20倍高速だということが 売りのひとつだそうです。 ■背景 Amebaの画像配信システムは、reverse proxyとして squid2.7 STABLEのCOSSを使ったシステムを利用しています。 squid2.7自体が古いバージョンなので、できればバージョンアップしたいところ なのですが、現状 squid3系からはcossが使用できないこともあり varnishを検証しておこうと考えたのがきっかけです。 ■テスト環境 CentOS5.5 Kernel 2.6.18-194.3.1.el5 Varnish 2.1.3 ■インストール
Varnish勉強会 Tokyo.vcl : ATND 予想に反して満員御礼となりまして、登壇、参加して下さった方をはじめ補欠に入ってまで参加を希望して下さっていたみなさんありがとうございました。AWSだったりFusionIOだったりインフラに関わっていると会って話したくなるような方が多くいらっしゃって 以下、簡単ではありますがサマリーをまとめておきたいと思います。 配信 即席の環境ではありましたが配信も行っておりました。音声等あまり気にすることが出来ておりませんが、録画を残しております。 前半 オープニング〜@PENGUINANA_ さんの途中まで http://www.ustream.tv/recorded/15453305 後半 @PENGUINANA_ さんの途中 〜終了 http://www.ustream.tv/recorded/15453834 発表 皆さんの発表の情報をまと
一部の人に鳥の人として認識されているyamaokaです。 フォト蔵では最近Varnishをコンテンツキャッシュに利用しています。 具体的には、写真のサムネイルなどの静的なコンテンツをキャッシュするために使っていたりします。 Varnishはコンテンツキャッシュ機能を備えたHTTPアクセラレータです。 同じような目的に使われるプロダクトとしてSquidがありますが、 それよりも高速に効率よく動作することを売りにしています。 サーバーへのインストールについてはCentOSなどRed Hat系のLinuxであれば EPELからrpmを入手するか、 ソースを展開するとredhatディレクトリにspecファイルが用意されているので そちらを利用すれば最新版のrpmが作成可能です。 以下、rpmを使ってインストールしたものとして話を進めます。 起動設定は/etc/sysconfig/varnishです
これらを必要に応じて書き換えることができます。たとえば、本番サービスなどで利用する場合、特にDMZセグメントで構成しようと考えるのであれば、-Tの管理画面待ち受けポートは変更するなどした方が良いでしょう。 また、サービスの規模に応じて、-sのキャッシュファイルの場所や容量を変更することになるかと思います。デフォルトでは、/var/lib/varnish/varnish_storage.bin に1Gバイトの容量を確保しますが、大規模コンテンツ、高トラフィックでキャッシュサーバ自体もかなりの台数並べるようなサービスであれば、このデバイス自体をメモリ上にやSSD、f-ioなどの高速デバイスにするかを検討します。 varnishとApacheを別々のサーバに入れてみる さて、1つの筐体にvarnishとApacheを入れ、稼働を確認することができたなら、次は同居していたApacheを別筐体へ移動
またまたVarnishのLTをqpstudy#03でやってきました 今回はVCLを記述する際に分かりづらいサブルーチンのところとデバッグの仕方を軽く話しました 正直5分という時間で詰め込みすぎた感があって今後の課題かなーと思いつつ Varnishを使う際の一助になれば幸いだと思っています 発表資料 UST（僕が話してるのは1：35：00あたりからです） UST中で言及しているinitrcの改造は Varnishのinitスクリプト改造(graceful対応) また二次会かビアバッシュで話したパージについては マルチドメイン環境でHTTP経由でPurgeを行うVCL設定とスクリプト 参加された方々お疲れ様でした楽しかったです！ また、会場を貸していただきサポートしていただいたニフティの方々ありがとうございました！ qpstudy公式 追記： ビアバッシュで話したApacheTrafficSe
Varnish2.1.3がリリースされたようです varnishのブログからの情報だと 安定版の2.0.6と同等の安定性とパフォーマンスを確保したので是非2.1.3を使って欲しいとのことです 実はそのうち記事でだそうと思ってたのですが2.1.2は2.0.6に比べるとパフォーマンスが多少落ちていたのでこれでよくなると嬉しいです （テスト条件は格納オブジェクト数が10ぐらいだったのでどうかとも思いますが・・・） また変更点は ・critbitのバグを修正 →2.1.2の際にLAが1に貼りつくという現象がありましたがおそらくそれがなおると思います（まだ未検証なので・・・） ・varnishncsaのバグ修正（ログの取りこぼしなどがあったようです） ・Rangeリクエストのバグを修正 ・VCLにlogコマンドを追加 だそうです RPMビルドの際にひとつだけ注意点があります varnish.spec
次にRPMを作成します [root@LIP-APP-02 redhat]# rpmbuild -bb varnish.spec エラー: ファイル /usr/src/redhat/SOURCES/varnish-2.1.2.tar.gz: そのようなファイルやディレクトリはありません。 ソースがないよということなので指定された場所に/usr/src/redhat/SOURCES/にダウンロードしたしてきたtgzをコピーします。 もしvarnish.initrcなどのファイルを書き換えている場合は書き換えたファイルを含むtgzを作成してコピーします。 特に書き換えていない場合 [root@LIP-APP-02 redhat]# cp ../../varnish-2.1.2.tar.gz /usr/src/redhat/SOURCES/varnish-2.1.2.tar.gz varnish.
Opera’s newest Web browser introduces a new technology platform, Opera Unite, allowing you to stream music or share files, photos and more, right from the browser. Cosimo Streppone - My Opera front page caching and Varnish hackingにおいて、My Operaのフロントページのアクセスを高速化するためにVarnishを導入した経緯と、効果的にVarnishを使うために実施したチューニングが紹介されている。大規模サイトにおけるVarnishの採用事例としてや、モバイルデバイスに対するVarnishの適用事例、カスタム設定の方法として参考になる。 Varnishはアクセラ
RubyのウェブアプリケーションフレームワークRamazeがとってもとっても素敵なので、ただいま実験としてささいなものを作成しております。HTTPdには今話題のthinを使おうかな、と思っているのですが、こうなると考えなければならないのがリバースプロキシですよね。"reverse proxy rails" あたりで検索すると真っ先にapacheの設定方法が出てくるわけですが、なんでもapacheというのもどうかな、と思いました。設定が煩雑になりますしね。そこでリバースプロキシである varnish を試してみました。varnishに関するドキュメントはあまり多くないのですが、varnish はとっても簡単なので素晴しいと思います。せっかくですから、varnishに関する設定方法などを簡単にまとめておきたいと思います。なお、私はサーバであっても ubuntu を使っておりますので（手抜き！）
The Varnish projectは20日(デンマーク時間)、Varnishの最新版となる「Varnish 1.1.1」を公開した。VarnishはC言語で開発されたHTTPアクセラレータ。FreeBSD 6およびLinux 2.6をメインプラットフォームとして開発されたプロダクトで、仮想メモリシステムやI/O機能など、OSの提供している機能をフルに活用することでプロキシよりも高速に動作するという特徴がある。既存のWebシステムにあまり手を加えることなくても、Varnishを導入して高速化が実現できるという利点もある。 Varnish 1.1.1は安定性の向上とポータビリティに関する問題を改善したマイナーリリース。1月前に機能追加が実施されたVarnish 1.1に対する安定性向上版という位置づけだ。Varnish 1.1およびVarnish 1.0.4またはそれ以前のバージョンを採用
2007年7月12日(木) ■ しつこく 503 _ mod_cern_meta は任意のヘッダを追加するという意味では mod_headers と似た動作をするモジュールなんだけど、試してみたら mod_headers と違ってステータスコードの変更も可能だった。こんな感じ。 Alias /hoge/ /somewhere/503.html/ <Directory /somewhere> AcceptPathInfo on MetaFiles on </Directory> さらに /somewhere/.web/503.html.meta というファイルを作成し、 Status: 503 service unavailable と書いておく。すると、/hoge/ 以下へのアクセスが /somewhere/503.html にエイリアスされ、mod_cern_meta により .web/
The Varnish projectは20日(デンマーク時間)、Varnishの最新版となる「Varnish 1.1」を公開した。VarnishはC言語で開発されたHTTPアクセラレータ。FreeBSD 6およびLinux 2.6をメインプラットフォームとして開発されたプロダクトで、Apache 3.0構想においても取り込みが提案されるなど、注目度も高い。仮想メモリシステムやI/O機能などOSの提供している機能をフルに活用することでプロキシよりも高速に動作するという特徴がある。 Varnishは高速処理実装の参照実装としても、コンテンツマネジメントシステム(CMS)におけるアクセスの高速化にも高い効果がある。既存のシステムに導入する際にもあまり手を加える必要がないなど、運用における効果も期待できる。 Varnish 1.1ではVary:サポートの追加、URLおよびヘッダの再書き込み機能、
Varnishプロジェクトは20日(ノルウェー時間)、HTTP経由での通信を高速化するソフトウェア「Varnish 1.0」をリリースした。POSIX互換のOS全般で動作するよう設計されているが、現時点ではFreeBSD 6.1-STABLEと7.0-CURRENT、およびLinux(Ubuntu Dapper)での動作が確認されている。 Varnishは、HTTP経由でリクエストされたファイルをキャッシュしておき、次回の通信に使用することで高速化を図る、サーバサイドの高速化技術。対応するプロトコルはHTTP/1.0と1.1、コンパイル時にオプションを指定することにより、ICPとHTCPにも対応可能。サービスを停止せずに設定を変更できる、ランタイムコンフィグレーションもサポート。マルチコア/プロセッサや64ビットCPUを搭載したマシンなど、高速なI/Oスループットを持つハードウェア上で動作
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
