Expedat Gateway(EC2)環境構築 それでは早速環境を構築してみましょう。AWS Marketplaceのページから、"Continue"をクリックします。 ExpeDat Gateway for Amazon S3 700 Mbps Hourly on AWS Marketplace "Accept Terms"をクリックして、EC2を起動しましょう。Marketplaceの利用方法は、他のマシンイメージと同様です。 今回は"Manual Launch"から、手動で起動してみました。EC2起動操作は割愛しますが、SecurityGroupでは下記ポートの開放が必要です。また、インスタンスタイプはc4.xlargeを利用することにしました。 SSH(tcp/22) 初期設定を行うクライアント環境から HTTP(tcp/80) ExpeDatクライアント環境から(ソフトウェアダ
The National Democratic Alliance (NDA) has emerged victorious in India’s 2024 general election, but with a smaller majority compared to 2019. According to post-election analysis by Goldman Sachs, JP Morgan,… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to i
森永です。 前回の記事でWordPressにアクセスできるところまでいきました。 引き続き構築を行っていきます。今回の手順は順序を変えるとうまくいかないことがありますのでご注意下さい。 おさらい こんな構成を作っていきます。 今回構築のメインとなるのは、CloudFrontの部分です。 CloudFrontにはURLによって振り分け先を変えるリバースプロキシの機能がありますので、メディアファイルを参照する場合のみS3に向くように設定をしていきます。 WordPressの基本設定 プラグインのセットアップ Beanstalkで作成されたサーバは、AutoScalingで起動されているEC2インスタンスのため、基本的にローカルにファイルを保存してはいけません。そのため、本来サーバのローカルに格納される画像などのメディアファイルは、プラグインを使用してS3に格納するようにします。 管理画面から、
Securing Your Content in Amazon S3を意訳。 CloudFrontのPrivate Distributionを使用するには、CloudFrontアクセスIDを作成し、そのIDのみからコンテンツへアクセスできるようS3内のオブジェクトのACLを設定する必要がある。このセクションでは、アクセスIDとは何か、アクセスIDを組み込むためにどのようにdistributionを変更すれば良いか、どのようにCloudFrontからS3内のデータへのアクセスか認可するかについて説明する。 CloudFrontアクセスIDについて CloudFrontアクセスIDは、S3のバケットからのコンテンツの取得を許可する仮想IDである。まず自分のAWSアカウントでCloudFrontアクセスIDを作成し、そのIDをdistributionにアタッチし、S3のオブジェクトへの読み取り権
AWS Lambda をさわってみたら楽しげだったので作ってみた。 ソース: aws-lambda-samples/s3slack at master · laiso/aws-lambda-samples zip圧縮してブラウザからアップロードできます(ルートをフォルダで包まないこと)。 やっていることは以下。 const SLACK_TOKEN = "xxx...xxx"; var req = require('request'); exports.handler = function(event, context) { var filename = event.Records[0].s3.object.key; req.post('https://slack.com/api/chat.postMessage') .form({ token: SLACK_TOKEN, channel:
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
S3の利用方法としては静的Webサーバが便利で良く使われている。この場合、アクセス制御は基本的に全開にすることが多い。 一方、EMRの入出力で使用するバケットは、httpアクセスすることは少なく、特定のアカウントからのS3 APIでのアクセスのみ、というケースも多い。 例えば、以下の様にアカウントを跨いで、S3経由で非公開データ授受を行う場合などが考えられる。 S3のアクセス制御には、IAM、バケットポリシー、ACLがあるが、まずはバケットポリシーで設定してみる。 設定内容としては ・アカウント1111-2222-3333のS3バケット s3://understeer を、アカウント1234-5678-9012が閲覧出来るようにする ・閲覧方法は、 GetObject (各ファイルの取得・ダウンロード)および ListBucket (オブジェクト一覧表示) とする とはいえ、jsonフ
先日S3にブラウザから直接アップロードする機能を作成しましたがAWSアクセスキーが クライアントに見えてしまうのはセキュリティ的に望ましくないのでS3アップロード専用の アカウントを作成します。ここではIAMを使用する IAMポリシーを作成する AWS Policy Generator こちらのジェネレータでS3のアップロードのみ可能なポリシーを作成する Select Type of Policy IAM Policy Effect Allow AWS Service Amazon S3 Actions PutObject ARN arn:aws:s3:::/ ARNではS3上のパスを指定する必要がある 特定のバケット配下にアップロードを許可する場合は以下のように指定する arn:aws:s3:::【バケット名】/* ここではS3アップロードのみを許可するため以下ポリシーとなる { "St
こんにちは植木和樹です。今回はタイトル通りs3fsという仕組みを使ってEC2からS3をマウントしてみました。 解決したい問題 たとえば複数のWebサーバがあった時に、サーバ間でファイルを共有したいってことがあります。Webアプリの処理でファイルを作る場合、あるEC2インスタンス障害が発生してダウンしても別のインスタンスからアクセスできるようにしておきたい、といったケースです。 解決策として以下の案が思いつきます。 NFSで領域を共有する RDSにファイルを格納する S3にファイルをアップロードする 既存のアプリをなるべく変更せずに対応するとなるとNFSサーバを用意するのが手っ取り早いのですが、そうなるとNFSサーバが単一障害点(SPOF)になります。冗長かのためにEC2インスタンスの数が増えて構成が複雑になるのはなるべく避けたいですよね。 ということで信頼性の高いS3ストレージをなんとかお
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
誰もが待ち望んだ、Amazon Web Servicesの日本展開！東京リージョンが今日発表され、既に稼動中です。 http://aws.typepad.com/aws_japan/2011/03/now-open-aws-region-in-tokyo.html というわけで、早速使ってみたのですが、これはもう期待通り！快適です。 計測に使ったのは、"ap-northeast-1a"(まだ単一のZoneみたいですね)の「Amazon EC2」のHigh-CPUインスタンスと、"Tokyo"の「Amazon S3」です。 from OCN系ISP (神奈川県川崎市) からEC2インスタンスのRTT $ ping ec2-175-41-196-194.ap-northeast-1.compute.amazonaws.com PING ec2-175-41-196-194.ap-northea
s3-bashはBash製のオープンソース・ソフトウェア。Amazon S3はオンラインのファイルストレージサービスとして有名だが、あまり使われていないように思える。Webサービスはもとより、個人で使っても便利なサービスだというのにだ。 s3-getのオプション 使われないのはFTPのようにごく手軽という訳ではないことに原因もあるだろう。オンラインのサービスであるか否かを意識しないくらい、手軽にファイルが扱えるようになればもっと利用範囲が拡大するはずだ。それを実現するためのソフトウェアがs3-bashだ。 s3-bashはなんとBashスクリプトを使ってAmazon S3のファイル操作を行うソフトウェアだ。個人的にはPython製のs3cmdをよく使っているが、もっとシンプルな使い方であればs3-bashのが良いかも知れない。殆ど設定も必要とせず使えるのが利点だ。 s3-put。基本的には
Amazon S3用のコマンドラインツールs3cmd
S3を使うにあたってインストールしたs3cmd。とても便利なのですがあまり日本語の情報が豊富ではない気がしたので、ちっとも難しいことではないので参考にもならないかもしれませんが、誰かの役に経つかもしれないので、インストール方法とコマンドオプションを書いておきます。 cd /etc/yum.repos.d wget http://s3cmd.org/repo/CentOS_5/s3tools.repo（centosの場合) yum install s3cmd のようにリポジトリを追加してyumでRPMをインストール 使い方 http://manpages.ubuntu.com/manpages/intrepid/en/man1/s3cmd.1.html s3cmd --configure アクセスキーなど設定する s3cmd ls リスト s3cmd mb s3://bucket-name
2010/01/15 米アマゾン傘下のAmazon Web Servicesは1月14日、クラウドコンピューティング上でシステム構築を行う場合のベスト・プラクティスをまとめた「Architecting for the Cloud: Best Practices」を公表した。 これまでにも同社は、AWSのサービスを組み合わせてスケーラビリティや可用性を実現する事例を紹介したり、具体的なサービスの組み合わせ方などを解説する文書を公開してきた。今回新たに公開されたホワイト・ペーパーは、こうした解説の集大成と言えるもので、自社だけでなくマイクロソフトやIBM、グーグルが公開しているホワイト・ペーパーも参照している。 20ページの英文PDFはクラウド一般のメリットや特徴から説き起こし、AWSの各サービスの簡単な解説を続けた後に、クラウドの各種の特性を最大限に引き出すシステムについて、一般論としての概
Amazon.comのCTOであるWerner Vogels氏が自身のブログにて、2009年Q3時点で、Amazon S3には820億ものオブジェクトが格納されていることを記しています。 At the end of Q3 2009 we counted over 82 billion objects in Amazon S3. Congrats to the team for providing such a rock solid service! 82 Billion Objects in Amazon S3 - All Things Distributed 今年4月のITproテクノロジカンファレンス(「Amazon EC2を使った実践SaaS運用事例」の資料を公開します＋参加記録 (ITproテクノロジ・カンファレンス))にて、Amazonのシニアエバンジェリスト、Jeff Barr
Webサイトを構築する際に、ストレージについて頭を悩ませることがある。そもそもそうしたことに悩んだり、スケーラビリティを考えるならばAmazon S3を使ってしまう方が早いのではないだろうか。画像やアップロードしたファイルなどであれば速度もそれほど気にせず利用できるはずだ。 FTP風のAmazon S3フロントエンド その他、ファイルのバックアップやファイルアップローダーとしてAmazon S3は利用できる。そのためのフロントエンドとしてCloudBerry Explorerを紹介しよう。 今回紹介するフリーウェアはCloudBerry Explorer、Windows用のAmazon S3フロントエンドだ。 CloudBerry Explorerは二画面ファイラーの表示になっている。FTPソフトウェアの感覚で使えるので分かりやすい。左右どちらをAmazon S3にすることもでき、両側をA
Amazon EC2のインスタンスは一度シャットダウンしてしまうと、そのインスタンスで保持していたディスクの内容は全て消滅してしまいます。 そこで「Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成」では、自分でカスタマイズ＆利用したインスタンスのイメージを、バックエンドのストレージであるAmazon S3に保存する方法を紹介しました。 しかし、これはOSのイメージをまるごとフルバックアップする方法に近いため、定期的に行うバックアップとしては非効率的な方法です。 定期的に行うべきなのは、サービスなどで日々更新されるような特定のデータやログなど、必要なデータをピンポイントでバックアップすることが効率的です。 そこで、今回は"S3Sync"を使ってみます。 http://s3sync.net/wiki この"S3Sync"は、(EC2に限らず)あるサーバからAmazon
Amazon S3 申し込み http://www.misuzilla.org/~mayuki/misc/AmazonS3 サインアップ (日本のamazonのメールアドレスでいけた) E-mailが来る アカウントの使用状況を見るためのURLがかかれている 基本情報取得 右上の「Your Web Services Account」にマウスを合わせるとポップアップ View Access Key Identifiersを選択 二種類の情報が得られる Access Key Identifiers Secret Access Key X.509 Certも入手できるのでHTTPSとかはこれを使うのがよい secret Access Keyは再生成することもできる 構成要素 Objects: データ自体 Buckets: objectを格納する箱。bucketは入れ子にできない bucketの名
おうちサーバのディスクのバックアップとして、Amazon S3(Simple Strage Service)を利用することにしました。 2007年12月におうちサーバのハードディスクが故障し、数ヶ月前のバックアップから復元した経験もあります。あのときの手間を考えると、毎日のバックアップは絶対必要ですね。 バックアップの要件として、以下のことを考慮してAmazon S3を選択しました。 信頼できる 自動化できる 簡単に利用できるツールがある 安価なこと 容量課金は、1GBあたり$0.15で通信料課金は1GBあたり$0.1です。 Amazon S3の準備 Amazon S3のページにアクセスします 「Sign Up For This Web Service」をクリックし、後は指示に従って入力します s3syncの準備 自動的に行うバックアップとしては、使いやすさを第一に考えs3sync.rbを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
