CloudFrontを使用してS3静的ウェブサイトを提供する手順 | DevelopersIO
S3静的ウェブサイトを、CloudFrontを通じて提供したいと思います。今回はいくつかの前提の元、実施してみました。 DNS管理者、AWS管理者、コンテンツ管理者がそれぞれ別の部などでわかれ、AWSにて提供するウェブサイトは随時増えていく想定です。 こんにちは、坂巻です。 S3静的ウェブサイトを、CloudFrontを通じて提供したいと思います。今回はいくつかの前提の元、実施してみました。 前提／構成 DNS管理者、AWS管理者、コンテンツ管理者がそれぞれ別の部等にわかれ、AWSにて提供するウェブサイトは随時増えていく想定です。イメージは以下となります。 DNS管理者 AWS外のネームサーバでDNSレコード設定等を行います。ドメイン、SSL証明書をAWS外で調達します。調達した証明書はAWS管理者に連携します。 AWS管理者 CloudFront、S3バケットなど、AWSの構築、管理を行
サーバレスアーキテクチャによる時系列データベースの構築と監視
あの慣習 メールにパスワード付きzipを添付して「パスワードは別途お送りいたします」とする慣習、ありますよね。 自分からはやらないけど、相手に合わせてやらざるを得なかったりしてめんどくさい。 ここでは、このやり方の是非は問題にしません。 どんなに是非を説いても、この慣習があるという状況は変わらないので。 そして、この慣習を無くすことも考えません。 そういうのは巨大な力を持った何かにおまかせします。 昔のエラい人は言いました。「長いものには巻かれろ」と。 ただし、巻かれ方は考えたほうがいいと思うのです。 スマートな巻かれ方を考える 巻かれるにあたって、解決したいことはただ一つ。めんどくさくないこと。 このためにWebシステム作って、ブラウザ開いてどうのこうのなんてやってると本末転倒です。 可能な限り、普通のメール送信に近い形で実現したい。 というわけで、あれこれ考えた末、一部の制約を許容しつ
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');
はじめに ソリューションアーキテクトの安川 (@thekentiest)です。AWS ElasticBeanstalkがDockerに対応したという発表がされて以来、実際に利用してくれるお客様や、ブログを書いてくれる方がたくさんいて、嬉しい限りです。 最近ではローンチ当初に比べてDeployの仕組みも改善され、Deploy時にはStagingコンテナが立ち上がり、その立ち上げが完了した後に旧コンテナとの切り替えが行われるようになり、よりダウンタイムが短くなったので、使い勝手も良くなってきたかと思っています。 ところで皆さん、Dockerを使ったDevOpsを行う際、コンテナイメージを置くレポジトリはどうされていますでしょうか？ベースイメージだけを公開レポジトリ等から取得して、毎回コンテナをBuildする場合にはそれほど悩まないかもしれませんが、構築済みのコンテナイメージをPullしてDep
概要 Teraform は、インフラのコード化(Infrastructure as code)を実現すべく、インフラの構築・変更・バージョン管理を、安全かつ効率的に行うためのツール。Vagrant、Serf、Consul 等を提供する HashiCorp がオープンソースで提供している。 本稿は、Teraform がサポートしている事業者(provider)の１つである Amazon Web Services (AWS)のうち、Simple Storage Service (S3) のバケット追加・削除を行うためのチュートリアルである。 本チュートリアルを通し、Terraform を使ったインフラのコード化に対する理解を深める事を目的とする。 参考：Terraform入門 日本語訳 - Qiita http://qiita.com/zembutsu/items/84f5478701c539
<?xml version="1.0" encoding="UTF-8"?> <CORSConfiguration xmlns="http://s3.amazonaws.com/doc/2006-03-01/"> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedMethod>PUT</AllowedMethod> <AllowedMethod>POST</AllowedMethod> <AllowedMethod>DELETE</AllowedMethod> <AllowedHeader>*</AllowedHeader> </CORSRule> </CORSConfiguration>
2013-08-25 fluentd から Amazon Redshift へのデータ投入 試験的に fluentd → Amazon Redshift の流れを作ってみたので、まとめてみます。 全体の流れ fluentd から Redshift にログを送るプラグインとして fluent-plugin-redshift があるようだけど、そちらは使わずに自作する。 基本的な戦略として、 fluentd から S3 へのアップロード S3 から Redshift へのデータロード の二つのステップを分けて考える。S3 へのアップロードは一日一回、Redshift へのロードは週に一回くらいを想定。 データ構造 ログファイルは Redshift 指定の書式に従い、次のようなものを生成する。 2013-08-24 20:01:00|user1|12 2013-08-24 20:01:01|us
ネイティブアプリの開発とかしてると、ついつい git にスプライトの png とか一緒にコミットしてしまって、気づいたらリポジトリサイズが 1GB 超えてたとかありますよね。 git annex とか、本格的なアセット管理システムとか使えば良いんだけど、普通のgitコマンド覚えるだけでいっぱいいっぱいな人にさらに他のツールまで覚えてもらうのは大変です。 そこで、登録しておいた拡張子のファイルはハッシュ値だけをリポジトリに格納し、ファイルの内容は別のディレクトリやAmazon S3に格納する git-largefile/gits3 を作りました。 git-largefile/gits3 は git の filter として動きます。 filter は通常改行コードの変換をしたり $Id$ のようなキーワードを変換したり行末のスペースを消す、文字通りフィルターなのですが、ここでファイル本体から
先日、Amazonのs3の宣伝サイトが、月額10円で始められるレンタルサーバというセンセーショナルなキャッチコピーと共に作られていました。 月額10円〜でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS） AWSのサービス群の中で、真に驚異的なものはS3だと確信している私にとっては、これを機会に是非S3の素晴らしさが広がって欲しいなぁと思っています。 Twitterやはてブの反応を見ていると、かなりの反響が出ているのでPR施策としては成功だったのではないでしょうか？一方で、はてブのコメントを見ていると、従量課金制怖いとか、クラウド破産とかの話が出てきています。はっきり言って心配無用なのですが、ちょっと整理してみました。 2012/08/15追記：クラウド破産が心配の方が、やっぱり多いようなので防ぐ方法を書きました。 クラウド破産を防ぐ為のAWS Billing A
Efficient Big Data Analysis (Gluecon 2012) — Presentation Transcript Efficient Big Data Analysis: RAM, RAID, SSD Presented by : Elliot Turner (CEO - AlchemyAPI) 5/23/2012 - Gluecon 2012 Efficient Big Data Analysis: RAM, RAID, SSD Gluecon 2012 “What is Big Data?” One Answer (of many): The practice of acquiring, analyzing and interpreting ridiculously huge data sets. Efficient Big Data Analysis: RAM
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
