タグ

AmazonS3に関するryskosnのブックマーク (33)

  • boto3でS3のファイルを操作 - Qiita

    import boto3 s3 = boto3.resource('s3') bucket = s3.Bucket('bucket-name') for object in bucket.objects.all(): print(object.key) import boto3 import datetime as dt s3 = boto3.resource('s3') retention_period = 100 bucket = s3.Bucket('bucket-name') # check each file if it is expired or not for object in bucket.objects.all(): gap = dt.datetime.now(dt.timezone.utc) - object.last_modified if gap.days > r

    boto3でS3のファイルを操作 - Qiita
  • 【AWS】S3まとめ - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは? インターネットストレージ(平たく言うとgoogleドライブevernoteのようなwebブラウザから利用できるストレージ) S3はAPIまたはAWS CLIにてプログラムから操作(ファイルのアップロード、ダウンロード、削除)ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる(IAM、アクセスコントロール、バケットポリシー) S

    【AWS】S3まとめ - Qiita
    ryskosn
    ryskosn 2017/02/22
    知らないことがたくさんある
  • AWSコマンドラインインターフェース(AWS CLI)でS3を構築してみる - ぺーぺーSEのブログ

    S3に関するAWS CLIには、高レベルコマンド(aws s3)と低レベルコマンド(aws s3api)がある。 低レベルコマンドがより細やかな処理が可能。 高レベルコマンド aws s3 $ aws s3 <Command> [<Arg> ...] Command 意味 cp オブジェクトのコピー ls オブジェクトの一覧 mb S3バケットの作成 mv オブジェクトの移動 rb S3バケットの削除 rm オブジェクトの削除 sync ディレクトリの同期 website Webサイトとして公開 バケットの操作 ■ aws s3 mb <S3Uri>:バケットの作成 $ aws s3 mb s3://test-trial-20160215 make_bucket: s3://test-trial-20160215/ バケット名はリージョンでユニークである必要がある 「s3://」スキームを

    AWSコマンドラインインターフェース(AWS CLI)でS3を構築してみる - ぺーぺーSEのブログ
  • S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO

    はじめに s3 sync で作業をしていた際に、同期されるはずのファイルが同期されなかったので調査してみました。 事象 s3にアップロードしたファイルをローカルに同期させる際に同期されないファイルがあった。 s3にアップロードしたdocument.txtをローカルに同期する s3にアップロードしたファイル $ aws s3 ls s3://test.takahashi.yusuke/ 2015-06-26 18:56:05 4847 document.txt 現在のローカルのファイル $ ll ~/docs/ total 16 drwxr-xr-x 3 takahashiyusuke staff 102 6 25 13:17 . drwxr-xr-x+ 60 takahashiyusuke staff 2040 6 25 13:16 .. -rw-r--r-- 1 takahashiyus

    S3 sync で s3からファイルを同期させる時の注意点 | DevelopersIO
  • シリウスで作ったサイトをAmazon S3に展開する方法

  • 独自ドメインを使ってAmazon S3で静的Webサイトをホストする - Qiita

    #概要 ##何ができるのか S3バケットをまるごとWeb公開することができます Web公開できるのは静的コンテンツに限ります 独自ドメインも使用可能です。ただしZone Apex(サブドメインなし)の利用はドメインをRoute 53でホストしてる場合のみ可能です LinuxなどでWebサーバを立てる場合のように、サイジングやサーバ運用を行う必要はありません ある程度までのスパイクには耐えますが、xx砲1対策などにはCloudFrontを併用しましょう <公式ドキュメント> http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/hosting-websites-on-s3-examples.html <分かりやすいスライド> http://www.slideshare.net/horiyasu/amazon-s3web-27138902 #

    独自ドメインを使ってAmazon S3で静的Webサイトをホストする - Qiita
  • Aws s3バックアップで世代管理する方法

    JAWS-UG東京 勉強会 第19回 「クリスマス直前ストレージ祭り」LT資料 @idacchi… idacchi 2,742 views

    Aws s3バックアップで世代管理する方法
  • | popowa

    2014年版+AWSのS3をWindowsで使う というブログ記事がよく引っかかるらしいので2014年版を書いてみました。 以前紹介したのは入れてません。こちらを再度みてください => AWSのS3をWindowsで使う 試してないのあります! Windowsで使えるS3クライアント Duplicati http://www.duplicati.com/ 無料 日時バックアップの設定や暗号化の設定が出来る wins3fs http://sourceforge.net/projects/wins3fs/ 無料 S3 Sync http://sprightlysoft.com/S3Sync/ 有料 ローカルフォルダーとS3を自動同期をしてくれる ExpandDrive http://www.expandrive.com/ 有料 S3をネットワークドライブ的にマウント出来る Vvault htt

  • excale.net

    This domain may be for sale!

    excale.net
  • S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita

    課金ポイントは3つ そんなに難しいことはないと思いますが 課金ポイントは3つ あります。 ##ストレージ容量 単純に保存容量に対して課金されます。 低冗長化ストレージを指定すると2割くらい安くできます。 ログだとか家族写真の保存だとかメインだとデータ転送よりここにお金がかかってきます。(容量でかいけど古いやつは殆どアクセスしないようなのはライフサイクル設定でGlacierに移動する手もあります) ##データ転送 課金されるのは(S3からの)送信だけです。受信(S3へのアップロード)は無料です。 また、インターネットへの送信と別のAWSリージョンまたはCloudFrontへの送信で別料金が設定されてますが、小~中規模のシステムならサーバ群は1リージョンに纏まってることが多いでしょうから、CroudFront利用時くらいにしかその料金は発生しないと思います。しかもCroudFront利用時は殆

    S3の料金体系が分かりにくいと聞かれたので纏めた - Qiita
  • AWS S3 のバケットに独自ドメインを割り当てて、静的ファイルをホスティング | Gatespace's Blog

    以前、「AWS EC2 + 網元でWordPressサイトを構築」をいう記事を書いたのですが、静的なファイル群であれば同じAWSのS3を使って公開出来る=ウェブサイトとしても活用できるので、その設定方法をメモしておきます。 AWS S3とは 元々はクラウドのストレージサービス(ファイル置き場)なのですが、静的ファイル(htmlや画像など)であればレンタルサーバーのようにウェブサイトを公開することが可能です。 料金は従量課金ですが、PHPなどの動的なファイルやデータベースなどを使わなければそこらのレンタルサーバーより低価格でホームページを公開出来ます。 詳しくはこちらをご覧ください 月額10円~でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス(AWS) S3バケットの作成 早速使える様にしてみます。 まずはManagement Console にログインし、S3をクリックし、

    AWS S3 のバケットに独自ドメインを割り当てて、静的ファイルをホスティング | Gatespace's Blog
  • sync — AWS CLI 1.34.24 Command Reference

    Description¶ Syncs directories and S3 prefixes. Recursively copies new and updated files from the source directory to the destination. Only creates folders in the destination if they contain one or more files. sync <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri> [--dryrun] [--quiet] [--include <value>] [--exclude <value>] [--acl <value>] [--follow-symlinks | --no-follow-symlinks] [--

  • AWS CLI 1.0と新しいS3コマンド(sync)を試してみた | DevelopersIO

    ども、大瀧です。 今朝かた、AWSを操作するPython版コマンドラインツール、AWS CLI(aws-cli)のバージョン1.0(Developer Previewを脱した最初の正式リリース)とaws s3コマンドの新しいサブコマンド群のリリースがありました。 早速、手元のMBAで試してみた様子をレポートします。 AWS CLIによるAWS環境の操作は、弊社阿部のシリーズで詳しくご紹介しています。こちらもどうぞ。 検証環境 OS : Mac OS X 10.8.4(Mountain Lion) Python : バージョン 2.7.4(Homebrew) AWS CLIのアップグレード Pythonのパッケージ管理コマンド、pipで一発アップグレードできます。新規インストールの場合は、--upgradeオプションを省略してください。 $ easy_install pip $ pip in

    AWS CLI 1.0と新しいS3コマンド(sync)を試してみた | DevelopersIO
  • Amazon Glacier と AWS CLI 1.0 で格安バックアップ環境を作る - ほとラボ

    Amazon Glacier 使ってバックアップ環境つくりたいなー でも rsync 的な使い方したいけどどうやってやったらいいかわからないなー と思っていたら、先日 AWS CLI 1.0 がリリースされて新しくsyncコマンドが使えるようになったので、これはチャンスと思い手を出してみた次第。 AWSまわりを軽く説明 知ってる人は読まなくていいです。 Amazon S3 Amazonのクラウドストレージ。 Dropboxのバックエンドなんかにも使われている、Web開発者にはお馴染みのアレ。 特筆すべきは 99.999999999%(イレブン・ナイン) の堅牢性。 なんだかよくわからないけどめっちゃ9が並んでるから多分すごい(小並感 Amazon Glacier 同じく、Amazonのクラウドストレージ。 価格が 1GBあたり1円/月(S3の約10分の1) とかなり安いが、データをダウンロ

    Amazon Glacier と AWS CLI 1.0 で格安バックアップ環境を作る - ほとラボ
  • S3とIAMを組み合わせたお手軽ファイル共有

    ファイルをやり取りする時など、イントラにあるファイルサーバー(SambaやAFP、NFSなど)を経由させるのが一番お手軽な方法だと思います。実際、最近のNASは安いですし、RAIDも簡単に組めてそこそこ信頼性もあります。ちなみに弊社ではBuffaloのTera Stationを利用しています。 ですが、このファイルサーバーをクラウドに持って行くとなると結構大変です。弊社の場合ですと、エンジニアと印刷オペレーターとでファイルをやり取りする機会も多いので、エンジニア以外の人たちでも簡単に扱える仕組みが必要となります。AWSでこの手の「ファイル共有」プロトコルを喋らせるにはEC2を仕立ててあげなければなりませんが、今回はそのような時間もお金もかける事が出来ません。 AWSにはS3という容量無制限のストレージサービスがあります。CloudBerry ExplorerやCyberduckを使えば、F

  • S3から直接ダウンロードさせるときにファイル名を差し替える - Qiita

    ユーザにAmazon S3からファイルを直接ダウンロードしてもらいたいことがありますが、その際にファイル名を差し替えたいこともあります。 調べたところ、S3には、ファイル名を差し替えるための機能が用意されていました。 権限まわりの仕様を知らなくて少し手間取ったので、今回はそのあたりの内容を交えてメモします。 追記: LaravelのFilesystemを利用している場合はこのメソッドを使うと一発でPre-Signed URLを発行したりダウンロード時のファイル名を指定したりできます。v5.4あたりで追加されたようです。 どんな機能が用意されているか S3のオブジェクトは、以下のようなURLを使ってGETで取りにいくことができますが、 http://[bucket].s3.amazonaws.com/[key] イメージとしては、URLに次のような感じでリクエストパラメータを含めると、ファイ

    S3から直接ダウンロードさせるときにファイル名を差し替える - Qiita
  • Amazon S3をバックアップストレージに使う - rabbit2goのブログ

    パソコンのデータの消失には気を使っているので、複数のバックアップ策を講じている。 各MacにはTime Machine 複数のパソコン間でのバックアップ共有にはDropbox 遠隔地のサーバのバックアップはrsync しかしながら、東日大震災の被害状況を見ていると「家の中にあるパソコンやストレージ機器が全滅」という事態もあり得るので、いくら複数の機器にデータを分散させていても効果が無いようだ。抜的には、物理的に離れた場所にデータを保存しておく方が望ましいわけだ。 そんな訳で、バックアップ対策としてAmazon S3を格的に使い始めた。転送ツールとしては、rsync同様な形で使えるs3syncを使い、cronで定期的にアップロードするように設定した。 「S3Sync」は、rsyncのような使い方で、ローカルディスクの特定部分と「Amazon S3」のストレージ間を同期(ミラーリング)で

    Amazon S3をバックアップストレージに使う - rabbit2goのブログ
  • S3Syncを使ってローカルディレクトリからAmazon S3にファイルをアップロードする - 祈れ、そして働け ~ Ora et labora

    まずはS3Syncをインストールします。 $ wget http://s3.amazonaws.com/ServEdge_pub/s3sync/s3sync.tar.gz $ tar zxvf s3sync.tar.gz $ sudo cp -pr s3sync/ /usr/local/ローカルディレクトリとAmazon S3間の通信にSSLを使いたいので、ssl.certs.sharをダウンロードして実行します。 $ mkdir /usr/local/s3sync/certs $ cd /usr/local/s3sync/certs $ wget http://mirbsd.mirsolutions.de/cvs.cgi/~checkout~/src/etc/ssl.certs.shar $ sh ssl.certs.shar自動実行するためのスクリプトを用意します。例えば、こんなの。

    S3Syncを使ってローカルディレクトリからAmazon S3にファイルをアップロードする - 祈れ、そして働け ~ Ora et labora
  • Amazon S3にバックアップを保存する方法 | レンタルサーバーの比較・評価 - レンサバBLOG

    GWなどの連休中は、サーバー運用のことなど忘れて休暇を楽しみたいものですね。そんな時は、サーバーのバックアップがしっかり保存されていれば安心です。 皆さんはバックアップはどこに保存されていますか?とくに共有レンタルサーバーを使っているとバックアップを定期的に保存していない人が多いと思います。 私がいつも使っているのは、圧縮やDUMPで取得したバックアップファイルをAmazonのS3サーバーに自動で定期的に保存する方法です。この方法は簡単なので皆さんも試してみてください。 Amazon S3は、Amazonが提供するストレージサービス。通常はEC2などのサーバーインスタンスと一緒に使うことが多いけど、ストレージとしてだけ使うこともできます。またストレージサービスとしての堅牢性と信頼性は折紙付きなので安心です。 必要な動作環境としては、RubyCronによる定期実行が可能なこと。最近のレン

  • S3Sync.rbでS3にファイルをバックアップする - azuki note

    震災の影響で突発的な停電の可能性もありAmazon S3へのバックアップ環境を構築しました。S3にローカルファイルをアップロードするプログラムはいくつかありますが、オープンソースのもの中心にいくつか試してみた限りは以下がよさそうです。 S3Sync.rb s3fs Cyberduck s3sync.rbは、S3に対してrsyncのような使い方のできるRubyスクリプトです。s3fsはS3をファイルシステムとしてマウントするプログラムで、ローカルとの同期をとるためであればrsyncとあわせて使うことになると思います。s3fsの方がS3を意識せずプログラムからは透過的にアクセスできるのがメリットですが、、今回はWindows環境でも使えるs3sync.rbを使いました。 最後のCyberduckはS3にも対応したFTPクライアントでフォルダの同期機能もあります。WindowsGUIから操作し

    S3Sync.rbでS3にファイルをバックアップする - azuki note