ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
CX事業本部の岩田です。 昨年re:inventから帰国後にyoutubeで見つけたセッション「A Serverless Journey: AWS Lambda Under the Hood」が非常に興味深い内容でした。今年も同様のセッションが無いかre:inventのセッション予約開始前からチェックしていたところ、なんと今年も同じタイトルのセッションがありました。これは現地で聞くしかない！ということで聞いてきましたので、改めてセッション内容をまとめてレポートします。 資料 セッション動画 スライド A Serverless Journey: Under the Hood of AWS Lambda 例年ならSlide Shareで公開されるのですが、今年に関しては今のところSlide Shareには上がっていないようです。なお以後登場する画像のほとんどはこちらのスライドからの引用となりま
はじめに こんにちは、平野です。 AWS Lambdaがやっと使えるようになってきました。 私は新しい物事を理解しようと思った時、 「できるだけ最小限な構成から少しずつ要素を増やしていって、 そこから挙動を類推して確かめる」 というような調べ方でないとどうにも腑に落ちない性格のようなので、 そんな感じでLambdaも試行錯誤してみました。 Lambdaについては前から面白そうだと思いつつもなかなか手を出せずにいました。 事前の知識としては「あるイベントが起きたら、何らかのイベントを起こすもの」 ぐらいのふわっとした理解しかありませんでしたが、 私と同じ辺りの出発点からスタートする人の参考になればと思います。 最小限でLambdaを構成する ということで、できるだけ最小限の構成でLambdaを動かしてみます。 作るもの 以下のような動作で検証を行います。 究極的に最小限というわけでは無いです
前回、前々回に引き続き、もうちょっと、AWS Cognitoを操ってみます。 (ちなみに、前回、前々回は以下の通り) AWS CognitoにGoogleとYahooとLINEアカウントを連携させる AWS Cognitoにサインインしないと見れないLambdaを作る 今回は、AWS Cognitoのカスタム認証フローをつかって、合言葉ログインを作ってみます。 サインアップ時に指定したパスワードで認証するのもありですが、それに加えて、独自の認証を自作してみたいと思います。カスタマイズ次第で、本人しかもっていないハードウェアトークンなどと連携するもの良いかと思います。 以下、参考となる情報源です。 カスタム認証チャレンジLambdaトリガー https://docs.aws.amazon.com/ja_jp/cognito/latest/developerguide/user-pool-la
AWS Lambda互換環境をKubernetes上で実現する「Knative Lambda Runtime」オープンソースで公開 TriggerMeshは、Kubernetes上にAWS Lambda互換の実行環境を構築することで、AWS Lambdaで利用可能なファンクションをそのままKubernetes上で実行可能にする「Knative Lambda Runtime」（KLR：発音はClear、クリア）をオープンソースで公開しました。 Announcing TriggerMesh Knative Lambda Runtime (KLR) https://t.co/2BOINQUbys pic.twitter.com/kycNdlWhoK — triggermesh (@triggermesh) 2019年1月9日 Knative Lambda Runtimeを公開したTriggerM
前書き ユーザ認証のCognitoを使って、ユーザ認証を実装してみました。 今回はそのまとめです。 実装したフローは、いろんなサービスでよくある以下のフローです。 サインアップ 認証コードとURLが届く URL先の認証コード入力画面でコードを入力する 上記のフローを実装して見たので、まとめます。 Cognitoの設定 まずはじめに、Cognito側でメッセージがコードであることを確認します。 あらかじめ、ユーザープールIDとクライアントIDは控えておきましょう。 コード認証実装 AWS-SDK、およびCognitoを利用するに当たって、以下のライブラリが必要なのでnpmかyarnでインストールします。 # npm npm install aws-sdk npm install amazon-cognito-identity-js # yarn yarn add aws-sdk yarn a
Cognitoから払い出されたIdTokenをAPI Gateway カスタムオーソライザーのLambda(Python3.6)で検証する方法 おつかれさまです。サーバーレス開発部の新井です。 今回はタイトル通り、Cognitoのユーザプールから払いだされたIdTokenをAPI GatewayのカスタムオーソライザーのLambda(Python3.6)で検証する方法を紹介したいと思います。 API GatewayのカスタムオーソライザーでIdTokenの検証を行うには、Cognitoの自動チェックと、今回紹介するLambda Functionでチェックする２種類の方法があります。 Lambda Functionを利用する場合のメリットは、IdTokenの検証以外の認可処理を行うことができるという点です。例えば、IP制限や特定のユーザエージェントだけ許可するなど、用途に応じた処理を書くこと
Custom Authorization とは 2016年2月11日に Amazon API Gateway (以下 API Gateway) の新機能「Custom Authorization *1」がリリースされました。 Introducing custom authorizers in Amazon API Gateway | AWS Compute Blog Custom Authorization を使うと、 API にアクセスしてきたクライアントに対する認可の機能を組み込むことができるようになります。弊社内でも要望の多かった機能なので、このアップデートは喜ばしい限りです！ 本ブログでは Custom Authorization を使うとどのような流れで認可が行えるのか、その仕組みを解説します。 認証と認可 Custom Authorization を理解するためには、そもそも「
AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources | Amazon Web Services
AWS News Blog AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources We can now use Amazon Simple Queue Service (Amazon SQS) to trigger AWS Lambda functions! This is a stellar update with some key functionality that I’ve personally been looking forward to for more than 4 years. I know our customers are excited to take it for a spin so feel free to skip to the walk through section b
クライアントからHTTPSリクエストでサーバーに画像をアップロードして、いろいろ処理してレスポンスを返す、というのをAWS Lambdaでやってみたかったので調べてみました。Lambdaのチュートリアルをなぞってたつもりがうまく動かなかったりしていろいろ罠があったりしましたが、なんとか目指していたものができることが確認できたので、その記録です。 やりたいこと HTTPS POSTリクエストで画像をアップロードしてLambdaで受け取り、S3にアップロードしたい。 cURL的には以下のような感じです。 curl -H "Content-Type: image/png" --data-binary "@test.png" -X POST https://XXXXX.execute-api.ap-northeast-1.amazonaws.com/test/myresource ※S3にアップロ
これはWebスクレイピング Advent Calendar 2017の7日目の記事です。こんな感じでAWS FargateとAWS Lambdaを使ってサーバーレス（EC2レス）なクローラーを作ります。 この記事はFargateでのクローリング処理にフォーカスしており、クロールしたHTMLをS3に保存するところまでを主に解説します。Lambdaの方はおまけ程度の扱いで、スクレイピングしたデータの扱い（データベースへの格納など）はスコープ外です。 長くなったので目次です。 背景 AWS Fargateの登場 クローラーの構成 やってみる 1. ScrapyのプロジェクトでSpiderを作る 2. Scrapy S3 Pipelineをインストールする 3. Scrapy S3 Pipelineをプロジェクトに追加する 4. ScrapyのプロジェクトをDockerizeする 5. Amazo
6月末に O'Reilly から出版された「サーバーレスシングルページアプリケーション」を読んだ．ただ読むだけじゃ理解度が浅くなってしまうかもしれないなと感じて，今回は全ての実装を写経してみた．そのため少し時間はかかってしまったけど，フロントエンドには苦手意識があったし，今まで SPA の実装もしたことがなかったので，前半部分は特にワクワクしながら楽しめた．今回，監訳者の id:yoshidashingo にご献本を頂き，本当に感謝しかありません．ありがとうございます！と同時に，ガッツリ読もうと意気込んだタイミングで仕事に忙殺されてしまったりして，書評のタイミングが遅れてしまったのはすみません！ サーバーレスシングルページアプリケーション ―S3、AWS Lambda、API Gateway、DynamoDB、Cognitoで構築するスケーラブルなWebサービス 作者:Ben Rady発売
Webサイトの状況を監視するためのスクリプトを動かしたいというシチュエーションが発生することがあります。典型的な例としてECサイトの在庫監視などがあると思います。この文章を読んでいる人の中には、Nintendo Switchの在庫状況を監視して通知するスクリプトを動かしている人もいるもいるのではないでしょうか。*1 在庫確認のようなシチュエーションでは常時起動しているPC、すなわちサーバに相当するものを用意しなければなりません。VPSを借りる人も多いと思いますが、スクリプトを動かすだけに使用するには少々オーバースペックです。 そこで今回はAWS Lamdaを使って安価にサーバレスでサイトの在庫状況を監視するシステムを構築します。例としてNintendo Switchの在庫状況を通知するシステムを作ります。 おそらく無料枠内で収まると思いますが、無料枠を超えたとしてもAWS Lambda自体
サーバレスアーキテクチャが自分の中で急に熱い。運用もうやりとうない。業界での知見もぼちぼち出揃ってる感じがあるので自分でも挑戦してみたい。MarkdownノートアプリのInkdropを題材にしてやってみる。 サーバレスアーキテクチャはサーバの運用から解放してくれるサーバレスアーキテクチャとは、その名の通りサーバが無いアーキテクチャのこと。ここでのサーバとは、apacheやnginxなどのサーバプロセスから、LinuxマシンなどのVMを含めたコンピュータを指す。これらを自分で運用する必要がない。まじかよ。 じゃあどうやって提供するのかというと、サーバの代わりにHTTP(S)に応答したりイベントに反応するサービスを使う。処理を行うプログラムは、APIや機能単位で別々にデプロイしたものを使う。これらのプログラムが予め設定した条件で駆動する。つまり、今まで自分でサーバにやらせていたことを、サービス
AWS 謹製 aws-serverless-express を使って APIGateway + Lambda + Node + Express で RESTful サービスの雛形を最速で作るNode.jsExpresslambdaAPIGatewayaws-serverless-express はじめに AWS と言えば Lambda、Lambda と言えば サーバレス ですが、サーバレスでサービス全体を作るのはしんどいなと思っている昨今、皆様いかがお過ごしですか。 そんな折、10/04付け AWS ブログで以下の記事がポストされました。 「AWS Lambda と Amazon API Gateway で Express アプリケーションを実行」 https://aws.amazon.com/jp/blogs/news/running-express-applications-on-aw
前回説明したLINE BOT（画像スタンプBOT）ですが、画像表示のためのアーキテクチャはいろいろ応用が効く部分なので、今回はもう少し詳しくご紹介します。 matsukaz.hatenablog.com 実現したいこと 画像スタンプBOTの場合、LINEのトーク上に画像を表示するためには HTTPS JPEG 縦横最大1024px 最大1MB という要件を満たす必要がありました。 インターネット上の画像はHTTPであったり画像サイズや容量が大きかったりと、必ずしも上記の要件を満たしているとは限らないです。 そこでAWS Lambda + API Gateway + CloudFrontを組み合わせることで、これらの要件を満たした画像配信を実現しました。 前回の図で言うと、右下の CloudFront → API Gateway → AWS Lambdaの流れです。 アーキテクチャ構築手順
Scripting Languages for AWS Lambda: Running PHP, Ruby, and Go | AWS Compute Blog
AWS Compute Blog Scripting Languages for AWS Lambda: Running PHP, Ruby, and Go NOTE: As of January 15, 2018 Go is now a natively supported language of AWS Lambda. You can read more here: https://aws.amazon.com/blogs/compute/announcing-go-support-for-aws-lambda/ This post courtesy of Dimitrij Zub, Solutions Architect and Raphael Sack, Technical Trainer In our daily work with partners and customers,
CTOの椎名です。 先日AWS Re:Invent（ラスベガス）から帰国しました！ 今年の Keynote ではかなりの量の新サービスが発表されましたね。自分が聴講したセッションもほとんどが口を揃えてサーバーレスや Lambda などの話をしており、AWSは一気にサーバーレスを推していってるんだなーと肌身に染みました。 本日はLambdaの開発環境についてお話です。 Lambdaでの開発環境の整備についてはまだ業界的なベストプラクティスが整ってないのが実情だと思いますが、そんな中弊社で活用している／導入しようとしている技術について紹介させて頂きます。 Lambda での環境管理 Lambdaを使っているとまず考えるのが、開発環境(dev)と本番環境(prod)の環境分けについてです。 環境ごとにfunctionを作る 現在では現在、単純にfunctionごと分けてしまっています。<関数名>
BaaSの制約で実現しにくい要件があったときに、サーバーレスアーキテクチャという選択肢は魅力的に見えてくる。そこで今回は最も柔軟性が高いサーバーレスインフラストラクチャだと思われるAWS Lambdaを取り上げ、BaaSの代わりになりうるか検討する。 AWS LambdaのファンクションはJava 8で書ける。ということはGroovyでも書ける。ドメインクラスをJava/Groovyで書いてLambdaファンクションのなかで利用することができれば、サーバーレスアーキテクチャでも本格的なアプリケーションを開発できそうだ。 今後のアプリケーションインフラストラクチャ選択において、従来型のアプリケーションサーバーと、近年普及してきたBaaSに加え、サーバーレスインフラストラクチャという選択肢も増えるとすれば有意義だ。 非常駐型のデメリット 歴史的にはCGI/PHPのようなイベント駆動型のアプリケ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
