目的 クラスメソッドタイランドの清水です。 本記事では Amazon Athena を使って、S3 と MySQL を JOIN するクエリを発行します。 大まかに以下のような構成になります。 前提条件・知識 AWS アカウントを作成済み IAM Role, Policy, Cloud9 の環境を作成できる権限がある 使いたいAWS アカウントのリージョンで cdk bootstrap コマンドを実行済み aws cli の使い方 手順 環境構築 Cloud9 を使って CDK をデプロイしたり、必要なコマンドを実行するための環境を構築します。 もし手元に環境があればこの工程はスキップしても問題ありません。 まずは Cloud9 の環境が使う EC2 インスタンスにアタッチするロールを作成します。 ロールには以下のポリシーを関連付けます。 ⚠️ 最小権限ではありません。実際のプロジェクトで
こんにちは、 id:sora_h です。これは KMC Advent Calendar 2023 12 日目の記事です (大遅刻)。 KMC ではインターネット接続手段の 1 つとして AS59128 を 2017 年頃より運用して、部室内のサーバーや一部の部員が利用しています。これまでフロー情報の収集は行ってきませんでしたが、今年、フロー情報の統計を収集して分析を可能にしたため、その実装を軽く紹介します。地味に pmacctd のドキュメントが難解だったので…。 経緯 AS59128 は運用初期から複数のトランジットやピア、東西に跨った複数拠点が存在していますが、外部の経路由来の障害や性能劣化についての調査はフロー情報なしで実施していて、特に変化前のトラフィックを確認することがそれなしでは難しくエスパーを繰り返してました。 このままでは障害時の対応が手探りで安定運用に支障がある、また (
Query and analyze Amazon S3 data with the new Amazon Athena plugin for Grafana | Grafana Labs
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO
わたしの検証環境で試していきます。 Config の設定確認 AWS Config 配信チャネルで、出力先の S3 バケットがどこであるか確認しましょう。 普段独立したリソースとして意識する機会は少ないと思いますが、マネジメントコンソールで以下から確認できる部分は配信チャネルの設定を表しています。 S3 バケットに格納されたオブジェクトの URI の例は以下です。 s3://バケット名/AWSLogs/アカウント番号/Config/ap-northeast-1/2021/9/24/ConfigSnapshot/ファイル名.json.gz ちょっとした気づきですが、yyyy/mm/dd形式になっていません。2021/09/24のように月や日を 2 桁に揃えてくれるわけでなく、元の数字が 1 桁のままであればそのまま 1 桁です。 Athena のクエリ結果の出力先 S3 バケットの作成 今回
2022/03/09 更新: WAFのアップデートもありこの情報は古くなっています。以下ブログを代わりに参照ください。 概要 構成図は下記のとおりです。 ALB・EC2からなる Webサーバを作成します WAFを ALBに関連付けます WebACLには 以下 3ルールを適用させます SQL injection match condition cross-site scripting match condition string match condition Kinesis Data Firehoseで WAFログを S3に保存します 保存形式は GZIP 他はデフォルトの設定 【今回の記事内容】Athenaで S3に対してクエリを実行、結果を確認・分析します AthenaでS3に対してクエリを実行 テーブル作成 下記SQLを Athenaの New query 入力欄に貼り付けて Run
Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena | Amazon Web Services
AWS Cloud Operations Blog Cost optimization in AWS using Amazon CloudWatch metric streams, AWS Cost and Usage Reports and Amazon Athena You can use metric streams to create continuous, near-real-time streams of Amazon CloudWatch metrics to a destination of your choice. Metric streams make it easier to send CloudWatch metrics to popular third-party service providers using an Amazon Kinesis Data Fir
Amazon Athena がクエリ実行プランを発表し、調整をサポート
Amazon Athena ユーザーは、クエリの実行プランを確認できるようになりました。大規模で複雑なデータセットをクエリする場合、ユーザーはクエリがどのように実行されるか、または最適化がパフォーマンスにどのように影響するかを知らないことがよくあります。Amazon Athena で一般提供が開始された EXPLAIN ステートメントにより、ユーザーはクエリを理解して効率を改善することができます。 EXPLAIN ステートメントを Athena コンソールで使用すると、クエリの実行プランの詳細な内訳が提供されます。ユーザーは実行プランを分析して、クエリの複雑さを把握して軽減し、実行時間を短縮できます。EXPLAIN を使用して、実行前に SQL 構文を検証することもできます。そうすることで、実行中に発生する可能性のあるエラーを防ぐことができます。 アナリストは、クエリを繰り返すときに EX
はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ
Athena Workgroups を使ってユーザーまたはアプリケーション間のワークロード分離、クエリメトリクスの閲覧、コスト管理の適用を行う
Amazon Athena Workgroups がリリースされました。今後は、この新しいリソースタイプを使って、クエリ実行やクエリ履歴を、同じ AWS アカウントの下で実行されているユーザー、チーム、またはアプリケーション間で分離できるようになります。ワークグループはリソースとして機能するため、ワークグループのアクセス管理にはリソースベースのポリシーが使用できます。たとえば、Athena を使用している 2 つのチームまたは種類の異なるアプリケーションが存在する場合、それらを異なるワークグループに割り当てることでアクセスを制限することができます。また、異なるワークグループに割り当てることで、臨時の使用を予定されているレポートから分離することもできます。あるワークグループで実行中のクエリは、別のワークグループで実行中のユーザーまたはアプリケーションからは確認できません。また、ワークグループ
Very cool らしい AthenaCLI を試してみたら、やっぱりクールだった件 | DevelopersIO
はじめに Very cool らしい AthenaCLI を見つけてしまったので、早速試してみたいと思います。 Very cool: AthenaCLI - Command line interface to Amazon Athena - https://t.co/YAlghX2Upo (found on Awesome AWS - https://t.co/GaoWeC9Ntq) pic.twitter.com/abA2J8eMaO — Jeff Barr ☁️ (@jeffbarr) October 18, 2018 導入 インストール インストールした環境は、macOS High Sierra / バージョン10.13.6、python3.6です。dbcli/athenacliに書いてあるとおり、pipでインストールします。 $ pip install athenacli Coll
Amazon Athena adds support for Creating Tables using the results of a Select query (CTAS)
Amazon Athena is an interactive query service that makes it easy to analyze data in Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to manage, and you pay only for the queries that you run. Today, we are releasing support for creating tables using the results of a Select query or support for Create Table As Select (CTAS) statement. Analysts can use CTAS statements
こんにちは、臼田です。 皆さん、WAFWAFしてますか？(思いつき ついにAWS WAFでフルログを取得することができるようになりました！すっごいわくわくしてます。 AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた これまでは頑張ってsampleログを取得してゴニョゴニョしていましたが、これからはKinesis Data Firehoseにつっこんでやりたい放題です！ 今回はとりあえずそのままS3に吐き出されたログをAthenaで分析できるようにしてみます。 ログをS3に入れるところまでの方法は上記記事を参考にしてください。 テーブル作成 ログのフォーマットはこちらにあります。 CREATE TABLEは下記のようになります。 2020/01/05追記 XSS/SQLiマッチルール詳細追加によるスキーマ変更を反映しました 2018/12/24
Amazon Athena RegexSerDe を利用して ALB ログを探索する(2018年8月版) | DevelopersIO
はじめに 今回はALBログの最新フォーマットに対応した探索方法をご紹介します。一年前にAmazon Athena RegexSerDe を利用して ALB ログを探索するというブログでALB ログを探索する方法を紹介しましたが、最新のALB ログが探索できないという報告を受けました。確認したところログフォーマット最後に以下の6項目追加されていました。 domain_name chosen_cert_arn matched_rule_priority request_creation_time actions_executed redirect_url 執筆時点では、追加されたフィールドの情報は、以下の英語マニュアルにのみの記載となりますのでご注意ください。 Access Logs for Your Application Load Balancer - Access Log Entries
S3にフラットに配置してしまったログも大丈夫！シンボリックリンクを利用してスキャン範囲を絞ってAthenaからクエリする 西澤です。私のようにHadoop等の利用経験の無い人間が、Athenaを始めて利用する際に敷居が高いのが、パーティションの取り扱いです。先日、下記ブログを書いたところ、新しい学びがあり、他のケースでも活用できないかというところを試して上手く動作させることができたので、ご紹介したいと思います。 S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する フラットに配置されたファイル群をAthenaで扱う場合の課題 S3バケット内のファイル群に対して、一気にクエリすることができるAthenaですが、スキャン範囲が課金対象となり、且つ、パフォーマンスの観点からも、パーティション分割して利用することが推奨されています。 Amazon Athenaの
数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会があり、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみたので、その方法をご紹介します。 西澤です。お客様よりお問い合わせをいただき、数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会がありました。aws s3 lsの結果をgrepするっていう気の遠くなるような方法は現実的ではないオブジェクト数だった為、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみることにしましたので、その方法をご紹介します。 【新機能】S3 Inventoryを試してみた #reinvent ｜ De
AWS 導入事例：株式会社ナビタイムジャパン | AWS
AWS 採用を掲げクラウド化を前面に打ち出したところ、インフラ部門に関心を持つエンジニアや配属希望者が急増し、人材確保の悩みが解消されました。また、エンジニアにコスト意識が身につき、モチベーションも高まりました。 位置情報、移動軌跡、経路検索情報などのログを分析する基盤にサーバーレスのクエリサービス Amazon Athena を採用。他社クラウドのビッグデータクエリサービスから乗り換えたことで、Amazon S3 に蓄積していたログを転送する必要がなくなり、インフラコストを 75 ％削減しました。また、同時にセキュリティ強化と運用負荷軽減も実現しました。 IT インフラのクラウド化により、リソース調達のリードタイムの短縮やオートスケールが可能になり、降雪時などアクセスが集中するタイミングでの対応力の向上、チャレンジコストの最小化、サービスごとの利用コストの可視化などを実現しています。 コ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Use parameterized queries - Amazon Athena
