AWS Step Functions を用いた AWS Glue クローラのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions を用いた AWS Glue クローラのオーケストレーション この投稿は、AWS Workflow の General Manager である Justin Callison によって書かれています。 組織は半構造化されたテラバイト規模の様々なデータを日々生成しています。AWS Glue と Amazon Athena を使用するとインフラストラクチャの管理なく、これらのデータをシンプルで費用対効果の高い方法で分析できます。AWS Glue クローラは、データ変換やデータウェアハウスへのロードなしにデータのスキーマを識別し、データをその場で分析するために必要なメタデータを管理します。 クローラが実行されて完了するタイミングは重要です。クローラが実行されるタイミングはデータが更新された後且つ、 Athena
AWS Glueのデータカタログは、データのメタデータを管理するための非常に便利なサービスです。データカタログを使うことで、データの整理、検索、管理が簡単になり、データ分析やETL（Extract, Transform, Load）ジョブの実行が容易になります。 データカタログの基本機能 1. メタデータ管理 データカタログは、データの「メタデータ」を管理します。メタデータとは、データの「データ」です。たとえば、テーブル名、列名、データ型、データの保存場所などが該当します。 データベースとテーブルの定義 データカタログは、データベースやテーブルのメタデータを管理します。たとえば、Amazon S3に保存されたデータファイルのスキーマ情報を登録できます。 パーティション情報の管理 データがパーティション化されている場合、そのパーティション情報もカタログに登録されます。これにより、クエリのパフ
ジョブエディタの機能 - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 ジョブエディタの機能 ジョブの視覚的な図。各ジョブタスクのノード (データを読み取るデータソースノード、データを修正する変換ノード、データを書き込むデータターゲットノード) が示されます。 ジョブ図では、各ノードのプロパティを表示および設定できます。また、各ノードのスキーマとサンプルデータを表示することもできます。これらの機能により、ジョブを実行することなく、ジョブでデータが正しい方法で変更および変換されていることを確認できます。 [Script viewing and editing] (スクリプトの表示と編集) タブ。ジョブ用に生成されたコードを変更できます。 [Job details] (ジョブの詳細) タブ。さまざまな設定を行い、AWS Glue ETL ジ
DynamicFrame クラス - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 DynamicFrame クラス Apache Spark の主要な抽象化の 1 つは SparkSQL DataFrame で、これは R と Pandas にある DataFrame 構造に似ています。DataFrame はテーブルと似ており、機能スタイル (マップ/リデュース/フィルター/その他) 操作と SQL 操作 (選択、プロジェクト、集計) をサポートしています。 DataFrames は、強力で広く使用されていますが、抽出、変換、ロード (ETL) 操作に関しては制限があります。最も重要なのは、データをロードする前にスキーマを指定する必要があることです。SparkSQL は、データに対してパスを 2 つ作ることでこれを解決します。この 1 つ目はスキ
AWS Glue Jupyter および AWS Glue Studio ノートブックのインタラクティブセッションの設定 - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue Jupyter および AWS Glue Studio ノートブックのインタラクティブセッションの設定 Jupyter Magics の概要 Jupyter Magics は、セル先頭またはセル本文全体として実行できるコマンドです。マジックの先頭は、Line Magics の場合は %、Cell Magics の場合は %% です。%region や %connections などの Line Magics は、セル内の複数のマジック、または次の例のようにセル本文に含まれるコードを使用して実行できます。 %region us-east-2 %connections my_rds_connection dy_f = glue_context.crea
AWS Glue Studio を使用したデータ品質の評価 - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue Studio を使用したデータ品質の評価 AWS Glue Data Quality は、定義したルールに基づき、データ品質の評価とモニタリングを行います。これにより、アクションが必要なデータを簡単に特定できます。AWS Glue Studio では、ビジュアルジョブにデータ品質ノードを追加して、データカタログ内のテーブルにデータ品質ルールを作成できます。これにより、経時的に進化するデータセットの変化をモニタリングし、評価できます。AWS Glue Studio で AWS Glue Data Quality を操作する方法の概要については、次の動画を参照してください。 データ品質ルールの作成 – 設定した組み込みルールセットを選択して、DQDL
AWSのETL（抽出、変換、ロード）ツールにGlueというサービスがあるのは認識していましたが、使い方を把握していなかったので、触ってみた結果を残していきます。AI・BIの文脈で、バラバラに存在しているデータを前処理して一箇所にまとめたい、というケースは結構あると思うので、使用するケースは今後増えていきそうです。 Glueとは？ フルマネージドなETL（抽出、変換、ロード）サービスです。S3・RDS・Redshift等にあるデータを取得・変換して、これまたS3・RDS・Redshift等に吐き出すことが可能です。今回は、シンプルな例として、S3にあるcsvを読み込んで、カラム名を変換した上で、S3上の別のバケットにcsvで吐き出す流れについて記載します。 ↓やりたいことのイメージ Glueを使うにあたって、理解しておく必要のある用語がいくつかあるので、記載します。 データカタログ 入力デー
はじめに 皆様こんにちは。DXソリューション営業本部の金森です。 今回の記事では、RedshiftとAWS Glueを使用したデータ処理のためのインフラ設定についてご説明したいと思います。 AWS Glueについて AWS Glue は、データの準備をより簡単、迅速、低コストにするサーバーレスデータ統合サービスです。70 を超える多様なデータソースを検出して接続し、一元化されたデータカタログでデータを管理し、ETL パイプラインを視覚的に作成、実行、モニタリングして、データをデータレイクにロードできます。 引用元：AWS Glue（分析用データ抽出、変換、ロード (ETL) ） 今回の構成図 赤枠の部分が今回の説明部分になります。 ネットワーク設定 ・VPCには1つのプライベートサブネットを作成 ・プライベートサブネットからS3に出力するので、ゲートウェイ型S3エンドポイントを作成 ・プラ
AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理AWSS3CloudFormationglueAthena 社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサ
Redshift 接続 - AWS Glue
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Redshift 接続 AWS Glue for Spark を使用して Amazon Redshift データベース内のテーブルに対する読み込みと書き込みを行うことができます。AWS Glue は Amazon Redshift SQL の COPY および UNLOAD コマンドを使用して、Amazon S3 を介してデータを移動し、スループットを最大化します。AWS Glue 4.0 以降では、Apache Spark 用の Amazon Redshift インテグレーションを使用して、Amazon Redshift 固有の最適化と機能を使用して読み込みと書き込みを行うことができます。また、以前のバージョンで接続する場合には利用できなかった機能もあります。 A
AWS Glue で Git のバージョン管理システムを使用する - AWS Glue
ノートブックは現在、AWS Glue Studio のバージョン管理には対応していません。ただし、AWS Glue ジョブスクリプトとビジュアル ETL ジョブのバージョン管理はサポートされています。 リモートリポジトリがあり、そのリポジトリを使用して AWS Glue ジョブを管理する場合は、AWS Glue Studio または AWS CLI を使用して、リポジトリと AWS Glue のジョブへの変更を同期できます。この方法で変更を同期すると、ジョブは AWS Glue Studio からリポジトリにプッシュされるか、リポジトリから AWS Glue Studio にプルされます。 AWS Glue Studio での Git との統合により、次のことができるようになります。 AWS CodeCommit、GitHub、GitLab、 Bitbucket など、Git のバージョン
以下の記事を参考にCSVファイルのデータをGlueで読み込ませようとしてましたが、Athenaを利用しない方法が調べても出てこなかったので試してみました。 dev.classmethod.jp 目次 目次 実施作業 準備 Glue Crawler作成 Glue Crawler実行 Glue DataCatalog・クエリ確認 Glue Table修正 Glue Crawler実行・クエリ確認 感想及び所感 実施作業 準備 テストデータとして以下のCSVファイルを準備しました。 "番号","名前","場所" "1","田中太郎","日本/東京" "2","佐藤次郎","日本/大阪"CSVファイルはGlueからクロールさせるS3パス内に格納しておきます。 Glue Crawler作成 対象のS3パスをクロールするGlue Crawlerを作成します。 Crawler名 データソース設定 IAM
CSV、TSV、カスタム区切りファイル用の Lazy Simple SerDe - Amazon Athena
これは CSV、TSV、およびカスタム区切り形式のデータ用の、Athena におけるデフォルトの SerDe であるため、指定はオプションです。CREATE TABLE ステートメントで SerDe を指定せず、ROW FORMAT DELIMITED のみを指定した場合、Athena はこの SerDe を使用します。データ内に引用符で囲まれた値がない場合は、この SerDe を使用します。 Lazy Simple SerDe に関するリファレンスドキュメントについては、「Apache Hive デベロッパーガイド」の「Hive SerDe」セクションを参照してください。 シリアル化ライブラリ名 Lazy Simple SerDe のシリアル化ライブラリ名は org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe です。ソースコード情報につい
こんにちは!! 筧( @TakaakiKakei )です。 皆さんは Athena で ダブルクォーテーション引用符の CSV データを扱う際に、うまくテーブル作成ができなかった経験はありませんか？ 先日、当該データを Athena で分析する際に少し引っかかったので、作成方法の1つを紹介したいと思います。 それでは早速やっていくっ！！ 目標 Athena で対象の CSV データをクエリした際に以下のように表示することが目標です。 実践 CSV データを用意 以下のような CSV データを用意します ファイル名：price-list.csv ファイルの中身： "id","name","price" "1"," apple","100" "2","orange","150" "3","grape","300" "4","peach","250" "5","banana","90" CSV
MSCK REPAIR TABLE - Amazon Athena
Hive 互換パーティションを追加した後でカタログ内のメタデータを更新するには、MSCK REPAIR TABLE コマンドを使用します。 MSCK REPAIR TABLE コマンドは、テーブルの作成後にファイルシステムに追加された Hive 互換パーティションで Simple Storage Service (Amazon S3) などのファイルシステムをスキャンします。MSCK REPAIR TABLE は、テーブルメタデータのパーティションと S3 のパーティションを比較します。テーブルの作成時に指定した S3 の場所に新しいパーティションが存在する場合は、これらのパーティションがメタデータと Athena のテーブルに追加されます。 物理パーティションを追加すると、カタログ内のメタデータがファイルシステム内のデータのレイアウトと整合しなくなるので、新しいパーティションに関する情報
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Glue Data Catalog の開始方法 - AWS Glue
Amazon Athena
クローラーによる既存のスキーマの変更を防止する - AWS Glue
AWS Glue