dbt docs has two supported subcommands: generate and serve. dbt docs generate The command is responsible for generating your project's documentation website by Copying the website index.html file into the target/ directory. Compiling the resources in your project, so that their compiled_code will be included in manifest.json. Running queries against database metadata to produce the catalog.json f
こんにちは！シンプルフォームの山岸です。 皆さん、データ基盤のメタデータ管理には何を利用されているでしょうか。 当社では現在、Snowflake × dbt を軸としたデータ基盤への移行に向けて検証・構築を進めており、併せて dbt Docs の機能を用いたメタデータ管理・提供方法についても検討しています。 今回、dbt Docs を AWS 上で CI/CD、およびホスティングするための AWS インフラ構成について検討してみたので、本記事ではその内容についてご紹介できればと思います。（アーキテクチャの話がメインであり、細かい実装についてはあまり言及しない点について、予めご了承ください） メタデータ管理について メタデータとは データ基盤の文脈における「メタデータ」とは、一言で言えば「データに関するデータ」のことを指します。これには例えば、DB 内の各テーブル・カラムのビジネス的意味や、
So you want to do data quality testing in dbt the right way? We’ve got you covered. We recommend the following testing practices to have the most comprehensive, automated, and accessible tests for your dbt models: Build a foundation with generic testsLeverage helpers and packagesModel with the testing in mindTest data sourcesIntegrate alertingCreate testing documentation and establish clear owners
Use dbt Copilot, available in beta, to generate data tests in the dbt Cloud IDE only. To use dbt Copilot, you must have an active dbt Cloud Enterprise account and either agree to use dbt Labs' OpenAI key or provide your own Open AI API key. Register here or reach out to the Account team to join the private beta. Related reference docs Test command Data test properties Data test configurations Tes
はじめに データアナリティクス事業本部のおざわです。 オプションを指定せずにdbt runを実行すると、プロジェクト内の有効なモデルがマテリアライズ（実体化）されます。なにも指定せずにdbt runした場合に、特定のモデルを除外できないか試してみたところ、Selectorsを使えば目的の動作ができましたので共有したいと思います。 今回使ったdbtのバージョンです。 ❯ dbt --version Core: - installed: 1.7.7 - latest: 1.7.7 - Up to date! Plugins: - redshift: 1.7.3 - Up to date! Selectorsとは 今回使うSelectorsは、一言でいうとリソースの選択方法に名前を付けておく機能です。 使い方としては、selectors.ymlにリソースの選択方法を定義しておきます。あとはコマン
事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です
この記事はスタンバイ Advent Calendar 2022の21日目の記事です。 Modern Data Stackの一つであるDBTについて、Amazon Athenaで利用できるかを検証してみることにしました。 DBTとは ELT処理 (Extract、Load、Transform) のTransformの工程を効率化できるツール、という位置づけです。 詳細は割愛しますが、以下の記事がわかりやすくまとめられています。 dbt-athenaとは dbtのAthena用Adapterです。 大前提として、Saas版であるdbt Cloudでは非サポートであるため、CLI版であるdbt-coreを利用することになります。 開発コミュニティ githubで開発が進められています。執筆時点での最新バージョンは1.3.3です。 以前はfork元である別repositoryで開発が行われていたよ
How to incrementally load data into Snowflake with dbt - dbtにCOPY がく＠ちゅらデータエンジニア です。 ※2022年9月よりちゅらデータ株式会社にJoinしました dbtは、ELTのうちのTを司るツール・・・・という話ではあるのですが、某案件で S3に上げたParquetファイルをdbtでSTAGEから読み込んで、増分を取り込む仕組みがあったんです。 で、dbtでも、SnowflakeのCOPY INTOをつかって取り込みができないか？ SQLが実行できるんだから、dbtでもできんじゃね？ ってことで、調べてたらこんな記事にたどり着きました TLDR dbtは基本的に、すでにデータがDWHにロードされていて、単純なSELECTで色々マートを作ったり、モデリングすることが想定されてる。 この記事ではS3からSnowflakeに
Why does style matter? Style might seem like a trivial, surface-level issue, but it's a deeply material aspect of a well-built project. A consistent, clear style enhances readability and makes your project easier to understand and maintain. Highly readable code helps build clear mental models making it easier to debug and extend your project. It's not just a favor to yourself, though; equally imp
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた | DevelopersIO
Amazon Redshift + dbt ユーザー必読の書「Best Practices for Leveraging Amazon Redshift and dbt」を読んでみた データアナリティクス事業本部のコンサルティングチームの石川です。今日は、AWSが執筆した Amazon Redshiftとdbtを活用するためのベストプラクティスをまとめたホワイトペーパーを紹介します。 Best Practices for Leveraging Amazon Redshift and dbt™ リンクから誰でもダウンロードできます。 Redshift + dbtを導入しているけれど、果たしてこれが正しい使い方なのかモヤモヤしている方は少なくないと想像してます。筆者もその一人ですが、そのような方々の道標になれば幸いです。 目次 Abstract Introduction Amazon Reds
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
Less data work. More data that worksWhen your data is organized, you can deliver data products people trust. Transform data faster, cheaper, and more reliably with dbt. Deliver data that business can trust — and traceReliable data increases trust and fuels wide-reaching business decisions. This saves time and resources and improves brand equity.
奈良県でリモートワーク中の玉井です。 日本では全くと言っていいほど知名度がありませんが、国外（アメリカ？）のデータ分析界隈では既にメジャーな存在になりつつある「dbt」（data build tool）について、ご紹介します。 dbtとは？ 公式情報など 公式はこちら（ググラビリティが低い名前なので検索しづらい）。 （死ぬほどざっくりいうと）データ変換を効率よく実施できるツールです。SaaSとしての提供になっているので（最初からあったわけではなく、後から登場したようです）、Webブラウザさえあれば、すぐに利用することができます。 主な特徴 ELTの「T」を担当するツール データの前処理における作業をELT（Extract、Load、Transform）と呼称することがありますが、それの「T（変換）」を担当します。E（抽出）やL（ロード）はやりません。 そして、その変換処理をどうやって設定す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
