本ページはSQLを覚えることを目的にしたページではなく、SQLを使ってGA4のBigQueryからよく使いそうなSQLをまとめたものになります。対象は今までSQLを使ってデータをだした事が無い方、昔一度試して挫折あるいはどうすればよいか分からなくなってしまった方が対象です。そのため「とりあえず使ってみる」事を意識しております。必要な限りコメントを入れて、わかりやすさ優先の記述となっています。そのため必ずしも効率的書き方では無いことをご了承下さい。また本SQLの内容等に関してはサポート対象外となりますので、自己責任でご利用ください。 作成ご協力：@macchaice・@kirin0890・他皆様（感謝！） 利用前の確認事項 自分のデータセットを指定する 例えば以下のようにデータが格納されている場合 fromの部分は以下の通りとなります。保存データごとに変わるので、必ず自社のプロジェクトIDに
この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します！(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ
データアナリティクス事業本部、池田です。 2021/05/10のリリースでBigQueryでPIVOTとUNPIVOTがPreview（執筆時点）となりましたので、 動かしてみました。 【 Release notes 】 以前のブログ ではSQLでPIVOTできなかったので、pandasを使っていました。 （2021/07/20追記） 07/19のリリース で generally available（GA） になりました。 掲載のSQLはそのままで動くことを確認済みです。 PIVOT PIVOTを使ってみます。 【 PIVOT operator 】 ※執筆時点ではドキュメントは英語のみ 対象は BigQuery の一般公開データセット から出生データの natality サンプルテーブルです。 まずは普通に年・月・性別でGROUP BYして、新生児の平均体重を見てみます。 （今回はPIVO
timestampを5分単位に丸める 例 2018-04-07 03:17:42 → 2018-04-07 03:15:00 SQL SELECT my_timestamp AS org_timestamp, TIMESTAMP_TRUNC(TIMESTAMP_SUB(my_timestamp, INTERVAL MOD(EXTRACT(MINUTE from my_timestamp), 5) MINUTE) ,MINUTE) AS rounded_timestamp FROM `table` MOD(EXTRACT(MINUTE from my_timestamp), 5) → 分を抜き取り、5で割った数 TIMESTAMP_SUB(my_timestamp, INTERVAL N MINUTE) → ${N}分前。つまりこれで「5分で割ったあまりの数」分前のTIMESTAMPになる
In A Simple Approach To Templated SQL Queries In Python, I introduced the basics of SQL templates in Python using JinjaSql. This post further demonstrates the power of Jinja2 within JinjaSql templates using presets, loops, and custom functions. Let’s consider an everyday use case when we have a table with some dimensions and some numerical values, and we want to find some metrics for a given dimen
ORM（object relational mapper）を使うべきか、使わざるべきかの議論を時々目にします。 Author.objects.all()←こういうやつです。 今回は、DjangoでORMを使わずにクエリを書いてDBからデータを取得する方法を紹介します。 クエリの生成にはjinjasqlというpythonのライブラリを使用します。 ライブラリは↓のようにインストールが可能です。 pip install jinjasql jinjasqlはjinja2というテンプレートエンジンを基にしているので、柔軟にクエリを書くことができます。 github.com 紹介 まずはModelについてです。 class Data(models.Model): title = models.TextField(max_length=400) is_deleted = models.BooleanF
Splitting array/string into rows in Amazon Redshift or MySQL
We've worked with a lot of customers who writes SQL on a regular basis. And from time to time they come to us with SQL question - that we thought would be interesting to share with others! Today, one of our customers came to us with a question - They were having problems unnesting a string/array into rows in Amazon Redshift. Question - Splitting comma-delimited string into rows in Redshift Suppose
トピック SQL のクエリと、Pandas のメソッドの対応表を作成する。 SQL 勉強中のため、備忘録代わりに箇条書き（殴り書き）で書いていく。 Udemy のこちらのコースで勉強していました。 DBやテーブル自体の更新・操作に関するものはこちらにまとめている。（SQL のクエリだけを書き散らかしているだけ） 順序 記述順序 select from join系(+on) where group by having order by limit 実行順序(※) from join系(+on) where group by select having order by limit (※)追記 @nora1962jp さんからご指摘をいただきましたので、コメント内容を追記します。 実行順序 from join系(+on) where SQLについてなら実行順序はonとwhereの順序はonが先
最終的には縦持ちにしちゃえばどんなRDBでも扱えるんだけど、 某MySQLとか某Hadoopとかだと配列で持ってるじゃないですか。 ああいうのをどうやってとりこむか1年くらい考えてたんだけど ついに決定版を思いついた。 扱える個数の上限はあるんだけど、現実的にはほぼ上限を考えなくて済むと思う。 1. 文字列配列をJSONとしてRedshiftに取り込む => select * from slog order by 1; id | words ----+--------------- 1 | ["a","b","c"] 2 | ["xxx","yyy"] 2. 連番 1 カラムだけのテーブルを用意する この連番テーブルのサイズが扱える個数の上限になってしまうので注意 => select * from sseq order by 1; x --- 1 2 3 4 5 3. ジョインする 不等号
GraphQL is a new API standard that provides a more efficient, powerful and flexible alternative to REST. It was developed and open-sourced by Facebook and is now maintained by a large community of companies and individuals from all over the world. APIs have become ubiquitous components of software infrastructures. In short, an API defines how a client can load data from a server. At its core, Grap
今回は以下の本の紹介をいたします。 加嵜 長門 田宮 直人 丸山 弘詩 マイナビ出版 2017-03-27 「ビッグデータ分析・活用のための」と描かれている通り、文中は大規模データを想定したSQL文が並びます。このビッグデータな時代、色んなSQL本が出版されていますが、ここまで実用的で、かつサンプル例が揃った本に初めて出会いました。 著者はDMM.comラボに勤められているエンジニアの方だそうですが、この書籍の元ネタは現場で実際に使っているSQL文か著者の個人的なメモなのではないでしょうか。それくらい「痒い所に手が届く」「困った時に知っておきたい」サンプル例ばかりです。 今回は、この本で着目すべき3つの注目点を簡単に纏めてみました。 その1：非エンジニア向けの易しい解説書スタンス そもそもビッグデータと一口に申しても、データを管理しているエンジニア、データを分析するデータサイエンティスト、
当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に新たに加えても良さそうなツールの情報を先程目にしましたので、当エントリでその内容についてご紹介してみたいと思います。それがこちらの『DBeaver』です。 DBeaver | Free Universal SQL Client これまで紹介してきたDB関連ツール 参考までに、これまでに紹介して来たDB関連ツールの一覧を以下に纏めます。 Intellij IDEA(Ultimate Edition) Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO 0xDBE → DataGrip Mac/W
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
q を利用すると、CSVやTSV形式のファイルに対して直接SQLを発行できます。 インストール手順 http://harelba.github.io/q/ qを使ったデータ解析の例 以下の様な受注データのCSV (ファイル名はorders.csv) が手元にあった時。 OrderId,OrderDate,ProductID,UserID,Quantity,TotalPrice 10000005,2015/2/13,100,10000,1,10000 10000006,2015/2/13,101,10001,2,2000 10000007,2015/2/13,102,10002,3,6000 10000008,2015/2/13,100,10003,1,10000 10000009,2015/2/13,101,10004,2,2000 10000010,2015/2/14,100,10005
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
