最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。
ここ最近「SnowflakeとTreasure Dataの違いを教えてほしい」 といった質問を頂くことが増えています。 どちらもクラウドDWH(データウェアハウス)や、 クラウドデータプラットフォームと呼ばれるように、競合するプロダクトですね。 クラウドのスケールメリットを活かしている点、 ユーザビリティの高いGUIが用意されている点など、共通点が多いです。 2011年に米国で日本人が創業し、 2013年から今日に至るまで日本国内での普及を着実に進めていったTreasure Data。 2012年に米国で元Oracle出身者が創業し、 グローバルでの評価を確固たるものとし、 満を持して2019年に日本法人を設立したSnowflake。 グローバルでの知名度は圧倒的にSnowflakeの方が高いのですが 日本国内での歴史はまだ浅く、 国内においてはTreasure Dataの方が知名度が高く
2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 2021-11-23 リリース 今回は Change Log を確認しつつ，「個人的に気になった Redash v10.1.0 新機能と機能改善」を「計5点」紹介する．全ての変更点は以下に載っている． gi
「Redash Meetup v8.0.0」の資料一覧です。
4月27日から6月30日に開催されたデータサイエンスコンペティション「AIエッジコンテスト（外部サイト）」で、JR西日本の若手社員二人が優勝を勝ち取った。JR西日本は、2017年から本格的にデータサイエンスの取り組みを開始。2020年には「データソリューション室」を設立し、データ分析やAIを用いた業務変革を進めている。 なぜ、JR西日本は優勝できたのか？優勝を勝ち取ったJR西日本データソリューション室の松田篤史さん、兒玉庸平さんのお二人に話を聞いた。 元新幹線の運転士、駅機械設備のエンジニアだった二人兒玉さんと松田さんは、ともに事業部の出身だ。 兒玉さんが新卒で最初に配属された先は、総合車両所という車両検査を行う部署。その後、山陽・北陸新幹線の運転士を務めた後、指令所と呼ばれる、新幹線の運行管理を行う部署に異動した。
グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか？
お知らせ 誠に残念ですが、Embulk & Digdag Meetup 2020の開催の延期をご報告いたします。 新型コロナウイルス感染症(COVID-19)の被害拡の状況下において、今回のミートアップ開催は望ましくないと判断し、延期させていただくこととなりました。 4月以降に状況を鑑み、再度ミートアップの企画させていただきますので、楽しみにお待ちください。 概要 Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを2020年初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO Technologi
つまりなにしたの？ Dockerを使っているといつの間にかDockerのイメージとかボリュームで肥大化してくるので、使わなくなったものは捨てたい。 どうやら便利なdocker system pruneというコマンドがあるらしいので使ってみた。 docs.docker.com pruningって剪定って意味で、使っていないコンテナとかを剪定してくれる的な意味だった。 ミキプルーンの苗木。みたいなのを思い出してたせいで剪定が全然出てこなかった。 環境について すでにインストール済とする。 docs.docker.com 以降の環境は Docker CE Version 18.06.0-ce-mac70 (26399) Engine: 18.06.0-ce Compose: 1.22.0 Machine: 0.15.0 Notary: 0.6.1 Credential Helper: 0.6.0
こんにちは。次世代システム研究室のS.Iです。 今回、担当しているシステムのRedash環境を「6.0.0」から「8.0.0」にバージョンアップしました。その中で実際に使っている機能や気になった変更点（※ver 7.0.0含む）とデータ分析や可視化の際によく利用するSQLのTipsを紹介します。 Redash 8.0.0追加機能の紹介 Datasourceの追加 以下のデータソースが追加されました。 Azure Data Explorer (Kusto) Cassandra Couchbase Dgraph JSON Phoenix Uptycs Apache Drill SQLの選択実行 以下のように選択した範囲のクエリのみ実行できるように！使い込むほどクエリは複雑になりやすいので、作業しながらの確認が効率的にできるようになりました。 ドロップダウンのマルチ選択サポート 作成したドロップ
小売にはびこる「悪しき先入観や現場主義」をぶっ壊せ！ データドリブンなグッデイ三代目社長は、何と戦ってきたのか：長谷川秀樹の「IT酒場放浪記」（1/4 ページ） メルカリのCIOを退任し、「プロフェッショナルCDOの道を切りひらく！」と宣言した長谷川秀樹氏が、酒を酌み交わしながら語り合う本対談。今回は、何を食べてもおいしい博多にやってまいりました。 ゲストは、北部九州・山口を中心にホームセンター65店舗を運営する「グッデイ」の三代目社長 柳瀬隆志さん。独学で統計分析ツールのRや、プログラミング言語のPythonを習得し、社員とともにデータドリブンな経営を目指しています。 POSデータは「過去は分かる」が、「未来は教えてくれない」――。そんな小売業の定説に、「せやろな」と同調していた東急ハンズ時代の長谷川氏にとって、柳瀬氏との出会いは衝撃的だったようで…… データドリブンな三代目社長はこうし
この記事はTech KAYAC Advent Calendar 2019 Update/MigrationTrack 3日目の記事です。 昨年のAdvent Calendarで闇のredash の記事を書いていたゲームコミュニティ(Lobi)事業部の自称データエンジニアの池田です。今回も、redashについて記事を書いていきたいと思います。 redashは様々な種類のデータソースにアクセスできる、OSSの素晴らしいダッシュボードツールです。 2017-01-31にv1.0.0-rc.1のリリースされて以来開発が続けられており、この前の2019-10-27にv8.0.0 がリリースされました。 今後もビジネスインテリジェンスの現場でのダッシュボードツールの選択肢として利用され続けることでしょう。 ゲームコミュニティ事業部でのRedashの課題 私の所属するゲームコミュニティ事業部でも、以前本
タイトル通りで本当これだけなのですがv8で「先週」や「直近7日」など相対的な日付パラメータを設定できるようになりました 個人的にとても良い! Redashを入れていろんな人に使ってもらいだすとほぼ言われるであろう 「期間指定で今週とか今月とかってできないの?」という感じのやつ v8以前は対応してなかったのでパワープレイで頑張るという方法もあるものの SQLで頑張る デフォルト値でパラメータを受け取っていない場合に「直近○日」というようなクエリを書く クエリID指定で定期的にSQLで上書き（self-hostedの場合に限る） queries.optionsの中身を毎日cronで更新する などの方法が取れるにはとれますが どれも「うーん…」といった感じでした 画面 適用されるのは日付系の指定すべて 指定可能なパラメータの場合Inputの横に雷のマークが表示されクリックするとリストが出てくるの
2019年10月末に Redash の最新バージョン「Redash v8.0.0」がリリースされた．Change Log を読むと機能改善が多くあり，今回は「個人的に気になった Redash v8 新機能と機能改善」を「計10点」紹介しようと思う．Change Log は以下の CHANGELOG.md で確認できる． redash/CHANGELOG.md at master · getredash/redash · GitHub 目次 ドロップダウンで複数値を選択できるようになった クエリ名を日本語で正しく検索できるようになった ダッシュボードがグリッド表示になった データソース追加／削除 データソース設定画面の UI 改善 クエリ画面にデータソースのアイコンが表示されるようになった カスタムアラート機能 Query API Key を作り直せるようになった アラート送信先から Hip
redash のデータベースに接続する次のコマンドで接続します。 sudo -u redash psql -d redash 接続を切るときには次のコマンド。 \q redash のデータベース容量を確認するselect t1.datname AS db_name, pg_size_pretty(pg_database_size(t1.datname)) as db_size from pg_database t1 where t1.datname = 'redash' サーバーのディスク空き容量を確認するバックアップをする前にサーバーのディスクの空き容量を確認します。 df -hT データベースのバックアップコマンドバックアップをします。 sudo -u redash pg_dump redash | gzip > redash_backup.gz バックアップコマンド
Salesforce.comがBIツールベンダTableauを買収。「これまでにないほどSalesforceの分析機能は強化される」 Salesforce.comはTableau（タブロー）を買収することで両社が合意したことを発表しました。 Salesforce signs definitive agreement to acquire @Tableau! https://t.co/uHB021s35e Important: https://t.co/HMTWhHPxQa pic.twitter.com/0aA7L0myVt — Salesforce (@salesforce) 2019年6月10日 Salesforce.comは顧客管理や営業支援、マーケティング支援、ヘルプデスクなどさまざまなサービスを提供するクラウド企業。買収されるTableauは有力なBIツールベンダとして知られてい
2019年3月末に Redash の最新バージョン「Redash v7.0.0」がリリースされた．Change Log を読むと機能追加が多くあり，今回は「個人的に気になった Redash v7 新機能（もしくは UI 変更）」を「9点」紹介しようと思う． redash/CHANGELOG.md at master · getredash/redash · GitHub もし既存環境を Redash v7 にアップデートするのであれば，GitHub に公開されている docker-compose.yml と以下のドキュメントを確認しておくこと．バックアップを忘れずに！ redash.io 1. Version 表記 細かな UI 変更ではあるけど，Redash v6 までフッターにあった Version 表記が Redash v7 ではメニューバーに移動していた．個人的にはフッターがスッキ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: データビジュアライゼーションの教科書: 藤俊久仁, 渡部良一: 本
