Try Google CloudStart building on Google Cloud with $300 in free credits and 20+ always free products. Free Trial Learn how to analyze web (in Google Analytics 360) and mobile (in Firebase Analytics) data together using BigQuery. ">Learn how to analyze web (in Google Analytics 360) and mobile (in Firebase Analytics) data together using BigQuery. It's a common requirement for developers to track us
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。 ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に yyyymmdd 形式で日付を入れることをお勧めします。理由は二つあり、１つ目はスキャン対象となるデータ量を抑えられるため、２つ目が Web UI でのテーブル管理が容易になるためです。 処理データ量の抑制 まず、スキャンするデータ量を抑えられるという点ですが、BigQuery ではクエリを発行
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
こんにちは！ なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思います。 以前、CTOがデータ周りの環境の全体像を紹介しました。 tech.vasily.jp 社内ではBigQueryを中心にデータ周りの環境が構築されており、そこからデータ活用のあらゆる業務へつながります。 データの可視化と社内への共有は主にTableauを使っています。 まずは、BigQueryとTableauの説明から始めます。 BigQuery とは BigQueryとは、Googleが提供しているデータウ
元 文教大学 経営学部 幡鎌研究室のページです。間もなく閉じます。 幡鎌 博は、2020年3月末で文教大学を退職いたしました。これまでのこのコンテンツは、幡鎌が新たに興しました会社 デジタル・ビジネスモデル研究所のページに移行いたしました。これからは、そちらをご覧ください。 今後ともよろしくお願いいたします。
Machine Learning for Hackers 作者: Drew Conway,John Myles White出版社/メーカー: Oreilly & Associates Inc発売日: 2012/02/28メディア: ペーパーバック クリック: 63回この商品を含むブログを見る 機械学習の評価方法について学習 機械学習初心者ですが最近業務で本格的に触り始めています。少し前までSmartPhoneのWebAppliを作ることを専門職としていたので機械学習の領域は未知な事が非常に多く、用語の意味ですら十分に理解できていません。今日は機械学習の評価方法を中心に学習(勉強)した内容を記録して行きます。例えばPrecision/Accuracy/Recallの言葉の違いやROC曲線,AUC評価などの技法といったものが話の中心になります。初心者視点で書いていますので専門性がありません。間
CUBKIにはモデルやスタイリストが発信する「使える着こなし」がいっぱい。スナップから似ているプチプラアイテムが買えるからコーデにもすぐに取り入れられる。あなたのモデルを見つけてフォローしよう！
HRテック、ヘルステック、VRなど、あらゆる分野でテクノロジー系のスタートアップが台頭する。しかし、このようなスタートアップが提供する新しいサービスがどのようにして社会的な課題の解決に寄与しているかという状況は、実はそれほど広く知られているわけではない。そこで、本連載では、AIなどのテクノロジーを活用し、さまざまな業界の課題解決に取り組む日本のスタートアップおよび彼らの画期的なサービスを紹介していきたい。 AIがファッション業界を変革する本連載で最初に登場するサービスは、スナップ写真の画像認識AIを用いたレディースファッションサービス#CBK（カブキ）だ。#CBKを開発・運営するニューロープ代表取締役CEO 酒井聡氏に、同サービスの特徴、AIがファッション業界をどのように変革していくかという未来図を聞いた。 スナップ写真の無断転用問題にメスを入れる—— #CBKの具体的な内容と、ビジネスモ
同僚に3ヶ月のディープラーニング禁止令を言い渡したデータサイエンティストの中村です。 VASILYではスナップ画像に写っているモデルさんが着ている服と似ている服を検索する画像検索エンジンを開発しています。 ファッションアイテムを探す際、デザイン(アイテムの色や模様)はとても重要なファクターになります。 ファッションアイテムの画像検索システムも当然、色や模様のような局所的な特徴を捉えた検索を提供する必要があります。ところが判別タスクにおける歴代チャンピオンモデルと同様のCNNを使って特徴抽出を行うと、局所的な特徴が失われて似ていないアイテムがヒットしてしまうという問題がありました。 そこで、局所的な特徴の保存と表現能力の向上を期待して、モデルに浅いネットワークを追加してマルチスケールに拡張しました。 今回はこの取り組みについて紹介したいと思います。 スナップ画像から商品画像を検索する スナッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
