2024年には生成AIのビジネスでの活用が本格化し、その可能性と課題、生成AIを支えるデータ基盤の整備などの重要性が徐々に認識されるようになった。 2025年においてデータ分析分野ではどのようなムーブメントが起きるだろうか。データブリックス・ジャパンの笹 俊文社長、Snowflake日本法人の東條英俊社長、クリックテック・ジャパン今井 浩氏（カントリーマネージャー）に、2025年の見通しを聞いた。 2025年、データ分析に“必要なもの”とは 笹 俊文氏（データブリックス・ジャパン　代表取締役社長） 生成AIがデータ分析へのアクセスを民主化したのは間違いありません。しかし、商用大規模言語モデル（LLM）は一般公開情報だけで学習するため、企業が必要とする品質を提供することが困難な場合が多くあります。そこで各企業は、LLMに自社データとガバナンスを統合した「データ・インテリジェンス」の構築を始め

Design and Strategy: How to Deal with People Who Don’t "Get" Design

公開日 2024/12/10更新日 2024/12/10Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 はじめにLayerXでは、「バクラク」という企業のバックオフィス業務を効率化するクラウドサービスを提供しています。稟議、経費精算、法人カード、請求書受取、請求書発行といった経理業務に加え、勤怠管理といった人事領域（HRM）の業務を効率化するサービスも展開しています。最新のAI技術を活用し、お客様の業務が、より「ラク」になる環境の実現を目指しています。導入実績は10,000社を超え、多くのお客様に選んでいただいております。 バクラク | バックオフィスから全社の生産性を高める このようなサービスを支えるためには、ビジネスニーズに迅速に応えられる拡張性の高い効率的なデータ基盤が不可欠です。バクラクでは、サービスの成長と共に増大するデータ量や複雑化する

この記事は NewsPicks Advent Calendar 2024 の6日目の記事です。 ソーシャル経済メディア「NewsPicks」の中村です。最近はデータ基盤の開発運用、データアナリストのサポート、LLM活用等をやっています。 現在、NewsPicksではデータウェアハウスとして長年利用してきたAmazon RedshiftからSnowflakeへの移行を進めています。まだ移行作業の途上ではありますが、完了の目処が立ったので、なぜデータ基盤の移行を行なっているのか、どのように移行計画を立てたか、実際に移行作業を進めてみてどうだったか等を紹介したいと思います。データ基盤を運用している方、データウェアハウスの比較検討をされている方などの参考になれば幸いです。 なぜデータウェアハウスを移行するのか Redshiftのパフォーマンスとコストの問題 まず、NewsPicksの従来のデータ基

はじめに Streamlit in SnowflakeがPrivateLinkでも使えるようになるよ〜という記事を見かけ、そもそもStreamlit in Snowflakeはなんぞや・・・ 触ってないなというお気持ちになったので、今回はPublic経由でStreamlit in Snowflakeとdbt Cloudを触りながら簡単なデータ基盤を作ります。 Streamlitの構成→ダミーデータの選定→SOURCE/RAW→LAKE→DWH→MARTの順序で作成していくので良ければ参考にしてください。 事前準備 下記の準備を事前に完了していることが前提で進みます。 GitHub アカウントとリポジトリの作成 Account settings->Personal profile->GitHubからdbt CloudとGiHubの連携 Snowflake User (+ Key pair)の

住友生命保険は健康増進型保険「Vitality（バイタリティー）」のデータ分析基盤に、米Snowflake（スノーフレーク）が提供するデータクラウド「Snowflake」を採用した。Snowflakeはクラウドベースのデータウエアハウスサービスで、AWSやGoogle Cloud上で稼働する。大量のデータを一元管理でき、高速なデータ分析が可能だ。住友生命保険は新システムを導入した結果、データ分析にかかっていた時間を数十分から数分に縮め、コストも年間で50％ほど下げられるという。2024年5月に本格導入した。 Vitalityは住友生命保険が2018年から提供する商品だ。一般的な保険は、主に病気などに対するリスクに備える。一方、健康増進型保険をうたうVitalityは、加入者が保険会社と共に継続的に健康増進を図ることで病気のリスクを抑制する機能を提供する。例えば加入者は健康状態を把握・改善す

Snowflake顧客の認証情報500件超がネットに出回る　スティーラーマルウェアにより流出かTechChrunch – June 5, 2024 最近発生したサンタンデール銀行およびチケットマスターでの大規模データ侵害。クラウドサービスSnowflakeのアカウントがハッキングされ、当該アカウント経由で両社のSnowflake環境からデータが盗まれたのが原因であろうと考えられている。Snowflake自身は両社の侵害について現時点で公に言及していないものの、少数の顧客アカウントへの不正アクセスがあった可能性を認識しているとは述べている。 ※このデータ侵害について、詳しくはこちらの記事で：サンタンデール銀行とチケットマスターの大規模侵害、Snowflakeアカウントのハッキングが原因となった可能性 そんな中、IT/テクノロジーメディアのTechCrunchがこの件に関して実施した調査の結果

執筆：Nick Biasini、協力：Kendall McKay、Guilherme Venere クラウド データ プラットフォーム Snowflake のログイン情報の流出、盗難に端を発した数々の影響と流出後の攻撃が続々とニュースになっています。 攻撃者は、情報窃取マルウェアを使用して Snowflake アカウントのログイン情報を入手しました。中には多要素認証（MFA）で保護されていないものがあり、それを使用して Snowflake の顧客アカウントに侵入し、機密情報を盗み出しました。しかし、Snowflake の本当の問題はこの点ではありません。このインシデントは、ここしばらく脅威環境で見られているはるかに大きな変化の現れであり、その焦点はアイデンティティにあります。 過去数十年の間に犯罪的脅威を取り巻く環境が崩壊し、ランサムウェアやデータ強奪が広まっている状況を Talos は目

写真　Snowflakeの利用画面。アカウント作成後、画面上でデータを取り込む操作をすると高速化のためのパーティショニングなどが自動で設定されて利用できるようになる。左側メニューから使いたい機能を選んでデータにアクセスする データがある場所で機械学習やデータ処理を実行 Snowflakeが以前からあるDWHと違う点は、機械学習やアプリケーション、データ処理などをデータがある場所で実行できることです。これまでのDWHは、データを蓄積して高速に分析処理を実行できる基盤であり、機械学習やアプリケーションなどは別の実行基盤に実装し、DWHに接続して処理していました。全体のアーキテクチャーは利用者が設計していました。 Snowflakeは「データクラウド」を標榜しており、機械学習やアプリケーション、データ処理、データガバナンスなどを実行する多様な機能をオールインワンで備えたプラットフォームになってい

こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは？ Snowflake Data Cloud Summit 2024（以下、Summit）は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日本からは250人が

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は、Snowflake Data Cloud Summit 2024 の Platform Keynote で発表されたデータアプリケーション機能に関連するアップデート情報を紹介します！セッションとしては、後半の後半のあたりに該当する部分です。本キーノートの配信を視聴することもできるので、気になる方はぜひ御覧ください！ 本記事では、下記の項目で解説します。 Snowpark for Python Snowflake Notebooks Snowflake Cortex Snowpark Container Service

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、喜田です。 いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。 そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。 この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。 C

クラウドベースのデータウェアハウスサービスを展開する企業のSnowflakeが、トップレベルのエンタープライズ向け大規模言語モデル(LLM)として「Snowflake Arctic」をリリースしました。Apacheライセンス バージョン2.0で提供されるオープンなモデルとなっており、無料で商用利用も可能です。 Snowflake Arctic - LLM for Enterprise AI https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/ Snowflakeの調査では、企業ユーザーはAIを使用して主にデータ支援やコード支援、検索拡張生成(RAG)を行うチャットボットを作成したい場合が多いとのこと。そこで、Snowflakeは「コーディング能力」「SQL生成能力

Easy building, distribution and scaling for applications

パブリックプレビュー版のSnowpark ML Model Registryで、SnowflakeでのMLOpsのポイントを確認してみた Snowpark MLのパイプラインごとModel Registryに登録することで、Snowflakeのテーブルのデータをそのまま利用しやすく、運用も格段に簡単になっています。 データアナリティクス事業本部 機械学習チームの鈴木です。 先日、Snowpark MLのModel Registryのパブリックプレビューが開始になりました。 この公開までの間、Snowpark MLでもいくつかの重要なアップデートがあり、それらが合わさってSnowflakeでのモデルのデプロイや管理がかなり使いやすくなったように思ったので、改めて触ってみました。 個人的には、 前処理も含めたパイプラインを管理することで、Snowflakeの特徴量用のマートテーブルを機械学習モ

Snowflakeは3月28日（現地時間）、これまでGUIがなかった「Snowflakeデータクリーンルーム」をアプリケーションとして提供し始めた。まずは米国のリージョンで展開する。時期は未定だが、日本でも提供する予定としている。 個人情報保護、データ分析、導入しやすさを両立 データクリーンルームとは、プライバシーに配慮しながらデータの分析や共有ができる基盤のこと。顧客データなどを個人が特定できない形で扱えるため、パートナー企業などと共同でデータ分析する場合に情報漏えいなどのリスクを抑えられる。 データにはSnowflake製品群が持つプライバシー機能やガバナンス機能が適用される。 Snowflakeはデータクリーンルーム事業を手掛けるSamoohaを2023年12月に買収し、同社のシステムをベースにSnowflakeデータクリーンルームを構築した。利用に伴うストレージやコンピュートにかか

結論 Taskを管理するならSnowflake Python APIを使おう Snowflake Python APIとは Snowflake公式のPythonのオブジェクト管理ライブラリ「snowflake.core」のことです(Public Beta)。Snowflake Python Connectorとは全く別物です。 Snowflake Python APIを使用すると、Pythonコードを使ってSnowflakeのリソース(Table、Warehouse、Task、Snowpark Container ServiceのCompute Poolなど)を管理することができます。 本記事では、Snowflake Python APIを使ってSnowflakeのタスクとDAG（Directed Acyclic Graph）を管理する方法を詳しく解説します。これにより、Streamlit

AI（人工知能）は、可観測性（オブザーバビリティ）市場でも注目を集めている。だが、米国シカゴを拠点とする電子情報開示SaaS企業のReveal Dataは、AI機能を搭載しないオブザーバビリティ製品を導入したという。 Reveal Dataが、AIの価値を全く知らないというわけではない。Reveal Dataのソフトウェアには複数の機械学習モデルが組み込まれており、自社の顧客向けにAIモデルライブラリも提供している。だが、2021年に同社に入社し、同社のSRE（Site Reliability Engineering）プラクティスの構築を任されたスティーブン・モントーヤ氏は、別の道を選択した。 「『AIで予測分析をする』というと聞こえは良いが、それを進めるには膨大なコンピューティング能力と大量のデータが必要になる。もっとシンプルなのは、統計分析をするソリューションだ。必ずしもAIが必要なわ

スケーラビリティやデータ活用までのリードタイム、価格面での懸念に応える製品として注目を集めるSnowflake。特に大規模なデータを取り扱う現場では、Snowflake導入によってどんな変化があるのでしょうか。 本記事では、前回の第一弾でご紹介したChatworkさん、delyさん、GENDAさん、スターフェスティバルさんに引き続き、第二弾として大規模データを取り扱う5社に、データ基盤の設計思想やデータチームの方針にも触れながら、Snowflake導入の背景や効果を伺いました。 株式会社Algoage事業概要株式会社Algoageは、東京大学で機械学習の研究をしていたメンバーで2018年に創業したスタートアップです。AIを活用したサービス開発、研究開発を行っており、2020年に合同会社DMM.comと資本業務提携を締結いたしました。 「誰もが簡単に、最良の意思決定ができる世界」をミッション