すでにSparkを使っていて、さらにオペレーショナルデータハブを構築したいとします。これにはトランザクショナルなデータベースが必要です。ここでMarkLogicの出番となります。Apache Sparkは、今日最も人気のあるオープンソースのクラスタコンピューティングフレームワークです。 これは導入が容易で、大量データの分析を極めてパワフルかつ高速なインメモリデータ処理で行えるアーキテクチャです。 Sparkのコアアーキテクチャでは、データ処理のコンセプトやメカニズムがうまく抽象化されていて、洗練された分析技術を開発において数多く利用できます。具体的には、リレーショナルデータベース（Oracleなど）、分散ファイルシステム（Hadoop HDFSなど）、エンタープライズNoSQLデータベース（MarkLogicなど）に格納された多様なデータセットに対してSQL、機械学習、ストリーミング分析が
IntroductionESG research found that 43% of respondents considering cloud as their primary deployment for Apache Spark. And it makes a lot of sense because the cloud provides scalability, reliability, availability, and massive economies of scale. Another strong selling point of cloud deployment is a low barrier of entry in the form of managed services. Each one of the ‘Big Three’ cloud providers co
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQL
先日開催されたSpark + AI Summit 2019にあわせてDatabricks社からSpark用のストレージレイヤ「Delta Lake」のOSS化が発表されました。 databricks.com GitHubリポジトリはこちら。 github.com Delta LakeはSparkのライブラリとして実装されており、分散ストレージ上で以下のような機能を提供します。 ACIDトランザクション（テーブル単位） タイムトラベル（任意の時点の過去データを参照可能） スキーマバリデーション（スキーマ変更も可能） 実際に動かしてみる Delta Lakeの動作にはSpark 2.4.2以降が必要です。ローカルファイルシステムでも動作するのでspark-shellで動きを確認してみました。 $ bin/spark-shell --packages io.delta:delta-core_2.
BlazingSQL — The GPU SQL Engine now runs over 20X Faster than Apache Spark! A few weeks ago we were very excited to show our first benchmark on an end to end workload. TL,DR you can check out the full article here. The key takeaways from the previous article were the following: We ran an end to end analytics workload: Data Lake → ETL/Feature Engineering → XGBoost TrainingWe built two price equival
Apache Igniteは、Apache Sparkと同様にインメモリ技術を活用した高耐障害性分散データ処理プラットフォームです。 しかし、Apache Sparkは非トランザクション(バッチ)的な分析を処理の対象をしている一方、Apache Igniteはリアルタイム処理に優れ、非トランザクションとACIDトランザクション的な処理を両方サポートします。 この2つのプラットフォームを組み合わせて使うことには大きなメリットがあり、2つの統合のための機能がApache Igniteには早期開発段階から導入されました。 本稿では、Apache Ignite + Apache Sparkの統合はどういう風に実現されたか、既にSparkを使ってデータ処理を行うシステムへIgnite導入のメリットについて説明します。 はじめに Apache Ignite（以下、Ignite）は、メモリを中心に据えた
Final Report | Installation | How it Works | Use Cases | Code | License Google Summer of Code 2017 Final Report Big Data Tools for Physics Analysis Introduction Jupyter Notebook is an interactive computing environment that is used to create notebooks which contain code, output, plots, widgets and theory. Jupyter notebook offers a convenient platform for interactive data analysis, scientific comput
関連キーワード SQL | SQL Server | Hadoop | Microsoft（マイクロソフト） | ビッグデータ | データベース Microsoftは2018年9月「SQL Server」がリレーショナルデータ以外のさまざまなデータモデルも扱えるようになると発表した。 同社は、データ分析フレームワークの「Apache Spark」（以下、Spark）と、分散処理フレームワーク「Apache Hadoop」（以下、Hadoop）用の「Hadoop分散ファイルシステム」（HDFS）が利用可能な「SQL Server 2019」プレビュー版を、さまざまな機械学習パッケージとともにリリースした。これにより、SQL Serverを導入している多くの店舗で、SQL Serverを大規模なデータ分析のテスト環境として利用できるようになる。 SQL Server 2019プレビュー版のデー
ML Pipelines \[ \newcommand{\R}{\mathbb{R}} \newcommand{\E}{\mathbb{E}} \newcommand{\x}{\mathbf{x}} \newcommand{\y}{\mathbf{y}} \newcommand{\wv}{\mathbf{w}} \newcommand{\av}{\mathbf{\alpha}} \newcommand{\bv}{\mathbf{b}} \newcommand{\N}{\mathbb{N}} \newcommand{\id}{\mathbf{I}} \newcommand{\ind}{\mathbf{1}} \newcommand{\0}{\mathbf{0}} \newcommand{\unit}{\mathbf{e}} \newcommand{\one}{\mathbf{1}} \new
重要 この記事の Azure CLI コマンドの一部では、Azure Machine Learning 用に azure-cli-ml、つまり v1 の拡張機能を使用しています。 v1 拡張機能のサポートは、2025 年 9 月 30 日に終了します。 その日付まで、v1 拡張機能をインストールして使用できます。 2025 年 9 月 30 日より前に、ml (v2) 拡張機能に移行することをお勧めします。 v2 拡張機能の詳細については、Azure Machine Learning CLI 拡張機能と Python SDK v2 に関する記事を参照してください。 Azure Machine Learning パイプラインは、独立して実行できる完全な機械学習タスクのワークフローです。 Azure Machine Learning パイプラインは、機械学習モデルを生成する上でのベスト プラク
マイクロソフトは米フロリダで開催中のイベント「Microsoft Iginte 2018」で、同社のリレーショナルデータベースの次期バージョン「Microsoft SQL Server 2019」を正式に発表しました。 SQL Server 2019ではビッグデータの処理や機械学習への対応などが重視され、Apache SparkとHDFS（Hadoop Distributed File System）が製品に統合されます。 それぞれのノードにはSparkとHDFS、SQL Serverのエンジンが含まれており、ユーザーは使いやすいT-SQLを用いてビッグデータ処理を記述可能。 コンテナ環境への対応も強化され、上記の図のSparkとHDFS、SQL Serverが統合された複数のノードからなるビッグデータクラスタはKubernetes環境へのデプロイが可能になります。 Oracle Data
Apache Toree Toree is an Scala kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. Get Toree 0.4.0-incubating Apache Toree Apache Toree is a kernel for the Jupyter Notebook platform providing interactive access to Apache Spark. It has been developed using the IPython messaging protocol and 0MQ, and despite the protocol’s name, Apache Toree currently exposes the S
Flare Scale up Apache Spark with Native Compilation and set your Data on Fire! We're now accepting applications for our private beta program. Set your Data on Fire Flare is a drop-in accelerator for Apache Spark that achieves order of magnitude speedups on DataFrame and SQL workloads. From Spark to Flink July 18, 2019 On Stack Replacement: A Quick Start with Tiered Execution January 23, 2019 Publi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
