Video of the presentation can be seen here: https://www.youtube.com/watch?v=uxuLRiNoDio The Data Source API in Spark is a convenient feature that enables developers to write libraries to connect to data stored in various sources with Spark. Equipped with the Data Source API, users can load/save data from/to different data formats and systems with minimal setup and configuration. In this talk, we i
Apache Spark Advent Calendar 2015 20日目の記事です。（大遅刻ですみません。。。）この記事では、DataFrame APIを通してカスタムDataSourceへ接続する方法を解説します。 0. 新たなDataSourceを書き始める前に 既に実装済みのDataSourceではないか確認するのが良いでしょう。Spark組み込みのDataSourceとして下記の4つがあります。 JSON Parquet JDBC/ODBC Hive(今回の解説とは異なる実装) http://spark.apache.org/docs/latest/sql-programming-guide.html#data-sources また、spark-packages.orgにはSparkユーザーコミュニティで開発されたパッケージが登録されています。cassandraやredshif
他の AWS サービスからのイベントを使用した Lambda の呼び出し - AWS Lambda
一部の AWS サービスは、トリガーを使用して Lambda 関数を直接呼び出すことができます。これらのサービスはイベントを Lambda にプッシュし、指定されたイベントが発生すると即時に関数が呼び出されます。トリガーは、個別のイベントやリアルタイム処理に適しています。Lambda コンソールを使用してトリガーを作成すると、コンソールは対応する AWS サービスと連携して、そのサービスでイベント通知を設定します。実際には、トリガーは Lambda ではなく、イベントを生成するサービスによって保存および管理されます。 イベントは JSON 形式で構造化されたデータです。JSON 構造は、それを生成するサービスとイベントタイプによって異なりますが、すべて関数がイベントを処理するために必要なデータを含んでいます。 関数には複数のトリガーを持つことができます。各トリガーは、関数を単独に呼び出すク
Spark SQL, DataFrames and Datasets Guide Spark SQL is a Spark module for structured data processing. Unlike the basic Spark RDD API, the interfaces provided by Spark SQL provide Spark with more information about the structure of both the data and the computation being performed. Internally, Spark SQL uses this extra information to perform extra optimizations. There are several ways to interact wit
Yahoo!ニュース RSSリスティング発行 NHK主要ニュース RSSリスティング発行 ITmedia 総合 RSSリスティング発行 朝日新聞デジタル RSSリスティング発行 ゲキサカ RSSリスティング発行 Number Web RSSリスティング発行 東洋経済オンライン RSSリスティング発行 文春オンライン RSSリスティング発行 はてなブックマーク RSSリスティング発行 ゴリミー RSSリスティング発行 ライフハッカー RSSリスティング発行 J-CASTニュース RSSリスティング発行 ハフィントンポスト RSSリスティング発行 スラッシュドット・ジャパン RSSリスティング発行 PC Watch RSSリスティング発行 Lifehacking.jp RSSリスティング発行 INTERNET Watch RSSリスティング発行 GIGAZINE RSSリスティング発行 デイリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
