NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
PostgreSQLデータベースのスキーマやインデックスの管理、SQLの実行などをWebブラウザから行えるツール「PostgreSQL Studio」が、オープンソースで公開されました。 PostgreSQL Studioは、データベース内のテーブルのスキーマを参照し、また列やインデックス、ビューや制約、トリガーなどの作成や変更、SQL文の実行などを行う機能としてSchema Brwoser、Detail Browser、SQL Worksheet、Object Wizardsなどを備えています。 Webブラウザから利用できるため、PostgreSQL StudioをPostgreSQLと同じファイアウォールの背後に置いておき、HTTP経由でアクセスすることにより、安全にデータベースを管理できると説明されています。 Javaで記述され、複数のPostgreSQLバージョンに対応 対応するP
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 Pythonは日本ではあまり利用事例が多くありませんが、海外ではGoogleやDropboxなどで使われていることが知られ、人気のあるスクリプティング言語の1つです。Pycon APAC 2013の2日目の基調講演には、そのDropboxの3番目の社員であるRian Hunter氏が登壇、Dropboxの社内事例も交えてPythonの大規模開発について紹介しています。 基調講演の内容をダイジェストで紹介しましょう。 One Million Lines of Python このカンファレンスに呼んでいただけて大変光栄です。日本には初めて来ました。 僕が初
データベースのスケーラビリティを改善する代表的な方法として、データを分割して複数のサーバで処理する「シャーディング」があります。そのシャーディング機能を持つMySQLストレージエンジンが「Spider」が、MySQL互換のMariaDBにバンドルされると、開発者である斯波健徳（しばけんとく）氏のブログにポストされた記事「[MariaDB][Spider]SpiderがMariaDBにバンドルされました」（8月23日付け）で紹介されています。 Spiderストレージエンジンの概要は、MySQLについていつも詳しい解説をしてくれるブログ「漢のコンピュータ道」の2010年3月のエントリ「Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン」などで分かりやすく説明されていますが、簡単に言えばデータベースに対する参照や更新などの処理を複数のデー
PostgreSQL 9.3正式版が公開。1秒以下の高速フェイルオーバー、データチェックサムによる高信頼性、マテリアライズドビューなどの新機能 「What's new in PostgreSQL 9.3」のページに並んだ項目から、主な新機能を抜き出してみました。 バルクロードの高速化のためのCOPY FREEZE カスタムバックグラウンドワーカー データチェックサム JSON機能の拡張 ラテラルジョイン イベントトリガー マテリアライズドビュー アップデータブルビュー 書き込み可能な外部テーブル 高速フェイルオーバー 過去のバージョンとの基本的な互換性は維持されています。 1秒以内でレプリカがマスターに昇格 高速フェイルオーバー機能では、レプリカデータベースがマスターへ昇格するのに1秒以内になるとのこと。 データチェックサムはページごとにデータのチェックサムを確認し、ストレージの障害などに
プログラミング言語の経験がある人がJavaScriptを覚えようとすると、「あれ？ なんか違うぞ？」という経験を何度もするのではないでしょうか。どうも配列は自分の知ってる配列っぽくないし、オブジェクトもオブジェクトっぽくない。 本書「プロになるためのJavaScript入門」はそうした、ある程度のプログラミング知識を持つ人のためのJavaScript入門書としてとてもよく書かれています。以下の一文は、JavaScriptの文法を解説した第2章の冒頭に書かれたものです。 JavaScriptの文法要素は単純に見えて、深く掘り下げていくとまったく違う姿を現すということがよくあります。たとえば、スコープの実体はオブジェクトですし、メソッドは関数です。また、関数は突き詰めるとオブジェクトで、さらにクロージャという側面も持っています。このように、JavaScriptの文法の学習とは「Aだと思った？
グーグルが開発したJavaScript MVCフレームワーク「AngularJS」を紹介した1つ前の記事の反応が予想以上に大きく、1日たたずにブックマークが500以上もつきました。 本記事では、AngularJS以外にもすでにたくさん存在するJavaScript MVCフレームワークに関する情報をまとめて紹介したいと思います。 JavaScript MVCフレームワークの比較記事 既存のJavaScript MVCフレームワークを比較した記事が「The Top 10 Javascript MVC Frameworks Reviewed」です。Top10と書いてありますが、12種類のフレームワークの比較です。これは公開当時は10種類だったものが、その後11種類になり、今回のAngularJSの公開で12種類になったためです。 上記のような比較表を載せた上で、12種類すべての利点と欠点を説明し
先週の水曜日（10月19日）に、アジャイル開発手法のスクラムを学ぶイベント「Scrum Gathering Tokyo 2011」が都内で開催されました。 スクラムを実際に導入した事例として紹介されたのが「Yahoo! JAPANにおけるアジャイル開発、スクラムへの取組み ～組織と現場から～」のセッションで紹介されたヤフー株式会社の例。 組織としてスクラム導入にどう取り組んだかを紹介した前編に続き、後編では現場の取り組みが紹介されました（本記事は「Yahoo! JAPANにおけるアジャイル開発、スクラムへの取組み（前編）」の続きです。 スクラムの導入に現場はどう取り組んだか？ ヤフー株式会社 R&D統括本部フロントエンド開発1本部開発1部開発1 立木貴洋氏。 続いて、スクラムの導入について、現場でどう取り組んだか、という話です。私は2007年入社の5年目です。今回スクラムマスターを初めて担
先週の水曜日（10月19日）に、アジャイル開発手法「スクラム」を学ぶイベント「Scrum Gathering Tokyo 2011」が都内で開催されました。 スクラムを実際に導入した事例として紹介されたのが「Yahoo! JAPANにおけるアジャイル開発、スクラムへの取組み ～組織と現場から～」のセッションで紹介されたヤフー株式会社の例。 同社は2名の担当者が中心となり、社内セミナーなどでスクラムに興味を持ってもらうことで社内の自主的な変化を促す一方、評価制度や内部統制などの制度を調整する担当役も置くことで制度面での変化も後押しするなど、スクラム導入の具体的な手法が紹介されました。 そのセッションの内容を紹介しましょう。 2名で分担してアジャイル開発の推進を開始 ヤフー株式会社 R&D統括本部プラットフォーム開発本部本部長 志立正嗣氏。 組織の立場から見て、どういう風にスクラムを導入してき
仮想化技術の最新動向、デスクトップ仮想化とストレージについて ～ 仮想化エバンジェリストのタカハシ氏に聞く（後編） 最近の仮想化の動向について、仮想化エバンジェリストのタカハシ氏にインタビューをしています。前編では、VMwareが先月リリースしたvSphere 4.1への評価を中心にお話を聞きました。 今回の後編では、最近注目度が高まってきている「デスクトップ仮想化」および仮想化の最新技術動向について聞きました。 クライアント環境の最適解は1つではない ―― 国内では、デスクトップ仮想化の話題も増えはじめていますが、実際に現場でデスクトップ仮想化に対する顧客の反応はどうでしょう。また、製品の成熟度などはどう見ていますか？ 話題が増えているのはおっしゃるとおりです。また製品面でも、たとえばVMwareもVDIからViewになってずいぶん進歩しましたし、シトリックスの製品群は昔から今日に至るま
仮想化技術の最新動向、VMware vSphere 4.1の評価は？ ～ 仮想化エバンジェリストのタカハシ氏に聞く（前編） いまIT業界の中でもっとも動きの速い分野の1つが仮想化です。VMwareやマイクロソフト、シトリックスなどの仮想化ソフトウェアベンダは相次いで新機能を備えた新製品を投入しており、一方でインテル、AMDなどのCPUベンダやサーバベンダは、協力して仮想化に最適化したハードウェアの進化に注力しています。 ストレージ、ネットワークの分野でも、仮想化の進化に合わせた効率の良いストレージ機能、より高速化したネットワーク機能を開発しています。 こうした動向を、Publickeyにこれまで何度か登場していただいた仮想化エバンジェリストのユニアデックス 高橋優亮氏（以下、タカハシ氏）はどう見ているのか、インタビューしました（このインタビューはメールによって行われました）。 今年は仮想化
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
「多くのOLTPデータベースは30年前の設計を基にしており、今日の“Webスケールな”データベースの負荷を想定していない。これら伝統的なデータベースは、処理時間の90％以上がログ、ロック、ラッチ、バッファ制御といったオーバーヘッドに費やされ、しかもそれらによって限られた性能やスケーラビリティしか実現できていない」 Ingresの開発者でありInformixのCTOなどデータベースベンダの要職を歴任したデータベース研究者の大御所、マイケル・ストーンブレイカー氏が開発したVoltDBはプレスリリースでこのように既存のリレーショナルデータベースの欠点を示した上で、インメモリデータベースをベースにこれらのオーバーヘッドを除去し、ACIDによるデータ一貫性を維持しつつ大きな性能向上とスケーラビリティを実現したと説明されています。 SourceForge.jpの記事「「NoSQL」を上回る性能を目指す
SSD専用に設計された「ReThinkDB」、ロックもログも使わない新しいリレーショナルデータベースのアーキテクチャ SSDがHDDに代わるストレージとして普及しようとしていることを背景に、SSDに特化したまったく新しいアーキテクチャを備えたリレーショナルデータベースを開発しようとしている企業があります。「ReThinkDB」です。 昨年7月に、PublickeyではReThinkDBの概要を記事「SSDに最適化したデータベース「RethinkDB」、ロックもログも使わずにトランザクション実現」で伝えました。 その記事の中では、ReThinkDBがロックを使わずにトランザクションを実現し、データベース利用中でもスナップショットがとれ、また異常終了しても容易に復帰できる機能を備えている、といったことを紹介しました。 4月に米サンタクララでに行われた「MySQL Conference & Ex
このところPostgreSQL関連のニュースが次々と発表されており、エンタープライズ向けのデータベースとして着々と成長を続けている様子が伝わってきます。最近の報道をまとめてみました。 Oracle互換のPostgres Plus Advanced Server いちばん大きなニュースは、28日に報道された日本のサイオステクノロジーと米レッドハットが、PostgreSQLの商用版を販売しているEnterpriseDBに出資したというもの。 Red Hatとサイオス，PostgreSQLベースDBMSのEnterpriseDBに出資 - ニュース：ITpro EnterpriseDBが開発しているPostgreSQLベースの製品「Postgres Plus Advanced Server」は、Oracle互換を売りにした企業向けのデータベースサーバです。 同社は昨年IBMからも出資を受けており
オラクルがサン・マイクロシステムズとともにMySQLを買収したことで、MySQLの将来への不透明感が増しています。例えば、NTTドコモ執行役員の西川清二情報システム部長は、先週行われたOracle OpenWorld Tokyo 2009のステージで次のような発言をしています。 同社は，オラクルのデータベース製品のヘビーユーザーだが，サンが持っていたMySQLには期待していたといい，今回のイベントの主催者であるオラクルに配慮しながらも，「第2，第3のライバルの登場を期待したい」と語った。 ドコモの西川・情報システム部長，「企業向けクラウド」「サン買収」を語る：ITpro その西川氏のいう「第2、第3のライバル」の筆頭にあがるのは、同じくオープンソースのリレーショナルデータベースであるPostgreSQLでしょう。いまPostgreSQLはどうなっているのか、最新の動向を追ってみました。 オ
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
リレーショナルデータベースを利用する際には、高い性能を引き出すために物理設計をし、スキーマを工夫し、パラメータのチューニングを行うことがつねに行われてきました。 性能のボトルネックはたいがいHDDにあり、いかにそのボトルネックを回避するかがチューニングのポイントですが、最近では性能向上のための武器として、HDDよりもずっとアクセス性能の高いSSDが注目されています。SSDはHDDと置き換えるだけで、アプリケーションにまったく手を加えずに性能向上を可能にする手段として非常に魅力的です。 HDDの代わりにSSDを利用したら、リレーショナルデータベースの性能はどれだけ向上するのでしょうか？ オラクルと富士通が共同検証を行い、その結果をホワイトペーパーとして先週発表しました（参考「日本オラクルと富士通 フラッシュ技術活用によるデータベース高速化を共同検証」）。 ホワイトペーパーでは、HDDの代わり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
