Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
たった3秒でInnoDBのデータローディングが快適になるライフハック
MySQLに限った話ではないが、データベース管理システムに大量のデータを投入するのは時間が掛かり大変苦痛を伴う作業である。劇的に効能があるわけではないが、MySQLを利用しているとき、特にInnoDBを使っている場合にはデータの投入を高速化するためにいくつかテクニックがあるので紹介しよう。皆さんの作業時間が短縮され、少しでも早く帰路に着いたりサービスインさせたりという形でお役に立てれば幸いである。ちなみに、タイトルはネタであるのだが、もし本当に3秒で以下の全ての設定を行えた人が居たら教えて頂きたい！ ログファイルサイズの調整データ投入時に限った話ではないが、ログファイルサイズを調整するのは更新性能にとって非常に重要なファクターである。バッファプールのサイズが重要なことに代わりはないが、同じぐらいログファイルのサイズも重要である。InnoDBはログファイルを使い切ってしまうと、バッファプール
グーグルでMySQLエンジニアリングチームを率いたのち、現在はFacebookに在籍しているMark Callaghan氏がブログ「High Availability MySQL」にポストしたエントリが発端になって、MySQL+Memcachedの時代は過ぎたのか？ という議論が巻き起こっています。 元グーグルMySQL担当エンジニアが弱気な発言？ Callaghan氏がポストしたエントリ「Plays well with others」は次のような一文で始まり、MySQLについてややシニカルに書かれているように読めます。 A few years ago MySQL+memcached and PostgreSQL+memcached were the only choices for high-scale applications. That has changed with the ar
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup
スナップショットを使えばとある瞬間のディスクやファイルシステムのデータをいつでも後から参照することができる。しかもスナップショットの作成は一瞬だ。スナップショット機能を活用すれば最強のオンラインバックアップソリューションが出来るだろう。 しかし、スナップショットでバックアップを取るなんて危険な操作じゃないのか？！と不安に思われる方もいらっしゃるかも知れない。MySQL Serverが稼働中にいきなりデータだけをとってくるのだから、そのような疑問を持たれるのは頷ける。しかし仕組みさえ分かればスナップショットによるバックアップは怖くないということが分かるはずだ。そこで、まずはスナップショットによるバックアップの仕組みについて説明する。スナップショットを取る際の要件は次の通りである。 全てのデータを単一のボリュームに置くこと。つまり、一回のスナップショット操作でバックアップが取れることだ。 ディ
私は如何にして高性能ファンレスPCから超小型LinuxマシンにMediawikiを実質数時間の作業で移行したか。
ある日、オフィスに行くとキムラデービーの木村さんに面白いマシンがあると言うので見せて貰った。 マシンと言っても、小さい白い箱からプラグがニュッと出ているだけである。そう、一昔前に話題になったあのSheevaplugである。 Sheevaplugはニュースで見て知って居たが、実物を見るのは初めてだ。とはいっても、実際に稼働しているものを見たわけではなく箱から出したばかりのものを見せて貰っただけである。実物を見た第一印象は、軽い！小さい！の一言だ。この小さな箱でサクサクとUbuntu Linuxが動いてたったの$99（送料別）というから、俺が欲しくなるのは当たり前というものである。Sheevaplugを知らない人のために、簡単にSheevaplugのスペックを紹介しよう。 ARM 1.2GHz CPU 512MB RAM 512MB フラッシュメモリ ギガビットイーサネット SDカードアダプタ
米大統領選でMySQLはどのように使われたのか
日本の衆議院選挙が間近に迫っていますが、昨年米国で行われた大統領選において、オバマ陣営がIT技術を駆使したという話はよく知られています。MySQLももちろん使われていました。今年4月にサンタクララで開催されたMySQL Conference & Expo 2009というイベントでは、最終日のキーノートにおいて、Obama Tech Teamの方々より、大統領選においてMySQLがいかに使われたかという発表が行われました。 本当はカンファレンス終了後にすぐちゃんとしたレポートを書いて公開する予定だったのですが、その週に起こった草なぎ剛逮捕とか、そのほかの出来事にすっかり気を取られて放置していました。Blogを始めた契機にTwitterの中で興味を持っている方がいるかどうか聞いたところ、そこそこの方が興味を示したので、ここで簡単にまとめたメモを公開することにします。 ●チームメンバー 発表者は
データベースの処理は、しばしばシステム全体の性能を大きく左右する。システムのパフォーマンスが悪ければハードウェアリソースの不足を招き、余計な投資が必要になる。逆に適切なチューニングを施せば、ITコストを抑えられるはずだ。MySQLのエキスパートである、サン・マイクロシステムズのエンジニアに、そのポイントを聞いた。 ビジネス環境が激変する昨今、ITへの効率的な投資を模索する動きが続いている。そんな状況の中、オープンソースに注目する企業も少なくないのではないだろうか。だが、ただ価格が安いからという理由だけで導入してもメリットを得られない。的確なメンテナンスを行わなければ、ハードウェアリソースの不足によりさらに投資が必要になることもある。 1日以上かかっていたクエリ処理を1秒に短縮 システムの性能を大きく改善する可能性があるのが、データベースのパフォーマンスチューニングだ。パフォーマンスチューニ
勉強会「MySQL Hackingの手引き」を終えて
昨日は、グリー勉強会にて「MySQLハッキングの手引き」というテーマで発表をしました。資料とデモに使用したソースコードやビルドスクリプト等はこちらに公開しています(サンプルプログラムのコンパイルにはソースからビルドしたMySQL5.1以降が必要)。声をかけてくださったグリーの一井さんや、会場準備など諸手続きを行なってくださったグリーのスタッフの方々、参加された皆さまありがとうございました。 ●参加者数の意外な多さ 無料の勉強会とはいえ、このようなマニアックなテーマで、60名定員のところに150名を超える応募が来たというのは驚きました。相当数の方が抽選落ちしてしまったのは残念でしたが、評判が良ければ似たようなテーマでのセミナーをまたどこかで行ないたいと考えています。 自分はMySQLのコンサルティングという、MySQLの使い手としての専門職(パフォーマンスチューニングとか運用管理とか)に従事
tmaesakaさんがやってくれました。 ずいぶん前からSQLのベンチマークを測定するのに使いやすいプログラムないかなーと思ってました。個人的にはmysqlslapというのを使ってたのですが、幾らか気に入らない所があったりコマンドラインオプションが複雑で毎回 --help を読んだりしていました。余計な機能なんかなくて、指定したSQLを高速にくりかえしてくれる物が欲しいなぁって思ってたんです。 とあるIRCでこの前、tmaesakaさんから「いま作ってる」という話を聞いて、いろいろ要望を言ってたんですが、ついさっきチュートリアルが公開されました。速いw 名前はskyload。とても小さく、実装コードだと800行程度です。しかもオプションが少ないので使い方が単純です。試しに適当な INSERT の速度を測ってみました。 $ skyload --server=localhost --mysql
MySQLでいちいちshow tables;とか打つのがだるい。\tみたいなalias設定できないのかなぁ http://twitter.com/weboo/status/1658300902 おぉ、readlineのマクロを使えばいいのかー http://twitter.com/weboo/status/1658314333 なるほ！ってことでちょっと設定してみました。 # ~/.inputrc $if mysql "\C-xd": "show databases;" "\C-xt": "show tables;" "\C-xu": "select user,host,password from mysql.user order by user,host;" "\C-xb": "select user,host,db from mysql.db order by user,host;"
ALTER TABLEを上手に使いこなそう。
テーブル定義を変更したい。インデックスが壊れてしまったので再作成したい。そんな場合はALTER TABLEを使う。ALTER TABLEはテーブル定義を変更するお馴染みのコマンドであるが、その挙動は意外と知られていない。（エキスパートとおぼしき方々からも度々質問を受ける。）そんなわけで、今日はALTER TABLEについて解説しようと思う。 まず結論から言うと、なんとMySQLのALTER TABLEはテーブルのデータを全てコピーし直すのである。なんて無駄なことを！？と思うかも知れないが、テーブル定義（スキーマ）の変更を動的に行うには、ストレージエンジンによるサポートが必要であり、動的なスキーマ変更をサポートしているストレージエンジンはまだ少ないのである。（動的スキーマ変更をサポートしているのはMySQL Clusterぐらいだ。しかも追加だけ。）デフォルトで利用出来るMyISAMはInn
OracleによるSunの買収は、とりわけオープンソースコミュニティーにとって悲しい出来事だ。Oracleがうるさい競合製品のMySQLを生かし続ける理由はない。 OracleはSun Microsystemsを殺そうとしている。 両社は4月20日朝、74億ドルの取引を発表した。両社を除くIT業界全体にとって、これは悲しむべき出来事である。喪服を着て、哀悼の意を表そうではないか。シリコンバレーで最も優秀な企業の1社が消えたのだ。シリコンバレーが1本の木だとすれば、Sunはその太い根の1本である。Sunの共同創業者のスコット・マクニーリー氏は、同氏を見習った多くのシリコンバレーの起業家と同じくスタンフォード大学出身である。マクニーリー氏をはじめとするスタンフォード大出身の起業家たちは、シリコンバレーの新興企業にインテリジェンスとスタイルを持ち込んだ。1990年代から2000年代初頭にかけて、
既報の通り、米Oracleは4月20日(現地時間)に米Sun Microsystemsの買収を発表した。取引は1株あたり9.50ドルをキャッシュで支払い、発行株数に対する総額は約74億ドル、Sunの手持ちキャッシュや債券を差し引いた金額は56億ドルとなる。発表同日早朝に両社は記者会見を開催し、買収に至った経緯や市場背景について説明を行った。 ソフトからハードまで、すべてを提供できる総合ベンダに DBからミドルウェア、アプリケーションまで、企業向けソフトウェア全般を手がけるOracleに対し、サーバなどのハードウェアやミドルウェアを手がけるSunを買収するメリットは明らかだ。それについては米Oracle CEOのLarry Ellison氏がまとめて説明している。 「なぜSunなのか? これまでのOracleの買収戦略を紐解けば、PeopleSoft(JD Edwards)はNo.1 HRM
2009年4月20日（現地時間），米Oracleが米Sun Microsystemsを買収することで両社が合意した（関連記事）。買収により，データベース専用機という形でハードウエアに進出（関連記事）していたOracleはSunのサーバーとストレージ，約4万7000社というユーザーベースを手にする。 さらに，OracleはSunの持つGlassFishなどのミドルウエア群も手にすることになる。中でも注目されているのが，2008年にSunが買収したMySQLである（関連記事）。データベース最大手のOracleにとって，オープンソースのMySQLは事実上最大の競合製品であるからだ。 Oracleは2006年にMySQLの買収に失敗 Oracleは3年前の2006年にMySQLの買収を試みて失敗している（関連記事）。米メディアの報道によればMySQLはOracleの買収提案を拒否。OracleはM
米Oracleは4月20日、米Sun Microsystemsを約74億ドルで買収することについて、Sunと合意したと発表した。Sun株主の合意などを経て、正式に決定する。 Sun株式を、1株当たり9.5ドルで買収。「最高のエンタープライズソフトウェアとミッションクリティカルなコンピューティングシステムが融合する」とし、顧客側の作業負担なしで両社のシステムを統合するとしている。 Oracleの企業サイトトップページには、「Oracle Buys Sun」と、Sunのサイトには「ORACLE TO BUY SUN」書かれた大きなバナーが掲載されている。 Sunをめぐっては、米IBMや米Hewlett-Packard（HP）も買収提案したと報じられていた。HPとOracleでSunを2分割する案もあったとされる。
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Oracleは4月20日（米国時間）、Sun Microsystemsを買収することで最終合意に達したことを発表した。1株あたり9.50ドルでの買収交渉に入っており、買収の総額はSunの負債などを含めると約74億ドル、実質は56億ドル程度になる見込みと発表している。 今回の発表により、Oracleのウェブサイトが繋がりにくくなっているが、声明はYahoo! Financeの「Oracle to Buy Sun」でも読むことができる。 この買収が成立するならば、Oracleは本格的にハードウェア分野に踏み込むことになるだろう。詳細は追って掲載する。
米Sun Microsystemsの開発者は4月14日、自社ブログで「MySQL」バックアップツールのプロトタイプ「MySQL Time Machine」を開発中であることを発表した。4月20日から4日間、米カリフォルニア州で開催される「MySQL Conference ＆ Expo」にて、同プロトタイプのデモを披露するという。 MySQL Time Machineは、米Appleが「Mac OS X」で搭載している自動バックアップ機能「Time Machine」に似たバックアップ・複製機能。容易かつ簡単に利用できる完全な自動バックアップソリューションを目指すという。 複製、任意の時点に復旧するPoint-in-Timeリカバリ、バックアップと復旧などの機能を持ち、Webベースの管理ツールを備える。一定間隔でのデータバックアップや日時を指定してのデータ復旧が可能という。 現在、すでにMyS
バイナリvsテキストに関するオトコの見解
バイナリーとテキストの本当の違い、それは「終わり」にある。 ・「終わり」がはじめにわかるのが、バイナリー。 ・「終わり」が来るまで「終わらない」のが、テキスト。 本質的な違いは、これだけである。 果たしてそうだろうか。 例えばテキストデータとバイナリデータを用いて、データをファイルに記録する場合を考えよう。バイナリデータは予め構造が決まっているのに対して、テキストデータは任意の順番でデータが並んでいる可能性がある。つまり、テキストデータにはコンテキストが存在するのである。 バイナリデータがどのような構造になっているかは、プログラムだけが知っているという場合が多い。もしくは仕様書に書いてあるとか。バイナリデータそのものはデータの構造について、情報を持っていないのである。典型的なバイナリデータとして思い浮かぶのは、IPパケットのヘッダとかSCSIコマンドとか画像ファイルとか動画ファイルとか。こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
