Enterprise-Grade without the Enterprise Cost MariaDB offers a complete database solution that delivers best-in-class performance, data security, replication, clustering and high availability for production workloads. Get started within minutes with a database platform that provides the peace of mind organizations need to power mission-critical applications at a fraction of the cost of proprietary
Transaction Layer It is based on commit-time transaction certification. It is flexible and supports Multi-Version Concurrency Control (MVCC) and single-versioning. Can be used to provide either serializability or Extended Update Serializability (EUS), depending on the underlying ordering layer. Ordering Layer Consensus protocols are pluggable. Choose between the partial order protocols such as Alv
The open-source high-availability cluster stack The ClusterLabs community provides a collection of free and open-source software projects related to high-availability clustering, including Corosync and Pacemaker. Benefits A high-availability cluster coordinates the start-up, monitoring, and recovery of services across a set of host machines, to minimize downtime while preserving data integrity. Un
MySQL 5.7 has sharding built-in to MySQL. The free and open source MySQL Fabric utility simplifies the management of MySQL clusters of any kind. This includes MySQL Replication setup, monitoring, automatic failover, switchover and so fort for High Availability. Additionally, it offers measures to shard a MySQL database over many an arbitrary number of servers. Intelligent load balancer (updated dr
@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら（PDF）でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張
2. MHA とは MHA とは MySQL のマスタ障害時に最新のス レーブをマスタとして他のスレーブの差分を 補完しマスタの向き先を変えてくれるプロダ クト。 replication の復旧を自動的にしてくれ るもの。 VIP を移動するのは自己責任。 MHA for MySQL は Master High Availability Manager and tools for MySQL の略らしいです。 作者の日本語スライド http://www.slideshare.net/matsunobu/mha-for-mysqlden 3. 検証のきっかけ じつは MHA はきっと使いたいと要望が出 るに違いないと思って、産休直前に松信 さんの英語の .ppt を英語講習の先生とマ ンツーの時間に一緒に訳してた。 そして育休から復帰するのを待ってたか のようにお客様
slaveの負荷分散＆フェイルオーバー(HAProxy)
前回はmysql-proxyによるslaveの負荷分散でしたが、 今回はHAProxyによる負荷分散＆フェイルオーバーを行いたいと思います ・HAProxyとは 一部抜粋 http://dexlab.net/pukiwiki/index.php?Memo%2FLinux%2Fhaproxy L7ロードバランサ。アプリケーション層のHTTPやSMTP等が対象。 対するL4ロードバランサはネットワーク層のTCP/UDP等が対象 メリット DB Slave, memcacheノード追加/変更/削除時にアプリケーション側を変更しなくて良い。常にローカル(127.0.0.1:xxxx)へアクセスすれば良い 負荷分散/フェイルオーバー機能を担保してくれるため、アプリ側で実装しなくて良い 上記ノード変更時にサービス停止の可能性が減る 負荷分散/フェイルオーバー機能を持たないソフトでも利用できる場合がある
MySQL には標準でレプリケーション機能が組み込まれており、下図の様なシステム構成とすることで、データの冗長化と参照処理の負荷分散を容易に実現できます。この構成では更新処理はマスタサーバで行うことになりますが、 参照処理は全てのサーバに分散して行えます。 ここでサーバの1台が何らかの障害で停止した場合を考えましょう。スレーブサーバの1台が停止した場合、マスタサーバや他のスレーブサーバで参照処理を継続できるため、停止したサーバへクライアントが参照クエリを送信しないように変更する必要はありますが、システム全体に大きな影響を与えません。 一方、マスタサーバが停止した場合、更新処理が停滞して業務継続に影響します。そのためマスタサーバは手厚く監視する必要があり、もしマスタサーバが停止した場合には業務を継続するため以下の作業が必要です。 最も最新に近い更新内容が反映されているスレーブサーバを選択し、
今さらですが、Amazon RDSのマルチAZデプロイメントについて調べていました。マルチAZデプロイメントとは、独立した電源、空調、ネットワーク、セキュリティを備えた物理的に異なるロケーションに対して同期レプリケーションを行うことで、データベースの耐障害性を高める機能です。AZはAvailability Zoneの略です。 異なるロケーションに対する同期レプリケーションと聞くと、性能が出ないのではないかという懸念がどうしても出てきます。そこで、どの程度性能が落ちるものなのか検証を行いました。なお、すでに実際のAmazon RDSを利用して検証を行った方がいらっしゃいましたので、今回は手元の環境を利用して、ネットワーク遅延やMySQLパラメータと性能との関連性を確認していきたいと思います。 Amazon RDS MYSQL Performance Benchmarking - Cloud
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちはオークション事業部プラットホーム技術のチャックです。 オークションでは一部サービスに RDBMS の MySQL を使ってサービスをご提供させていただいております。 オークションでは多くのお客様よりアクセスを頂いておりますので、大量の更新、参照の処理速度に優れた MySQL を選択し、お客様にストレスなくサービスをご利用いただけるよう 日々業務に取り組まさせていただいております。 しかし、精密機器には故障がつきもので、サービス運用の観点からは 「機器が故障するのはしかたない、しかしそれをいかに早く復旧させるか」 といったことを念頭に入れております。 実際には、障害が起こってから復旧させるのではなく、障害が発生した場合に
LinuxにはDRBDというものがあります。 DRBDとは何か？ 簡単にいうと、ミラーリングです。ミラーといっても、RAID-1のようにディスクtoディスクではなく、２つの異なるサーバ間のネットワーク越しのミラーリングです。 RAIDの場合は、ディスク故障の耐性は高まりますが、サーバのほかの部分（電源など）が壊れると元も子もありません。DRBDだと、そういった場合の障害にも対応できますね。 DRBDには普通のブロックデバイスとしてアクセスできます。つまり、mkfsしてmountしてフツーのディスクのように使えます。 で、 A quick tour of DRBD - MySQL-dump は、そのDRBDを使って、MySQLのストレージを冗長化するという話。（だと思う。ナナメ読みなので） しかーし、いくつか危険な点があるので、この構成はやらんほうがいいというのが個人的な意見。以下、その理由
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
これまでLifeKeeperのLinux版とWindows版のそれぞれについて、インストールと基本的な設定方法を解説した。今回はLinux版に話を戻し、より応用的なリソースの使い方ついて解説する。 HAクラスタを構成して何らかのアプリケーションを保護する場合に、サービスを提供するための仮想IPアドレスとアプリケーションで使用する共有ファイルシステムを組み合わせて使用することが多い。 LifeKeeperでは仮想IPアドレスを「IPリソース」、共有ファイルシステムを「ファイルシステムリソース」として設定し、アプリケーションリソースとの依存関係を作成することにより、仮想IPアドレスと共有ファイルシステムを組み合わせて使用することができる（注1）。
クラスタ・ソフトは基本的にハードウエア障害への対処策と考えるべきだが，アプリケーションやミドルウエアの死活もさまざまな方法で検出できる。監視スクリプトを作り込んでクラスタ・ソフトと連携させれば，アプリケーションなどの稼働状態を多角的に監視できる。 その半面，「何をアプリケーション障害とみなすかが問題になる」（DeNA茂岩氏）。障害原因が複雑なアプリケーション，ミドルウエアに対して，Standbyへの切り替え条件を詳細に設定しようとすると意外に難しい。切り替え条件に漏れが生じるかもしれないし，アプリケーションなどの想定外の動作により判断を誤るかもしれない。 クラスタ・ソフトが自動的に対処できる障害の範囲は，ハードウエア障害と，アプリケーション障害の一部がボーダーライン上になる。クラスタ・ソフトの守備範囲外の障害に対しては，運用でカバーする必要がある。 プロセス監視を切り替えに利用 図4●クラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon EC2 Technical FAQs : Articles & Tutorials : Amazon Web Services
