タグ

データベースに関するono_matopeのブックマーク (17)

  • MDBM - High-speed database

    [Performance Comparison] NOTES: These are single-process, single-thread timings. LevelDB does not support multi-process usage, and many features must be lock-protected externally. MDBM iteration (sequential read) is un-ordered. Minimal tuning was performed on all of the candidates. How does MDBM achieve this performance? There are two important components. “Memory Mapping” - It leverages the kerne

    MDBM - High-speed database
  • Some key value stores using log-structure

    ono_matope
    ono_matope 2014/01/08
    Log Structure
  • Facebook、GoogleのLevelDBを採用したキーバリュー型ストア「RocksDB」公開。マルチコアと高速ストレージに最適化

    最新のサーバが備えるマルチコアと高速なフラッシュストレージの性能を活かすべく最適化したキーバリューストア「RocksDB」をFacebookがオープンソースとして公開しました。 RocksDBGoogleが開発したNoSQL軽量ライブラリ「LevelDB」を採用。以下の4つのビジョンを掲げています。 Scales to run on servers with many CPU cores. Uses fast storage efficiently. Is flexible to allow for innovation. Supports IO-bound, in-memory, and write-once workloads. サーバに搭載されているマルチプロセッサのメニーコアを活用し、フラッシュストレージのような高速ストレージに最適化。プラガブルアーキテクチャでつねに最新のテクノ

    Facebook、GoogleのLevelDBを採用したキーバリュー型ストア「RocksDB」公開。マルチコアと高速ストレージに最適化
  • InfluxDB & LevelDB Inside-out

    Monitoring Casual Talks in Kyoto #5 http://www.zusaar.com/event/1377006

    InfluxDB & LevelDB Inside-out
    ono_matope
    ono_matope 2013/11/30
    LSM-TreeからSkipListあたりの流れがよかった
  • データベースのスケーラビリティをどうやって向上させるか

    これまでPublickeyではデータベースのスケーラビリティに関するさまざまなトピックを取り上げてきました。クラウド時代にはスケーラブルなデータベースのニーズがこれまでになく高まっているためです。 この記事では、これまで取り上げてきたデータベースのスケーラビリティに関する技術を少しまとめて紹介しようと思います。 従来のリレーショナルを拡張 従来のリレーショナルデータベースに対して、技術的工夫を凝らすことでスケーラブルなデータベースを実現しようというアプローチにも、さまざまなものがあります。 データベース研究者の大御所、マイケル・ストーンブレイカー氏は、リレーショナルデータベースは決して遅くないと主張。リレーショナルデータベースが遅い原因はロック、ラッチ、リソース管理にあるとして、それらを極力排除した「VoltDB」を開発しています。 NoSQLを上回る性能のVoltDB、そのアーキテクチャ

    データベースのスケーラビリティをどうやって向上させるか
  • What are the major differences between LSM trees (used in BigTable etc.) and Fractal Trees (used in TokuDB)

    Answer (1 of 2): Fair warning: there's a lot wrong in this answer. One of these days, I'll clean it up. In the meantime, I've written a bit about fractal trees and LSM trees on our company blog, search for "write optimization: myths, comparisons, clarifications". LSM trees typically use a fixe...

    What are the major differences between LSM trees (used in BigTable etc.) and Fractal Trees (used in TokuDB)
    ono_matope
    ono_matope 2012/07/15
    あとで読む
  • SingleStore Documentation · SingleStore Documentation

    SingleStore is a distributed, relational database that handles both transactions and real-time analytics at scale. Querying is done through standard SQL drivers and syntax, leveraging a broad ecosystem of drivers and applications. Read the links below to get familiar with SingleStore: How SingleStore Works Get a concise overview of SingleStore, including its architecture, and the features that all

    ono_matope
    ono_matope 2012/06/20
    あとで読む
  • データベースパフォーマンスに関する、僕が知りうる限り最高の教科書 - レベルエンター山本大のブログ

    データベースの醍醐味は、パフォーマンスチューニングにあります。 チューニングによっては、同じ処理でも1時間掛かる場合もあれば、 1秒で終わるということもあり得る世界です。 僕はDBの魅力に取り付かれた者の一人です。 DBという技術の奥深さが気に入っています。 DBを極めると、どこの現場に行っても絶対に必要とされます。 また、どこの現場に行っても正解を導く方程式は一緒なので応用が利くのです。 しかし、その基原理を体系的に学べる手段はあまりありません。 OracleMasterやMCDBAといった資格試験でも学べることは限られていて あとはWebで調べるなりマニュアルを読むなりするしかありませんでした。 とくに肝であるパフォーマンスチューニングについては、 経験則でチューニングしている部分も多いです。 OracleSQLServer、MySQLと色々なDBのチューニングをしてきましたが、

    データベースパフォーマンスに関する、僕が知りうる限り最高の教科書 - レベルエンター山本大のブログ
  • Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」

    Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO

    Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
  • Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show

    最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基一つのDBを見るのでスケーラビリティの問題になる (確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ) ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o

  • [ThinkIT] 第2回:最小限の労力で最大限の効果を得る技 (1/2)

    前回はテーブルに使用するフィールドの説明をしましたので、今回はビューとトリガーの詳細な説明をします。 ビューを使うとSELECTクエリを格納できます。同じクエリを何度も使う場合はビューを活用することを考えるとよいでしょう。今回の場合、リンクを簡単に管理するために、アルファベット順に並べ、各アルファベット文字ごとにハイパーリンクを作成することにします。 そのために、リスト2の通りalphabetビューを作成します。こうすることで、図1のように各行にリンクを表示できるようになります。 同じSQL文を繰り返すのではなく、単に"SELECT * FROM alphabet"とFROM句でビューを指定することで、ビューで作成したデータを取り出すことができます。 また、リスト2にはspecific_linkビューのコードも掲載しています。これはトリガーを使うことで、更新ができるようにしたビューです。

    ono_matope
    ono_matope 2007/04/10
    ビューとトリガーについて。理解した。
  • .lain - News for Anime & Manga Geeks

    フォーラム 暇人集合★ (164) @ 早乙女武流 2024年11月24日 ストレス解消スレ (151) @ 早乙女武流 2024年11月18日 サッカーなスレ (91) @ 早乙女武流 2024年11月18日 最近のニュース (215) @ 早乙女武流 2024年11月18日 訃報 (42) @ どら 2024年10月24日 阪神タイガースファン専用スレ (10) @ 早乙女武流 2024年09月26日 青春ラジメニア (19) @ 早乙女武流 2024年09月23日 ボキャブラゲーム (22) @ 早乙女武流 2024年09月12日 色んなスポーツを語ろー (28) @ 早乙女武流 2024年08月12日 もしも百万円あったら何に使う? (40) @ 早乙女武流 2024年08月12日 ニュース 佳村はるか、諏訪彩花の新番組『ラジオ・ガラパゴス』 エフエムさがみにて2/9(日)21:0

  • インデックスの基礎知識

    ■ インデックスとは データベースの世界で、インデックス(索引)とはテーブルに格納されているデータを 高速に取り出す為の仕組みを意味します。 インデックスを適切に使用することによってSQL文の応答時間が劇的に改善 される可能性があります。 インデックスにはB-Treeインデックスをはじめ、ビットマップインデックス、 関数インデックスなどの種類がありますが、ここでは最も一般的に使われ、かつ ほとんどのDBMSでサポートされているB-Treeインデックスについて解説します。 ※ CREATE INDEX文でオプションを指定しない場合は通常B-Treeインデックスが 作成されます。 ■ B-Treeインデックスのしくみ B-Tree(Balanced Tree)インデックスは次のようなツリー状の構造になっています。 ツリーの先頭はヘッダブロックと呼ばれています。ヘッダブロックでは、キー値の 範囲

  • MT 3.31 SQLiteがベラボーに遅い件について。 - Ogawa::Memoranda

    「Movable Type 3.31にアップグレードして遅くなった」という理由でこれからMySQLからSQLiteに移行しようとしている方は少し思いとどまってください。この記事では現時点でSQLiteに移行すべきでないことを理由付ける技術的な説明とその問題の解決が書いてあります。よく内容が理解できない場合には安易にここに書かれた方法を試すことよりはMySQLでの運用をひとまず継続することを薦めます。次のマイナーバージョンアップでの抜的な対策を待った上でSQLiteに移行する方が賢明です。すでにSQLiteを使っている場合にはこの記事が参考になると思います。 例によって、少し追いかけてみると、lib/MT/Template/ContextHandlers.pmの_hdlr_tagsや_hdlr_entry_tagsの以下の部分がベラボーに遅い(念のため、MT 3.31のMTEntryTag

    ono_matope
    ono_matope 2006/12/07
    自分はMT関係ないけど、count(*)遅いなーと思ってた。count(*)じゃなくて、内部結合が悪いらしい。外部結合にすれば高速化?
  • PDOでサクサクDB開発:CodeZine

    はじめに PHP界隈では現在、PHP 4からPHP 5への移行が進んできており、ここ最近ではPHP 5の機能を活用したフレームワークも多く出てくるようになりました。 PHP 5は、PHP 4に比べオブジェクト指向のサポートや速度面での向上などが取り上げられる中、最も注目すべき点であるデータベースへのアクセスを抽象化したレイヤーとしてPDOが登場しました。 今回はそのPDOに注目し、サンプルを交えてPDOの使い方を紹介します。対象読者PHP 5を使ったことがある方以前PEAR::DBなどを用いてデータベースを使ったアプリケーションを作成したことのある方 必要な環境 PDOはPHP 5.1から標準で導入されるようになりました。Windows/UNIXを問わず利用することができます。よってPHP 5.1の環境と、PDOの動作に必要なデータベースの構築を行ってください。PDOとは PDO(PHP

    ono_matope
    ono_matope 2006/12/04
    PEAR::DB代替技術?
  • sqlite: SQLite データベースと会話するプログラム

    sqlite: SQLite データベースを管理するプログラム (This page was last modified on 2003/06/29 16:11:13 UTC) SQLite ライブラリには sqlite というシンプルなコマンドライン ユーティリティが含まれます。これを使うと、ユーザは手作業で SQLite データベースに接続して SQL コマンドを実行できます。この文書では sqlite の使い方に関する概略を紹介しています。 起動する sqlite を起動するには単に "sqlite" とタイプし、その後ろに SQLite データベースを保持するファイル名を付けます。ファイルが存在 しない場合は、自動的に新しく作られます。起動後 sqlite プログラムは、SQL をタイプするためのプロンプトを表示します。 SQL ステートメント(終了はセミコロン)をタイプし、 "E

    ono_matope
    ono_matope 2006/10/25
    チュートリアル
  • SQLite - Wikipedia

    SQLite(エスキューライト[2][3]、エスキューエライト[4][5]、なお、作者のHippはエスキューエルアイト(/ˌɛsˌkjuːˌɛlˈaɪt/[6][7][8])と発音している)は、パブリックドメインの軽量な関係データベース管理システム (RDBMS) である。 サーバとしてではなくアプリケーションに組み込んで利用されるデータベースである[9]。 一般的なRDBMSと違い、APIは単純にライブラリを呼び出すだけであり、データの保存に単一のファイルのみを使用することが特徴である。バージョン3.3.8からは全文検索のFTS1モジュールがサポートされた。その後 FTS2 - FTS3 と強化を続けバージョン3.7.4からはFTS4モジュールがサポートされている。 SQL92の機能の多くを実装 著作権を放棄しパブリックドメインに帰している サーバではなくライブラリ ライブラリは数百KB

    SQLite - Wikipedia
    ono_matope
    ono_matope 2006/10/06
    さくらのスタンダードでSQLiteが使えると知って喜び勇む。『ファイルを使わない、揮発性のインメモリ・データベースとしても利用可能』お手軽!
  • 1