失敗知識データベースは、科学技術分野の事故や失敗の事例を分析し、得られる教訓とともにデータベース化したもので、科学技術振興機構(JST)が無料で提供しています。
来月に同じデータベーススペシャリストを受験する者です。 現在は、午前分野を半分以上くらいは理解できてきたので、 午後のＩ・ＩＩについて演習しているところです。 質問のことですが、役立ちそうなサイトが少しあります。 (データベーススペシャリストの勉強に役立ちそうなサイトの記事と 私が学習方法として参考にしているサイトです) ですが、個人的からいえば、インターネット・ＷＥＢで学習するよりも参考書・テキストの書籍を購入し、それに実際ペンでノートなど書き込んで覚えるほうが確実だと思います。(もちろん、私はその方法で忘れにくいためやっています) 参考に、データベースのためにお勧めする私としては、 アイテックの「専門知識＋午後問題」の重点対策ですね。 そのほか、日本経済新聞社のデータベーススペシャリスト・完全教本という最新の二つです。 参考URL：http://blog.livedoor.jp/spi
DB設計の神ツール「ERMaster」なら、ここまでできる：ユカイ、ツーカイ、カイハツ環境！（11）（1/3 ページ） 無料のEclipseプラグイン「ERMaster」とは データベースのテーブル設計を行うときに皆さんは、どのようにしているでしょうか？ いくつかの無料で利用できるツールが提供されているので、筆者はそれらを利用していましたが、最近「ERMaster」と呼ばれるEclipseプラグインの存在を知りました。 ERMasterは、ほかのツールに比べ、直感的で分かりやすいUI（ユーザーインターフェイス）に、カスタマイズ可能な、Excelで出力できるテーブル定義書、辞書機能など痒いところに手が届くERモデリングのツールです。本稿では、このERMasterについてご紹介します。 ERMasterの主な特徴、8つ ERMasterには、主に次のような特徴があります。 【1】直感的で使いや
首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は Software Design 誌 2010年 2月号に掲載された以下の記事の元原稿です。 Software Design 誌編集部の了承の元に、本ウェブページに掲載しております。 首藤一幸: "key-valueストアの基礎知識", Software Design 2010年 2月号, p.14-21, (株)技術評論社, 2010年 1月 18日 クラウド、特にPaaS向けのソフトウェア開発が現実のものとなり、 そこではリレーショナルデータベースとは違ったデータベースが 勢いを増しています。 その代表であるkey-valueストアを解説します。 もくじ key-valueストアとは なぜkey-valueストアか key-valueストアの使いどころ key-valueストアとNoSQLの
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
DataMapper って結構いいのかもしれない．．．と思い，目下勉強中． 以下，超意訳です．あしからず． 原文: http://datamapper.org/doku.php?id=getting_started_with_datamapper はじめに，もしヘルプが必要だと思った場合，Mailing List と IRC を通したアクティブなコミュニティのサポートがある． さて想像してみよう． 私たちは，ブログアプリのためのモデルを用意している最中だ． 私たちはそれを，いい感じでシンプルにしておきたい． 最初に決めることは，私たちがモデルに何を求めているか？ということだ． Post は与えられている．Comment もだ．But let's mix it up and do Category too. (←？) Install DataMapper もしあなたが RubyGems をイ
サーバーサイドの分散ストレージについて。広域P2Pとかデータセンター間で同期するとかCDN云々は知らない。 kumofsのアプリケーション-Gateway間のインタフェースは Get(key) だが、Gateway-Server間のインタフェースは実は GetByHash(key, partitioning-id)（とGetByHashIfModified(key, partitioning-id, time)）だったりする。（実際の名前は違うけど意味は同じ） 現状ではpartition-idはkeyにハッシュ関数を掛けて自動生成するが、実際には任意の値を指定できる。 つまり関連するkeyには同じpartitioning-idを指定して同じノードに保存されるようにして、partitioning-idが同じkey同士ならトランザクションできるようにすることも、案外に容易にできる。 Consi
InteropTokyo 2009 クラウドコンピューティングコンペティション（通称クラウドコン）は、我等がえとらぼチームが優勝しました！ 実行委員･StarBEDプロジェクト･IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー（マウスクリック/矢印キーで進む） PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります（えとらぼチームはちょっと細切れですが） 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時
例の冷却ファンを修理してもらいに秋葉原に行ったのですが、最近の同人ゲームのクオリティはすごいなあと感心していたら、その二階はもっととんでもないことになってて、ひとつ大人になってしまったmikioです。今回は、Tokyo Cabinetのテンプレート直列化機能を駆使して、たった100行のCプログラムでWebチャットシステムを実装してみます。 古式ゆかしいWebチャットシステム 10年くらい前にCGIスクリプトでチャットシステムを作るのが流行していたのを覚えている方も多いと思います。チャットログは現在のようにデータベースサーバに転送して格納するのではなく、ローカルファイルシステム上のファイルにCSVやTSVなどのフォーマットで格納したり、同じくローカルのDBMファイルに格納するのが主流でした。２ちゃんねるの「datファイル」もそのようなデータファイルの一種と言えるでしょう。 その頃から、CGI
40代、50代の人たちはなぜ表現しないのかhttp://d.hatena.ne.jp/hyoshiok/20090517#p1 には多数のアクセスをいただいた。日記を書いたおかげで多くの人から様々なコメントやトラックバックをいただいた。これもインターネットの可能性、ポジティブな側面だ。ありがたいことである。御礼を申し上げたい。 反応は大きくわけて二つ。A：40代、50代は表現していいる。お前が知らないだけだ。B:40代、50代は表現していない。 Aのパターンは、嬉しいサプライズである。いろいろな人から、こーゆー面白いブログがあるよとか、こーゆー表現があるよという情報を頂いた。トラックバックもいろいろ拝見した。コメント欄に自分は40代、50代と多くの人が名乗ってくれたのは本当に嬉しかった。 IT産業にいるとどもせっかちでいけない。書いているおじさんもいる*1。漫画で教えてもらった。書いている
今回つくったActionScript3用「KeyValueStore」は 30万件のデータからのサーチでも、結果を約0ミリ秒でとってくることができます。 オブジェクト（DisplayObjectとかなんでも）をキーにして値を管理 「ある値からある値の間のオブジェクト」とか「ある値のオブジェクト」などの参照系処理が高速にできる 更新系処理もそこそこ高速 一度に１万件くらいの挿入であれば結構一瞬 データ件数が多くなってもパフォーマンスがほとんど落ちない のような特徴があります。 テスト結果 テストしたのは、 データ件数 300000件 値 0〜30000のランダムな値 を登録した状態でのテストです。 挿入に関しては30万件挿入だとさすがに、かなり時間がかかってしまうので、 実際に大量にデータ挿入を行う時は、5000〜10000件程度づつ分割して挿入していくと良いと思います。 値が20〜30の間
最近 クラウド という単語が流行していますが、「大規模な計算資源を低コストで提供してくれるトコロがあるらしいので、自前で持っていた計算資源を委託しちゃえば運用する手間も知識も要らないし、そもそもサーバーを買う費用を省けちゃうから嬉しい」という発想に基づいているらしく、しかし技術的には 大規模な計算資源を低コストで構築する技術 がポイントでしょう。 大規模な計算資源をどうやって安く構築するか。 従来は、システムの能力を高めるためには、高性能・高機能（それゆえ高価な）マシンを導入するというスケールアップの手法が採られていたのだが、この手法では10倍に性能を上げるために、たとえば30倍のコストがかかるかもしれない。スケールアップと比べてスケールアウトでは、導入したコストにほぼ比例して、パフォーマンスの向上が見込める。 『UNIX magazine 2009年4月号』 p.31 *1 何百万円もす
HowFriendFeedUsesMySqlToStoreSchemaLessData - FriendFeed では MySQL を使いどのようにスキーマレスのデータを保存しているのか 目次 この記事について FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか 背景 概観 詳細 一貫性と原子性 性能 FriendFeed? では MySQL を使いどのようにスキーマレスのデータを保存しているのか この記事について "How FriendFeed? uses MySQL to store schema-less data" の日本語訳です http://bret.appspot.com/entry/how-friendfeed-uses-mysql CC 2.5 でライセンスされています: http://creativecommons.org/
データベース技術の世界に新顔が次々と登場している。米Danga Interactiveの「memcached」、ミクシィの「Tokyo Cabinet」と「Tokyo Tyrant」、楽天の「ROMA」、グリーの「Flare」などだ。いずれも半導体メモリーを使って大規模データベースを高速処理する技術である。面白いのは、4社ともIT製品を開発するメーカーではないことだ。 4社は、Webを使ったサービス事業を手掛ける企業であり、本来であればメーカーが開発した製品や技術を使う立場である。ところが、こうした「ユーザー企業」が自ら基盤技術を開発し、それを利用している。 memcachedやTokyo Cabinet/Tyrant、ROMA、Flareの中では、memcachedが一番古い。Danga Interactiveが自社のブログ・サービス「LiveJournal」を改善するために2003年に
Leo's Chronicle: ぜひ押さえておきたいデータベースの教科書
先日のエントリで少し話したのですが、僕が在学していたときの東大にはデータベースを学ぶためのコースというものがありませんでした（DB関係の授業は年に１つか２つある程度。現在はどうなんだろう？）。そんなときに役だったのは、やはり教科書。読みやすいものから順に紹介していきます。（とはいってもすべて英語の本です。あしからず） 一番のお薦めは、Raghu Ramakrishnan先生 (現在は、Yahoo! Research) の「Database Management Systems (3rd Edition)」。初学者から研究者まで幅広く使えます。データベース管理システム（DBMS）の基本概念から、問い合わせ最適化、トランザクション管理など、これらを実装・評価するために必要な、「DBの世界での常識」が、丁寧な語り口でふんだんに盛り込まれています。この1冊を読んでおけば、DBの世界で議論するための
1. ロックフリーGCLOCKページ置換 アルゴリズム 油井誠，宮崎純，植村俊亮，加藤博一 奈良先端科学技術大学院大学 D3 日本学術振興会特別研究員 DC2 WebDB forum 2008 2. 研究背景 CPUが同時実行できるスレッド数が増加 e.g., - Niagara T2 – 8 cores x 8 SMT = 64 processors - Azul Vega2 – 48 cores x 16 chips = 768 processors データベースのCPUスケーラビリティの問題が顕著化 代表的なオープンソースRDBMSのCPUスケーラビリティの上限 [1][2] Berkely DB – 4スレッド MySQL 5.0.30以降 – 8スレッド PostgreSQL 8.2以降 – 16スレッド [1] Ryan Johnson, Ippokratis Pand
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data Platform - Amazon EMR - AWS
