グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
This site, wiki.lustre.org, is the main community repository for Lustre information. Consult the sidebar for links to major Lustre topics. Learn more about Lustre at http://www.lustre.org. Lustre Software Releases Downloads Lustre Lustre-aware e2fsprogs Current LTS Maintenance Release Lustre 2.15.6 Released Dec 1, 2024 Changelog Current Major Release Lustre 2.16.1 Released Nov 15, 2024 Changelog M
VirtualBox is a powerful x86 and AMD64/Intel64 virtualization product for enterprise as well as home use. VirtualBoxチームは18日(ドイツ時間)、VirtualBoxの最新版となるVirtualBox 3.2を公開した。正式名はOracle VM VirtualBox。OracleがSun Microsystemsを買収してから初のVirtualBoxメジャーリリースとなり、Oracle仮想プロダクトのひとつとしての位置づけを確かなものにした。VirtualBox 3.2の新機能は次のとおり。 CPUホットプラグ機能の導入 コントローラにLsiLogic SASを追加 実験的にMac OS Xゲストを追加 仮想マシン実行時にスナップショットを削除する機能を実現 ネストページン
企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindows、Mac OSX向けが用意されている。クライアントはインストールするだけで良いの
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
ストレージの技術トレンドの1つとして「スケールアウト型ストレージ」に注目しています。ちょうど先週、東京ビッグサイトで「データストレージEXPO」が開催されたので、そこで展示されていたスケールアウト型ストレージをいくつか紹介しましょう。 スケールアウト型ストレージとは？ そもそもスケールアウト型ストレージとは、ストレージを継ぎ足していくことによって柔軟に容量を増やしていけるストレージのことです。 一般にこれまでのストレージは、例えば1台の容量が100GBのストレージを利用していて容量が不足になった場合、もう1台のストレージを新たに追加したとしてもあくまでもそれは100GBのストレージが2台あるということです。1台で200GBのストレージと比べると、データを保存する際にどちらのストレージに保存するかのルール決めが必要だったり、バックアップの手間が2倍になり、またストレージをぎりぎりまで使い切る
ユニティは11日、QNAP製の高信頼NASの新モデルとして、新世代のIntel Atomプロセッサを採用する2Uラックマウントタイプの高信頼8ベイNASキット「TS-859U-RP Turbo NAS」を発表した。iSCSI機能を備え、VMware vSphere4(ESX 4.0)との互換認証も特徴。価格はオープン。 「TS-859U-RP Turbo NAS」 主な仕様は、8基のホットスワップ対応ベイを備え、それぞれ2.5/3.5型 SATA HDDを搭載できる。CPUはデュアルコアのIntel Atom D510(1.66GHz)、メモリは1GB DDR2。512MBのDOMフラッシュメモリを内蔵。インタフェースはGigabitEthernet×2、USB 2.0×4、eSATA×2など。消費電力(500GB HDD×8基搭載の場合)はスリープモード時46W、動作時73W、パワーオフ
無料で使えるMac OS X用の iSCSIイニシエータ "globalSAN iSCSI"が登場！ 「時間制限も機能制限もしていません。どうぞMacOS Xで iSCSIのアドバンテージを得てください 」とのこと。すごくいい会社だ！ iSCSIのことをちょっと説明すると、要するに SCSIのネット版。iSCSIでは、ストレージを利用する側を「イニシエータ」ストレージを提供する側を「ターゲット」と呼ぶ。パソコンがイニシエータで外付けHDDがターゲットね。 これはいわゆる SAN(Storage Area Network)を普通のLAN機器で実現する技術で、ファイバチャネルの貧乏人バージョンといったところ。とはいえ、ギガビットイーサネットの帯域は FireWire800を超えるわけで、ストレージを接続するインフラとしてはそれなりに強力なのだ。 Windows Vistaには標準でiSCS
http://www.suzukikenichi.com と http://www.suzukikenichi.com/ URLの終りに「/」(スラッシュ)を付けた方がいいのか、付けない方がいいのか、付いたときと付かないときでは何か違いがあるのか。 誰もが1度は疑問に思ったことがあるはずです。 URLの末尾に付ける「/」のことを「トレイリングスラッシュ(trailing slash)」と技術的に呼びます。 トレイリングスラッシュのあり・なしについて、ウェブマスター向け公式ブログでGoogleが説明しました。 補足を交えながら要点をまとめて解説します。 まず、トレイリングスラッシュのあり・なしによるウェブサーバーの一般的な振る舞いの違いです。 http://example.com/foo/ （トレイリングスラッシュあり） http://example.com/foo （トレイリングスラッシュ
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
日本ヒューレット・パッカードは2010年4月5日、自律分散型のiSCSI SANストレージ「HP StorageWorks P4000 G2 SAN ソリューション」（写真1）を発売した。P4000 G2は、複数のきょう体にデータを自動的に分散配置するスケールアウト型の仮想化ストレージ。これまでのデータを2重化して分散保存する方式に加えて、データの修復情報（パリティ）を利用するRAID 5/6による冗長化に新たに対応することで、容量効率を高めた。 P4000 G2は、米Hewlett-Packardが2008年に買収した米LeftHand Networks（関連記事）の技術を使った分散ストレージ「HP LeftHand P4000 SAN ソリューション」の後継機。2台以上のノードでデータを冗長化し、ノードを追加すると無停止で自動的にデータを再配置するスケールアウト型のiSCSIストレージ
現在、irc2.2ch.netはネットワークから切断された状態。要するに2ch攻撃のワリを食っているわけなんだけど。 嫌韓する奴は馬鹿だと思うんだけど、今回は「坊主憎けりゃ」でまるっと嫌いになりそうだぞ。まぁ、厨房はどこでも厨房だってだけなんだろうけどさ。 当初は、「なんか回線が重いなぁ」くらいだった。そのうち、webのアクセスが急増したんで、まずはfile-maxなんぞを増やしたわけだ。 それでしばらく持ってたんだけど、それでもパンク状態になったので、「F5攻撃を検出して発信元をdropする」スクリプトを発動した。これは、前に竹島のなんだかで(詳細忘れた)攻撃された時に作ったもの。5年とか前じゃないかな。 そうしてしのいでるうちに、今度はB fletsのコネクションが切れた。 回線飽和で落ちたかなぁとか思って、ルータやらの再起動をするんだけど、断続的に落ちる。どうやら飽和が原因じゃなくて
2009年2月27日（金）に開催されました 第1回 ライブドア テクニカルセミナー「Open & Share」の発表資料と動画を公開致します。 プラクティカル Cicindela 中の人による中の人のための、ライブドアブログ公式攻撃マニュアル(抜粋) インサイド livedoor Blog ライブドアのネットワークとトラフィックパターン P2Pコンテンツ配信技術の現状 デジタルコンテンツ配信の法的問題 プラクティカル Cicindela 株式会社ライブドア 井原 郁夫（15分） オープンソースのレコメンデーションエンジン「Cicindela(シシンデラ)」。実際の各種サービスで利用するための工夫と実践向けのプログラム設計手法を公開。 中の人による中の人のための、ライブドアブログ公式攻撃マニュアル(抜粋) 株式会社ライブドア 井原 郁央（5分） 2008年のある事件をケースとした、社
2010/02/16 ■ 自宅サーバを無届けで設置すると逮捕される？ 横浜市大中国人留学生 電気通信事業法違反容疑で逮捕(MSN産経ニュース) 埼玉県警浦和東署と生活安全企画課は１５日、電気通信事業法違反の疑いで、横浜市立大学２年生で、中国籍の同市南区浦舟町の范●（●＝貝２つ）容疑者（２７）を逮捕した。 浦和東署の調べでは、范容疑者は平成２０年１０月～２１年７月までの間に、無届けで自宅にサーバー２台を設置し、運営した疑いが持たれている。 浦和東署では、范容疑者のサーバーには平成２１年２～７月にかけて、主に中国から延べ約１７０万件のアクセスがあったことを確認。同署では、范容疑者が無届けでサーバー上に企業サイトのリンクを張り、企業側から約６００万円の報酬を得ていたとみている。 ２１年１月下旬、さいたま市緑区の大学生から「オンラインゲームの仮想マネーが盗まれた」との相談を受け、浦和東署が調べてい
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
scale outの技術 首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は以下の記事の元原稿です。 首藤一幸, "スケールアウトの技術", クラウドの技術, pp.88-101, (株)アスキー・メディアワークス, ISBN978-4-04-868064-6, 2009年 11月 6日 アスキー・メディアワークス社の 書籍紹介ページ Amazon.co.jp の ページ 首藤一幸, "スケールアウトの技術", UNIX magazine 2009年 4月号, pp.78-91, (株)アスキー・メディアワークス, 2009年 3月 18日 データベースに求められる性能を試算したところ、 十台、百台…数万台のサーバが必要になった。 クラウドを構築する側はこういう問題に直面し、解決しようとしてきた。 台数に比例した性能を引き出すこと、つまりsca
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
