こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
Vim Advent Calendar 2013、5日目の記事になります。プラグインの完成が遅れ、遅刻力を発揮してしまいました…。 ThingsPast.vimをリリースしましたThingsPast.vimというプラグインをリリースしました。 これは、Mac OS Xの通知センターのようなものをVim内で実装したものです。 https://github.com/supermomonga/thingspast.vim Macをお持ちでない方のために簡単に説明すると、通知センターは各アプリケーションによるユーザーへの「通知」をハンドリングする機能です。Twitterの新着リプライや新着受信メールなどといった通知の一覧表示や、通知一覧からの選択によってアプリケーションを適切な状態で起動、たとえば通知された新着メールをクリックするとそのメールが選択された状態でメーラーを起動するなど、を行うことがで
エンタープライズな環境であったりすると、 バックアップも高価なテープライブラリを使ったりするわけですが、 その検証をやりたくても、個人ではなかなか出来ませんでした。 と思っていたのですが、MHVTLという仮想テープライブラリ（https://sites.google.com/site/linuxvtl2/）がオープンソースで公開されていることを知り、早速試してみました。 環境 仮想テープライブラリ側（MHVTL+iSCSIターゲット） Amazon Linux AMI 2012.09.1 (ami-5d7dfa5c) マイクロインスタンス バックアップホスト （ARCserve16.5＊+iSCSIイニシエータ） Windows2008 R2 マイクロインスタンス ＊バックアップソフトはなんでも良かったんですが、 体験版のダウンロードが簡単だったのでARCserveにしました。 （バックア
いままで履歴つきのバックアップは pdumpfs*1 でとっていたのですが，rsync のオプション（--link-dest）を使うと同等のことをできるらしいと知りました。 バックアップにrsync --link-destを使うと良い場合もあるよ | rutoの日記 | スラド rsyncで差分バックアップを行うための「--link-dest」オプション - ITmedia エンタープライズ サンプル バックアップ元のファイル群をサンプルとして作成します。 $ mkdir -p work/src/foo $ echo "baz" > work/src/foo/barこれで， - work/ - work/src/ - work/src/foo/ - work/src/foo/barのような構造ができました。これのバックアップをとっていきます。 まずは普通に rsync 履歴つき（差分）バッ
バックアップソフトの検証とかで、テープ装置がほしい時があったりして、OSSの仮想テープドライブやテープライブラリがないか探してみたら、Linux Virtual Tape Library(mhvtl)というのを見つけたので試してみた。 仮想テープドライブ／ライブラリをiscsiで公開するのでiscsiターゲットを色々物色していたら、どうやらmhvtlとはscstが実績多くあるので、mhvtl+scstの構成でやってみることにした。 環境はこんな感じ OS mhvtとscstについて、できればrpmなどでサクッといれたかったが、どちらもソースコンパイルが必要そうだ。scstを入れにはカーネルにパッチを当ててからカーネルモジュールを入れる必要がある。mhvtは単純にカーネルモジュールを入れるだけだ。なので、先にscstのパッチを当てたカーネルを作る必要がある。 カーネル再構築 本家であるGen
Ubuntu 11.10でOSコマンドを使ったOracleの物理バックアップと不完全リカバリを試してみました。 データベースは、ノーアーカイブログモードです。 バックアップ ノーアーカイブログモードでは、データベースを停止した状態で必要なファイルをすべてアーカイブします。 バックアップ対象のファイル情報を集める バックアップの対象となるファイルは、データディクショナリから調べます。 データファイル、テンポラリファイル、オンラインREDOログファイル、制御ファイルの場所を調べます。 $ cat files.sql set head on set linesize 150 column FILE_NAME format a80 column TABLESPACE_NAME format a10 column MEMBER format a100 column NAME format a80 s
XtraBackupとは Percona社 が開発しているオープンソースのMySQLのバックアップツールです。InnoDB, XtraDBとMyISAMストレージエンジンをブロックすることなくバックアップをする事が出来ます。ライセンスはGPLv2で無料で使えます。 MySQLのバックアップ方法としてよく使われているmysqldumpというツールが有りますが、 大量のデータを保存しているデータベースからダンプしたデータをリストア（復旧）する時に非常に時間が掛かってしまうという欠点があります。 ここでは、mysqldumpとXtraBackupを使ってバックアップを取り、両者のバックアップとリストアのスピードの違いを比較してみます。 使用するサーバは以下の通りです サーバ さくらのクラウド プラン8 CPU仮想4コア メモリ24GB HDD100GB OS CentOS 5.7 64bit M
結構前にLinuxサーバーのシステムを一式バックアップとるのに何かいい方法がないかとTwitterでつぶやいたところ、Mondo Rescueが結構いけてると教えてもらったので実際に試したところ、確かにいけていたので次期サーバーで本格的に使おうと思っていました。 しかし、試したシステムは/がext4のHDD1台で構成されていたのでgrub.cfgを弄る程度で問題なかったのですが、/がmdraidの RAID1で出来ている場合は少し手順を踏まないと復元できないと言うことが分かりました。大晦日から元旦にかけて1日中コマンドラインを弄っていたせいで初夢がコマンドラインをいじっている夢でした…。色々やったので忘れないうちにメモしておきます。非常に長くなるので見たい人だけ見てください。 インストールについて インストールについては、debian等のaptを使うシステムであれば /etc/apt/so
データの大容量化が進む昨今、「バックアップといえば磁気テープ」という常識はすでに通用しなくなっている。なぜ、磁気テープは限界なのか？ D2D（Disk 2 Disk）バックアップを検討すべき理由とは？ 重複除外ストレージ「Data Domain」を展開するEMCに聞いた。 データ爆発時代に磁気テープではもう限界！ ハードウェアの障害、人的ミス、災害、セキュリティ侵害など、コンピュータにおいてデータを損失する原因は多種多様だが、こうしたデータを完全に保護するのが、バックアップの目的である。このバックアップのメディアとして、今まで多くの企業は磁気テープを用いていた。1980年代の汎用機の時代から、バックアップの歴史は磁気テープの歴史でもあった。 磁気テープのバックアップはサーバー等にLTOやDDS規格の磁気テープ用ドライブを接続し、サーバー上のバックアップソフトを介して、保護対象となるデータを
日本のオラクル・コミュニティが一堂に会するプレミア・イベントにぜひご参加ください。新しいスキルを身に付け、業界エキスパートと交流し、複雑なビジネス課題を解決するためのソリューションを発見しましょう。
バックアップのためにtarやafioなどを使う場面や、単に古いファイルを取っておきたいという理由でバージョン管理システムを使う場面の何割かはrsyncを--link-destオプション付きで使った方が良い。 rsync --link-destは次のようにして使う。 これは次のような動作になる sourceをdestにコピーする。ただしoldにあるファイルと同じ内容のファイルはそのファイルへのハードリンクにする。 これを次のようにcronと組み合わせることで、毎日のバックアップが取れる。 日付を名前にしたディレクトリを作る前の日のディレクトリを--link-destのパラメータに渡して、バックアップ対象のディレクトリを新しいディレクトリにコピーする。つまりpdumpfsやrsnapshotやglastreeと同じことがrsync単体でできる。 #ちなみに--link-destはpdumpfs
複数サーバを管理する場合、管理コストの増加やオペレーションミスを避けるための施策として、「すべてのサーバの内容を同一に保つ」という管理方法があります。 サーバの内容を同一に保つには、小中規模ならrsyncと、パス指定の簡便化とミスを防ぐために-a -R (--relative)オプションを使うのがベストでしょう。 ただ、-Rを指定しているときに、同期コピー対象のパスにディレクトリへのシンボリックを含んでいる場合には注意が必要です。そこで今回はrsync 2.6とrsync 3のそれぞれについて、ふたつのケースについて検証してみたいと思います。 ケース1: 実ディレクトリが同じ 物理的なディレクトリ構造をそのまま見せるのではなく、論理的な意味あるディレクトリ名/構造として見せたい場合には、ディレクトリのシンボリックリンクを使うとよいです。 例えば: RAID等のストレージにあるディレクトリの
This browser is no longer supported. Upgrade to Microsoft Edge to take advantage of the latest features, security updates, and technical support. この度の東北地方太平洋沖地震により、亡くなられた方々のご冥福をお祈り申し上げますとともに、被災された皆様、ご家族、ご親戚、ご友人の方々に対しまして、心よりお見舞い申し上げます。 先日、マイクロソフトより公開したサーバー製品の対応関連情報ですが、ご覧いただけましたでしょうか？ マイクロソフト製品群のバックアップ、障害対応および節電に関する情報 http://technet.microsoft.com/ja-jp/gg703325 既存資料を流用したため、まだ冗長な情報が多いかと思います。 ここではWind
TechTargetジャパンは2010年5月、ストレージ製品／ソリューションの利用状況に関する読者調査を実施した。その調査結果によると、「バックアップ／リカバリ環境を構築済み」という回答が全体の半数以上を占めた。また、今後導入を検討している環境としては「リモートバックアップ」「アーカイブ」という回答が多かった。災害復旧や法令順守などへのニーズの高さがその背景にあるといえる。 しかし、限られた予算の中で、自社に最適なバックアップ環境を構築することに頭を悩ませている担当者が多いのも事実だ。読者調査では、現在の環境への不満として「データ量の増加に対応できていない」「バックアップ処理に時間がかかる」という回答が多く見られ、特にストレージの拡張性や処理能力に対する不満を持っていると考えられる。 複雑化するシステムと増え続けるデータ量に対処するための解決策として、現在注目を集めているのが、「重複排除」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RMAN best practices for RAC presentation
Amazon.co.jp: Oracle RMAN 11g Backup and Recovery (Oracle (McGraw-Hill)): Freeman, Robert G., Hart, Matthew: 本