DMM.com が Amazon Aurora MySQL に移行して、最大 70% のパフォーマンス向上と運用コストの大幅削減を実現 | Amazon Web Services
Amazon Web Services ブログ DMM.com が Amazon Aurora MySQL に移行して、最大 70% のパフォーマンス向上と運用コストの大幅削減を実現 DMM.com は動画配信事業とオンラインゲーム事業、FX 等の金融サービスを主力として、オンライン英会話サービスなど 60 以上のサービスを展開している企業です。DMM.com では、オンプレミスの MySQL で稼働していたユーザーレビュー機能を、Aurora MySQL に移行しています。データの移行は AWS Database Migration Service (DMS) を使用してダウンタイムを最小限に抑えつつ、移行元への逆同期や SageMaker を使用したデータ検証の仕組みなど、様々な工夫をしながら移行を成功させることができました。本ブログでは、DMM.com でオンプレミスの MySQL
諸条件 ソースがMySQLの場合、Redshiftへの変換にSCTが利用できない DMSにはSCT(SchemaConversionTool)という、ローカルPCにインストールしてスキーマやストアドプロシージャ等を自動変換・診断してくれるツールがあります。このSCTはソースDBとターゲットDBの組み合わせごとに使用可否が決まっている点に注意が必要です。 以下のURLの通り、ソースがMySQLの場合、ターゲットにRedshiftを選択することができません。 https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Welcome.html そもそもターゲットがRedshiftの場合は、ソースの対応DBエンジンにOLTP系のものは少なく、多くがOLAP系です。 OLTP系：SQL Server, Oracle
ロギングタスク設定 - AWS Database Migration Service
ロギング機能は、移行プロセス中に Amazon CloudWatch を使用して情報をログします。ロギングタスク設定を使用して、記録するコンポーネントアクティビティと、ログに書き込まれる情報量を指定できます。ログ記録タスク設定は JSON ファイルに書き込まれます。タスク設定ファイルを使用してタスク設定を設定する方法については、「タスク設定例」をご参照ください。 CloudWatch ログ記録は、いくつかの方法で有効にできます。移行タスクを作成するときに、AWS Management Console で EnableLogging オプションを選択できます。または、AWS DMS API を使用してタスクを作成するときに EnableLogging オプションを true に設定できます。さらに、タスク設定のロギングセクションの JSON で "EnableLogging": true を
AWS Database Migration Service との統合 AWS Schema Conversion Tool - AWS Schema Conversion Tool
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Database Migration Service との統合 AWS Schema Conversion Tool での AWS SCT レプリケーションエージェントの使用 AWS DMS 非常に大規模なデータベース移行では、 AWS SCT レプリケーションエージェント (aws-schema-conversion-tool-dms-agent) を使用して、オンプレミスデータベースから Amazon S3 または AWS Snowball Edge デバイスにデータをコピーできます。レプリケーションエージェントは と連携して動作 AWS DMS し、 AWS SCT が閉じられている間はバックグラウンドで動作できます。 AWS Snowball Edg
AWS Schema Conversion Tool とは - AWS Schema Conversion Tool
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 とは AWS Schema Conversion Tool AWS Schema Conversion Tool （AWS SCT) を使用して、既存のデータベーススキーマをあるデータベースエンジンから別のデータベースエンジンに変換できます。リレーショナルOLTPスキーマまたはデータウェアハウススキーマを変換できます。変換されたスキーマは、Amazon Relational Database Service (Amazon RDS) My SQL、MariaDB 、Oracle、SQLServer、PostgreSQL DB、Amazon Aurora DB クラスター、または Amazon Redshift クラスターに適しています。変換されたスキーマは、Amaz
DMS Schema Conversion を使用したデータベーススキーマの変換 - AWS データベース移行サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 DMS Schema Conversion を使用したデータベーススキーマの変換 AWS Database Migration Service （AWS DMS) の DMS Schema Conversion を使用すると、さまざまなタイプのデータベース間のデータベース移行をより予測しやすくなります。DMS Schema Conversion を使用して、ソースデータプロバイダーの移行の複雑さの評価、データベーススキーマとコードオブジェクトの変換ができます。その後、変換したコードをターゲットデータベースに適用できます。 DMS Schema Conversion は、ソースデータベーススキーマとほとんどのデータベースコードオブジェクトをターゲットデータベースと互換
AWS Database Migration Service とは? - AWS データベース移行サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Database Migration Service とは? AWS Database Migration Service (AWS DMS) は、リレーショナルデータベース、データウェアハウス、NoSQL データベース、その他の種類のデータストアを移行できるようにするクラウドサービスです。AWS DMS を使用して、AWS クラウド にまたはクラウド セットアップとオンプレミス セットアップの組み合わせの間にデータを移行できます。 AWS DMS を使用すると、ソースデータストアの検出、ソーススキーマの変換、データの移行ができます。 ソースデータインフラストラクチャの検出には、DMS Fleet Advisor を利用できます。このサービスは、オンプレミス
「データ移行のターゲット」 - AWS データベース移行サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 「データ移行のターゲット」 AWS Database Migration Service (AWS DMS) では、最もよく利用されているデータベースの多くをデータレプリケーションのターゲットとして使用できます。ターゲットは Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、Amazon Relational Database Service (Amazon RDS) DB インスタンス、またはオンプレミス データベースが可能です。 有効なターゲットの包括的なリストについては、「AWS DMSのターゲット」をご参照ください。
はじめてAWS DMSを検討する際に読んでいただきたいこと | Amazon Web Services
このようにDBの移行は考慮すべきことや行うべきことが多いと言えます。 AWS DMSの特徴と強み データ連携製品は、物理レプリケーション方式と論理（ロジカル）レプリケーション方式の２つに分けられます。一般的な仕組みはこのようになります。物理方式は、連携元（ソース）のトランザクションログを連携先（ターゲット）に転送し、それをそのまま連携先のDBへ適用する方式です。 ロジカル方式は、トランザクションログから独立性の高いSQL等を生成し、ターゲットのDBに実行する方式です。 物理方式は一般的に同一DBMS製品の同一バージョンにしか使用できませんが、それはこの仕組みが理由です。DBMSやバージョンが変われば、トランザクションログの仕様も変わってしまいます。 参考：後述するBlack Beltの P19とP20にも物理方式と論理方式の紹介があります。 AWS DMSはロジカル方式を採用したデータ変換
AWS DMS ソースエンドポイントとターゲットエンドポイントとしての VPC エンドポイントの設定 - AWS データベース移行サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS DMS ソースエンドポイントとターゲットエンドポイントとしての VPC エンドポイントの設定 AWS DMS は、Amazon Virtual Private Cloud (VPC) エンドポイントをソースとターゲットとしてサポートします。AWSDMS は、ソースデータベースとターゲットデータベースへの明示的に定義されたルートが AWS DMS VPC で定義されている限り、Amazon VPC エンドポイントを使用して任意の AWS ソースデータベースまたはターゲットデータベースに接続できます。 Amazon VPC エンドポイントがサポートされるため、追加のネットワーク設定やセットアップを行わずに、AWS DMS は、すべてのレプリケーションタスクのエン
はじめに ちょっと前に仕事でAWS DMSを使ったので、その時のノウハウです。 DMSはDatabase Migration Serviceの略で、（基本的には）DBからDBへ移行するためのツールです。 AWS DMS 自分が実際に使ったのはOracle→Aurora MySQLの移行です。 ターゲットDBのテーブルは予め作っておく DMSは、ソースDBからデータを抜き取り、一度DMSのデータ型に変換して、 更にターゲットDBのデータ型に直してデータを入れていきます。 この過程で意図しないデータ型に変換されてしまうことがあるので、 ターゲットDBには予め意図した型のテーブル・カラムを作成しておいてから、データ移行を行ったほうが良いです。 データの変換テーブルは以下のページなどを参照。 AWS Database Migration Service のデータ型 OracleがソースDBの時のデ
料金 - AWS Database Migration Service ｜AWS
AWS Database Migration Service (AWS DMS) を使用すると、データベースや分析ワークロードを簡単かつ安全に、低コストで AWS に計画、評価、変換、移行できます。AWS DMS では、オンデマンドインスタンスを使用するか、サーバーレスにするかを選択できます。AWS Database Migration Service (AWS DMS) Serverless は、自動的にプロビジョニングを行い、キャパシティを管理します。 オンデマンドインスタンスでは、レプリケーションインスタンスと追加のログストレージの料金のみを使用した時間単位でお支払いいただきます。各データベース移行インスタンスにはほとんどのレプリケーションのために、スワップ領域、レプリケーションログ、データキャッシュに十分なストレージが含まれています。 サーバーレスでは、レプリケーションインスタンス
AWS Database Migration Service での移行タスクのトラブルシューティング - AWS データベース移行サービス
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Database Migration Service での移行タスクのトラブルシューティング 以下では、AWS Database Migration Service (AWS DMS) での問題のトラブルシューティングに関するトピックを見つけることができます。これらのトピックは、AWS DMS とを選択したエンドポイント データベースの両方を使用して一般的な問題を解決するのに役立ちます。 AWS サポートケースがあれば、サポートエンジニアが、エンドポイント データベース構成の 1 つに関する潜在的な問題を特定できることもあります。エンジニアが、データベースに関する診断情報を返すためのサポート スクリプトを実行するように頼む場合もあります。タスク設定ファイルを
AWS DMS を使ってみた(2) ～データ同期を徹底検証。同期には”ログ”の設定が必須！～｜AWSを使い倒せ AWS DMSはテーブルのデータ追加／削除／変更、そしてテーブル作成までデータ同期できる 以前は、AWS DMS(Database Migration Service)のタスクを作成して、移行元データベース(DB)のMy SQLから移行先DBのRDS(Postgre SQL)へのテーブルデータの移行を行いました。前回の記事でAWS DMSが、AWSコンソールの操作だけで簡単にミスなく、そして低価格に全てのテーブルのデータ移行が行えることが分かって頂けたと思います。今回は、AWS DMSの特徴の一つであるデータ同期について、色々、検証してみたいと思います。 データ同期の仕組み(推測) AWS DMSで移行元から移行先にDB移行を行う際、タスクの設定でマイグレーションタイプを「Mig
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Migrating databases to their Amazon RDS equivalents with AWS DMS - AWS Database Migration Service
Converting database schemas using DMS Schema Conversion - AWS Database Migration Service
Using the AWS DMS Fleet Advisor Target Recommendations feature - AWS Database Migration Service
Database Migration Step-by-Step Walkthroughs - Database Migration Guide
Using an Amazon Redshift database as a target for AWS Database Migration Service - AWS Database Migration Service
AWS Database Migration Service スタスクのタスク設定の指定 - AWS Database Migration Service