こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
こんにちは、GMOアドマーケティングのK.Mです。 最近は久しぶりにMySQLを使ってます。 そういえばMySQLといえば、バージョン5.7からInnoDBの全文検索機能に日本語パーサーが搭載されとても使いやすくなったと聞いていたので、本日はそれを試してみたいと思います。 以前はサービスで本格的な全文検索をやりたいと思ったら、Elasticsearchなど専用の全文検索エンジンを立てたりとミドルウェア構成が一段リッチになるような印象もありましたが、もう少しお手軽に、既存RDBMSからSELECTしてくるくらいのイメージでスモールスタートしたいようなケースも結構ありそうです。 そういったときに検討できる一つの選択肢になるんじゃないかと思っています。 既存テーブルを検索してみます MySQL5.7から日本語パーサーとしてN-gramとMeCabが使えます。特にN-gramの場合、デフォルトで有
MariaDB で構築されている DB からエクスポートしたクエリの結果を BigQuery にインポートしようとしたところ、意外と面倒だったと言う話。 何が面倒なのかというと、「データに " (ダブルクオート) が含まれていると取り込めない」と言う話で、対処法は TSV でエクスポート " のエスケープは \" ではなく "" で という、これだけです。 これだけなのですが、分かるまでしんどかったです... やりたいことは、MariaDB で実行したクエリの結果を BigQuery に取り込みたいと言うだけ。 私は MariaDB で行いましたけど、手順的には MySQL でも同じだと思います。 では、まずは正解から。 手順 1. TSVファイルのエクスポート MariaDB でクエリを実行してファイルに保存します。 SELECT * FROM table_name INTO OUTFI
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程RDSのMySQL/MariaDBのログファイルをCloudWatch Logsへ出力できる機能がリリースされましたのでレポートします。 Monitor Amazon RDS for MySQL and MariaDB logs with Amazon CloudWatch Now Publish Log Files from Amazon RDS for MySQL and MariaDB to Amazon CloudWatch Logs CloudWatch Logsへのログファイル出力 RDS for MySQL/MariaDBでは以下の4種類のログを出力することができました。 Audit Log Error Log General Log Slow Query Log 出力先はテーブルかファイルとなり、テーブルの場合はDB
はじめに 古い備忘録だが、いまだに定期的にアクセスがあるので全面的に加筆修正した。 PHPやLaravelは新しいバージョンに追従していても、MySQLのバージョンはいまだ5.5～5.6、という環境も多いのだろう。 ※2023年追記：すでにLaravel5系、MySQL5.6系ともにサポートの切れたかなり古いバージョンとなっているので、なるべくバージョンアップにて解決することを推奨する。 前提 Laravel5.4以上 MySQL5.7.7未満 現象 上記環境のもとで、$ php artisan make:authで自動作成されるマイグレーションファイルに対し、 $ php artisan migrate を実行すると、以下のエラーが発生する。 [Illuminate\Database\QueryException] SQLSTATE[42000]: Syntax error or acc
こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク
はじめに 題名のとおり、MySQL5.6で全文検索をやったので、またやるときに困んないようにメモを残します。 や、実は全文検索やったの2回目だったんだけど、細かいところどころか大本さえ忘れてて困ったんですよこの前。。。 あと、念のためお断り。 やったのはMySQL5.6です。5.7の各種パーサーの話は出ません。 すでにMySQL5.6が入ってる環境だったんで仕方ない。 今回は素のMySQLをつかってます。なので、Mroongaの話は出ません。 正直、実装当時は知らなかったのもあって調べてもいない。。 プラグインみたいに追加インストールって出来るのかしら？ 今回はファンクションやトリガーを使いません。 メンドかったから(´・ω・｀) まぁ、プログラム側で出来るしね。 my.cnfの設定 何はなくとも、まずは設定をいれないと話にならない。 my.cnfに以下を記述する。 ft_min_word
$ sudo service mysql status ● mysql.service - MySQL Community Server Loaded: loaded (/lib/systemd/system/mysql.service; enabled; vendor preset: enabled) Active: active (running) since Sat 2019-10-12 23:34:41 JST; 21min ago Main PID: 2466 (mysqld) Tasks: 27 (limit: 2319) CGroup: /system.slice/mysql.service mq2466 /usr/sbin/mysqld --daemonize --pid-file=/run/mysqld/mysqld.pid 10月 12 23:34:40 ubuntu-
OSSデータベース取り取り時報 第52回MySQL Innovation Day 2019、PostgreSQL Conference Japan 2019開催 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。今回は、MySQL Innovation Day 2019での発表内容と、日本PostgreSQLユーザ会（JPUG）のカンファレンスの内容についてご紹介します。 ［MySQL］2019年11月の主な出来事 2019年11月はMySQLの製品リリースはありませんでした。10月に本連載の締切後に、Microsoft Visual Studio 2019に対応したプラグインであるMySQL for Visual Studioのマイナーバージョン1.2.9やConnector/C++ 1.1.13、Co
同根のバグレポートが散見されますが、ここ数ヶ月、状況をみるに修正される見込みがなさそうなので記録しておきます。 事象 MySQL 5.7 の libmysqlclient (libmysqlclient.so.20) を使用しているプロセスが、無限ループに突入して CPU (user%) を食いつぶし続ける。 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 28150 hirose31 20 0 32488 6080 5492 R 93.8 0.3 0:16.70 mysql 発現条件 MySQLが提供しているパッケージのMySQL 5.7.25, 5.7.26, 5.7.27 で確認。 Ubuntu 18.10, mysql-community-client 5.7.25-1ubuntu18.10 Ubuntu 18.04, m
問題 select * from member where namae like '%サトウ%'; こんなSQLで、namaeがサトウ、ｻﾄｳ、さとう、サトｳ（一部半角）何でもマッチさせたい！ 答え では、これで。 select * from member where namae collate utf8_unicode_ci like '%サトウ%'; データベースがutf8でないときは、もうひとつ変換を入れて、 /* ERROR 1253: COLLATION 'utf8_unicode_ci' is not valid for CHARACTER SET 'ujis' など言われたら */ select * from member where convert(namae using utf8) collate utf8_unicode_ci like '%サトウ%'; 数字の全角/半
この記事の目的 自分は、とある会社様の元でソシャゲの API 開発をさせていただいています。 ソシャゲは、リリース時やイベント時などに集中アクセスされやすく、負荷軽減の知識がない状態で開発を行ってしまうと、運用時に緊急メンテ祭りになりやすいジャンルかなと思っています。 これまで培ってきた MySQL の知識ですが、脳内メモリ量の関係上、暗記できないのでメモしておこうというのが主目的です。 ここ数年ほどソシャゲ開発しかしていないため、偏っている感がある内容ですのでご注意ください。 概要 ストレージエンジンは InnoDB。メインで扱っている MySQL バージョンは 5.6。 記事の内容ですが、これらのキーワードを見て、おおよそ分かる方は読む必要はないかと思います。 インデックス系 クラスタインデックス カバリングインデックス EXPLAIN で注意するべき値 トランザクション系 MVCC
2019年9月17日 CentOS 7.7 (1908) がリリース されました。RHEL7.7のリリースから約40日でのリリースになります。前バージョンCentOS7.6（1811）のリリースからは約９ヶ月ぶりのバージョンアップです。今回のバージョンアップでは、Python3 が利用可能になりました。また、CentOS8のリリースが9月24日に予定されていますので、新規でインストールする場合は CentOS8 を検討するのも一案です。さっそく、CentOS7.7 で LAMP構成をインストールする手順をメモしておきました。 CentOS 7.7 (1908) リリースノート CentOS-7 (1908) Release Notes Red Hat Enterprise Linux 7.7 リリースノート（日本語） CentOSのリリースノートを見ると、タイトルに「7.7」という表記は無
こんにちは。SREの徳田です。 今回、Kubernetes上でMySQLを動かしたい、という要望があったので、mysql-operatorについて調査してみました。 Operatorとは Operatorは2016年にCoreOSが公開した手法・概念で、端的に言うとKubernetesを基盤としたアプリケーションのパッケージング・展開・管理を行う方法です。また、このOperatorの開発を手助けしてくれるものがOperator Frameworkです。 Operatorで管理する対象のアプリケーションはなんでもいいのですが、大抵の場合は管理が難しいとされているStatefulなアプリケーションのものがほとんどです。 また、公開されているOperatorを共有できるOperatorHub.ioというサイトも有ります。まだ種類は少ないですが、こちらでどのようなOperatorがあるかも確認する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
