PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行した際の性能劣化について調べてみた CX事業本部@大阪の岩田です。 PostgreSQLで多数のパーティションを持つテーブルに対してPrepared Statementを実行するとクエリが遅くなる事象について調査する機会があったので、内容をご紹介します。 環境 今回検証に利用した環境は以下の通りです PostgreSQL: 15.3 (Debian 15.3-1.pgdg110+1) on x86_64-pc-linux-gnu, compiled by gcc (Debian 10.2.1-6) 10.2.1 20210110, 64-bit postgres:15のDockerイメージを利用 postgresql.conf 初期値から以下パラメータのみ変更 plan_cache_m
NTT オープンソースソフトウェアセンタ 鈴木 幸市 3. 論理バックアップとリストア 論理バックアップを行うツールは pg_dump 及び pg_dumpall です。 pg_dump は PostgreSQL データベースクラスタの各データベース単位にバックアップを行います。pg_dumpall はターゲットのデータベースクラスタに格納してある全データベースのバックアップを行います。 pg_dump も pg_dumpall も、バックアップデータはデータベースを復元するために必要な SQL 文で構成されます。 従って、pg_dump や pg_dumpall を使うと PostgreSQL データベースの内容を別なデータベースに移行したり、特定のテーブルだけをバックアップしたりすることが可能となります。 pg_dump, pg_dumpall を使うためには特別な用意はいりませんが、
データベースに格納されたデータは大事だ。これは宇宙の真理である。なのでバックアップを取る。こまめにとる。しかしリストアする機会はバックアップを取る機会よりも少ない。こまめにとられたバックアップをいざリストアしようとしてエラーが出てハマって焦るというのはデータベースあるあるの筆頭と言ってよい。リストアできないバックアップほど人の心をむしばむものは無い。リストアできれば助かるのに、そこにデータがあるのに、手が届かない。そんな悲しい思いをしなくて済むように、リストアのエラー解決TIPSは広く共有されるべきだ。今回はPostgreSQLのバックアップリストアでハマって１日つぶしてしまって泣きそうになったのでちょっと備忘録として残しておきたいと思う。きっと書いておかないと半年後にまた同じ問題で半日つぶすことになってしまうだろう。ブログに備忘録を書くのはとても役に立つのだ。是非皆様にもお勧めしたい。
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
PostgreSQL 11 Is Continuing With More Performance Improvements, JIT'ing Written by Michael Larabel in Free Software on 23 May 2018 at 05:55 AM EDT. 5 Comments PostgreSQL 11 is the next major feature release of this open-source database SQL server due out later in 2018. While it's not out yet, their release notes were recently updated for providing an overview of what's coming as part of this next
データベースを作っていく上で、最低限必要とされているカラムに id、created_at、updated_atがあります。 MySQLの場合は、 DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP とカラムに設定することで、更新時に日時も合わせて更新されるという仕様になっていますが、PostgreSQLにはありません。 そこで、PostgreSQLではトリガーと、トリガーで実行される関数をを仕込んでやっていく様になるみたいで…凄いですね。 create table tests ( id integer primary key, name text not null, created_at timestamp not null default current_timestamp, updated_at
PostgreSQLで実行されたSQLをログに出力する方法を以下に示します。 また、これを元に設定値の参照、変更についても説明していきます。 ブックメーカーへの投資でお金を稼ぐ方法と、ベッティングのヒントを学ぶ場所は？ ※データベース単位で設定を行う方法については、当サイトのPostgreSQL 実行されたSQLをログに出力(データベース単位の設定)をご覧ください。 ※データベース接続ユーザー単位で設定を行う方法については、当サイトのPostgreSQL 実行されたSQLをログに出力(データベース接続ユーザー単位の設定)をご覧ください。 ※ここで説明に使用しているPostgreSQLは、当サイトのCentOS7 64bitのyumリポジトリにPostgreSQLを追加し、最新バージョンをインストールのページを元にインストールした、バージョン9.4になります。 ※データベース接続ユーザーの作
1. メタコマンドとSQLを一緒に使う 実行例 2. SELECT結果の値だけを取得する 実行例 3. SQLでSQLを作り実行 (9.6~) 実行例 4. サーバに応じて実行するSQLを変える (10~) 実行例 5. 忘れたDDLのシンタックスを確認する 実行例 6. SQLファイルの内容を一行ずつ確認しながら実行する 実行例 7. 特定のコマンドを定期的に実行したい 実行例 8. psqlを起動した時に実行されるコマンドを設定する 実行例 9. .psqlrcを一時的に使わない 実行例 10. SELECTの結果をCSV形式で出力 実行例 普段よく使っているpsqlで便利だと思う使い方を10個紹介します。運用で使うシェルスクリプトとかでもpsqlは使う事があると思うので、psql派でない人にも多少は役に立つはず。 特に最近のバージョンで追加された機能は、利用できるバージョンを記載して
1.目的 細かい設定まで行うことが出来るpostgreSQLのdocker-composeが欲しいので、Docker公式イメージをもとに試してみる。 dockerもpostgresqlも初心者なのでよりよい方法があればご教授お願いしますm(_ _)m Docker導入までは以下を参照。 https://qiita.com/tsnb/items/d10d2770c08abc60b500 2.構築ver.01 公式の説明をもとに書いてみる。 https://docs.docker.com/samples/library/postgres/#environment-variables ver.01でやりたいこと： (A).ロケールを日本語に変更する (B).初期化時にユーザとデータベースを作成する (C).postgresql.confを設定する とりあえず、shared_buffers=256
manabusakai さんの下記の記事を読んだ感想。 blog.manabusakai.com Twitterにも書いたけど僕は信頼されるエンジニアをずっと目指してきたし、そのために僕に必要なことがここには詰まっていた。 ほんとみんなに読んでほしい。 このエントリーの中の信頼を得ているエンジニアの姿を引用する。 有言実行である 仕事の納期をきっちり守る どんな仕事でもムラがない 困ったときに快く相談に乗ってくれる 皆がやりたがらないタスクを拾ってくれる チームの雰囲気を良い方向に導いてくれる etc... まさに。 ではソフトウェアエンジニアとしてこの他に当たり前にやるべき事って何があるだろう？ ソフトウェアエンジニアとしてやるべき事 僕らは技術で問題を解決することで価値を高めたり、対価を頂いている。 例えば使っているOSSにバグがあったらどうだろう？ これは自戒をかなり含むが不満をSN
1. Copyright©2018 NTT Corp. All Rights Reserved. アーキテクチャから理解する PostgreSQLのレプリケーション NTT OSSセンタ 澤田 雅彦 2. 2Copyright©2018 NTT Corp. All Rights Reserved. 自己紹介 澤田 雅彦 @sawada_masahiko NTT OSSセンタ PostgreSQLの技術サポート PostgreSQLの本体開発 PostgreSQLの周辺ツール開発 pg_repack – オンラインメンテナンスツール pg_bigm – 2-gram全文検索モジュール 3. 3Copyright©2018 NTT Corp. All Rights Reserved. • PostgreSQLのアーキテクチャについて簡単におさらい • Replication
技術コミュニケーション室 OSSグループの髙﨑です。 本記事は、とあるクエリを2万倍速にした話 -データベースの気持ちになる- 前編の続きです。 前回の記事でお話しした内容がPullRequestを作ったときの過程だったわけですが、 そのような結果に至った経緯、Index Only Scanを使わなかったPostgreSQL特有の事情について、 PostgreSQLのアーキテクチャなども交えもう少し詳しくお話させていただきます。 要するに 実行計画のコストとはレコードやindexの読み込み、フィルタ処理などからその実行にどの程度の時間が必要となるかの推定値 indexを張る際にはそのindexがどのように辿られるかを意識する必要がある 範囲検索される可能性があるカラムはindexの先頭にはあまり適さない PostgreSQLにおけるIndex Only Scanは新しい/更新頻度の高いデー
はじめに Ruby on Rails + PostgreSQLで開発する必要が生じたので、Docker for Macを使って開発環境を構築しました。 基本的には以下のリンクにある通りに実行すれば開発環境はできますが、少し問題があったので、その情報も追加しています。 Quickstart: Compose and Rails Docker for Mac Docker for Macをインストールしてない方は Get started with Docker for Mac などを参考にインストールしてください。 Ruby on Rails用Dockerfile 開発に使うdocker用のDockerfileを作成します。 まず、アプリ用のディレクトリを用意します。ここでは~/myappとします。 元になるdocker imageとして最新のrubyのイメージを使用します。Dockerfil
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
