本記事の概要 pg_duckdb は、PostgreSQL のプロセス上でインプロセス OLAP クエリエンジンである DuckDB を実行するための拡張です。 DuckDB を利用することで、以下のようなメリットがあります。 PostgreSQL のネイティブクエリエンジンと比べ、OLAP ワークロードをより高速に処理できる。 DuckDB の拡張を利用し、 Iceberg や Delta lake といったオープンテーブルフォーマットでオブジェクトストレージ上に構築したデータレイクのデータを分析できる。 本記事では、 PostgreSQL 拡張の pg_duckdb の概要、私が pg_duckgb に注目した背景、および簡単な使い方などを紹介します。 pg_duckdb の概要 pg_duckdb は、スタートアップの Hydra、DuckDB 開発元の DuckDB Labs、Sa
はじめに PGliteの概要 PGliteの特徴 PGliteを試す ブラウザで使う PGliteの速度計測 まとめ はじめに こんにちは！エンジニア２年目のTKDSです！ 今回はPGliteについて調べてみました！ 概要・使い方・速度実験・まとめの内容で記事は構成されています。 使ってみた結果として、軽量高速であり色々使いみちがありそうなツールだと感じました。 ぜひ最後まで読んでいただけると幸いです。 PGliteの概要 PGliteは、PostgreSQLをWebAssembly（WASM）にコンパイルした軽量なデータベースエンジンです。 これにより、ブラウザ、Node.js、Bun、DenoなどでPostgreSQLの機能を利用でき、開発者はローカルやサーバーレス環境でデータベース操作を行うことが可能です。 PGliteは、インメモリデータベースやファイルシステム（Node.jsやB
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
Our Commitment to the Developer Experience At Heroku, we deliver a world-class developer experience that’s reflected in our new Essential database plans. Starting at just $5 per month, we provide a fully managed database service built on Amazon Aurora. With these plans, developers are assured they’re using the latest technology from AWS and they can focus on what’s most important—innovating and bu
Heroku PostgresがAmazon Auroraベースに移行。新プラン「Heroku Postgres Essential」正式リリース
アプリケーションプラットフォームサービスを提供するHerokuは、Amazon Auroraを採用したデータベースサービス「Heroku Postgres Essential」プランの正式リリースを発表しました。 Heroku Postgresは今後Amazon Auroraベースへ移行 Heroku Postgresは、マネージドなデータベースサービスがまだ一般的ではなかったクラウド初期の頃から提供されてきた、代表的なデータベースサービスの1つです。 そのHeroku Postgresを開発、運営してきたHerokuは昨年（2023年）、AWS主催のイベント「AWS re:Invent 2023」でAmazon Auroraチームとの協力を発表し、今後Heroku Postgres全体をAmazon Auroraベースへ移行することを明らかにしています。 「We are migratin
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの田村です。普段はサーバサイドエンジニアとしてFAANSのバックエンドシステムの開発をしています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗のショップスタッフの販売サポートツールです。FAANSでは、データベースとしてGCPのサーバレスでドキュメント指向のNoSQLデータベースであるCloud Firestoreを当初採用していました。Cloud Firestoreはサーバレスなので運用負荷が掛からず、また安価でスケーラビリティにも優れたハイパフォーマンスなデータベースです。 しかし、Cloud Firestoreを使用して開発・運用していく中で直面した様々な課題からGCPのフルマネージドのリレーショナルデータベースであるCloud SQLのPostgreSQLにデータベースのリプ
イントロダクション LCLエンジニアチームの杉山です。自分が仕事をさせて頂いている、株式会社LCLは旅人をふやす会社をミッションの一つとして、 バス比較なび、バスツアー、格安移動、海外航空券等のサイトにて情報を掲載して、サービス利用者の皆様へ最適なツアーや交通手段を手頃な値段で探す為の、 お手伝いをさせて頂いています。現状では、情報提供のみで旅行業の登録はしておりませんが、会社では年1回の旅行業務取扱管理者の資格取得をサポートしています。 提携先には運送・旅行関係の企業も多い為、旅行業界の知識を知っておくと、旅行業法的な観点以外にも、データ連携する時に航空券・JR路線(新幹線・在来線)・船舶・貸し切りバス等の データの意味を読み解く時にも理解し易いので、エンジニア職であっても知識として持っておいて損は無いかと思っています。 新幹線の料金は、本州３社、JR四国、JR九州、JR北海道などに跨る
PostgreSQL 14からJSONBデータをサブスクリプトに対応しました。 JSON型のみ対応し、JBON型では対応していことに注意。 PostgreSQLは9.2からJSONデータに対応しています。 スキーマを意識せずにデータを格納できるため、重宝する一方で、参照・更新時のアクセス方法が独特でとっつきにくいところもありました。 PostgreSQL 14から直感的なサブスクリプト(辞書/マップ)風のアクセスにも対応したため、この方法を紹介します。 ポイント PostgreSQL 14から連結配列風のサブスクリプトに対応。 JSONB型のみ対応。JSON型は未対応 戻り値はJSONB型なので、適宜型をあわせる やってみた 前提 PostgreSQL 14 を起動します。 test=> select version(); version -------------------------
結論 公式ドキュメントにある演算子を用いましょう。 www.postgresql.org ドキュメントの読み方 上記ドキュメントの読み方についてです。 例えば jsonb ->> text → text という記載内容は次の意味を持ちます。 jsonb には、検索対象となるデータが入る（＝ JSONB 型のカラム名） ->> は、用いる演算子である text → text という記述については、 左側の text は、検索に用いる値の「型」が text であるということ 右側の text は、検索の結果得られる値の「型」が text であるということ 具体例 具体例を書いてみます。 Foobar というモデルの hoge というカラムが JSONB 型であったとします。この hoge というカラムに納められている JSONB 型のデータの中から { "hello": "world" } と
Postgresでは9.2からjson型が、9.4からjsonをバイナリ解析して保持するjsonb型が使えるようになりました。 普段のアプリケーション開発ではRuby on Railsのstore_accessorを経由してjsonb型を使うことが多いので、そこまでjsonb型特有の文法で困ったことはないのですが、分析や集計をする時にSQLでjsonb型を扱う必要があり、jsonb型の検索に使える演算子や関数を調べたのでまとめてみたいと思います。 特定のキーの値にアクセスする演算子 例えば次のようなテーブルがあったとして CREATE TABLE sample ( id SERIAL, value JSONB ); INSERT INTO sample (value) VALUES ('{"a": 1, "b": {"c": [1, 2, 3]}, "d": null, "e": true
本記事はエムスリー Advent Calendar 2020 の9日目の記事です。 エムスリーエンジニアリンググループの木村です。 今回は今年遭遇したエラーの中で面白かったPostgreSQLのターゲット上限値エラーの話をします。 我々のチームで開発・運用しているアンケートシステムではデータベースにCloudSQL(PostgreSQL)を利用しています。 アンケートシステムでは、ユーザのアンケートの回答を集計するために様々なクエリを駆使します。 その時、発行しようとしたクエリは下記のような結果を得るものでした。 クエリ結果 具体的なクエリは以下のようなものになります(あくまでイメージ。実際はもう少し複雑です)。 SELECT user_id , question1_answer , question2_answer , question3_answer , (略) FROM user u
Citus is a PostgreSQL extension that transforms Postgres into a distributed database—so you can achieve high performance at any scale. With Citus, you extend your PostgreSQL database with new superpowers: Distributed tables are sharded across a cluster of PostgreSQL nodes to combine their CPU, memory, storage and I/O capacity. References tables are replicated to all nodes for joins and foreign key
従業員データベース機能の開発を担当している渡邉です。最近公開したGemであるactiverecord-tenant-level-securityの紹介をします。 SmartHRにおけるマルチテナントの現在 私たちが開発するSmartHRはお客様ごとに1つの環境を提供する、マルチテナント型SaaSです。サービス全体で1つのデータベースを持ち、複数のテナントのデータが混ざらないように、SQLで問い合わせを行います。 1つの環境ごとに1つのデータベースを持つ方式は安全性の面で優れていますが、スキーマの保守やマイグレーションにかかる時間の増加など、多くの技術的な困難をもたらします。この選択の背景については、2018年に書かれた以下の記事もご覧ください。 tech.smarthr.jp とはいえ、常にテナントごとのWHERE句を意識しながらコードを書くのは大変ですし、不具合の温床になります。幸い、私
この記事は Ruby on Railsのカレンダー | Advent Calendar 2021 - Qiita 18日目の記事です。 昨日に引き続き、空いていたので参加してみました。 背景 昨日、Advent Calender Ranking 2021 に New RelicをRailsアプリにinstallしたところ、DB部分で速度が出ていないことが分かりました。 当初、このRailsアプリはHerokuにデプロイし、postgres add-onn を利用していましたが、レコードの上限数を超えたため、とりあえず無料で使えるElephant SQLへ乗り換えていました。 （この辺の話は以下に記載） herokuのRailsアプリでDBをElephantSQLにしてみた - rochefort's blog こいつが若干遅いということは分かっていたのですが、今はHerokuからVPSに移
Alter column position/ja - PostgreSQL wiki postgresqlの初心者の多くからよく、テーブル内の列の位置を変更することはサポートされているかどうか聞かれます。 今のところサポートされていません。 列の位置を変更したいのであれば、テーブルを再作成するか、新しい列を追加してデータを移動するかのいずれかを行う必要があります。 列の位置の順序の変更を許すという考えをpostgresql開発者は対象としていません。 知らなかった。おかげで位置変更可能なGUIツールをずっと探し続けてしまった。 なおGUIツールを探している中で「Valentina Studio」の無料版が良かった。 https://www.valentina-db.com/jp/valentina-studio-overview
Hello PostgreSQL!! & Keep in touch MySQL!! ご挨拶 エンジニアチームの杉山です。あと1ヵ月程で今期も終了し、新しい期に向けて準備を進めています。来期は、更に多くの方にLCLのサービスをより快適に利用して頂く為に、エンジニアからも積極的にアイデアや技術を活用したソリューションを提案し、サービスに実装していければ良いかなと思っています。 現在、バス比較なびでは、全国37,000件以上のバス料金を掲載し 月間400万人超の方々に利用して頂いてますが、サービスの規模が年々大きくなってきている為、 アプリケーションやインフラもビジネス側のニーズとバランスを取りながら、日々整備していく必要がある状態です。優秀でやる気のある若手エンジニアメンバーが課題意識を持って、 日々自発的に取り組んでくれているので、自分の方は引き続き経営陣と調整しながらサービスの成長に努め
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
