初期データを投入する際に、mysqldumpで出力した際に作られるようなSQLの形式になっている場合は、mysqlクライアントで実行することでロードすることができました。しかし、外部で用意されているデータはTSVやCSVといったデータで渡されることもあります。TSVやCSVの形式からSQLへ変換を行っても良いのですが、わざわざ変換するのも大変です。そこで今回は、LOAD DATA INFILE構文を用いてTSVやCSVといったテキストファイルからMySQLにデータをロードする方法を紹介したいと思います。 検証環境 今回は第23回 mysqlslapを使って負荷テストをしてみようで使用したCentOS7で実行しています。MySQLのバージョンは5.7.13を使用しています。 LOAD DATA INFILE構文 LOAD DATA INFILE構文とは、テキストファイルで用意されたデータをM
CSVファイルやTSVファイルはさまざまなデータを格納できるデータベース的な構造を持つテキストファイルですが、データベースで使用できる便利なSQL言語は使用することができません。 表計算ソフトに取り込んでデータを活用することはできるものの、SQLに慣れ親しんだ方ならば、SQLを使って直接作業したいと思った経験のある方も多いでしょう。 本日紹介する「TextQL」はこのアイデアに基づいて開発されたコマンドラインツールです。サンフランスのソフトエンジニアPaul Bergeron氏によって作成されたGo言語製のオープンソースソフトとなっています。 SQLiteでCSVファイルを取り込んでも同じような作業が可能ですが、次に示すような違いがあるとのことです。 sqliteインポートは標準入力を受け取らずUNIXパイプを破壊する textqlはクオートでエスケープされたデリミタをサポートする tex
Processing large files is a memory intensive operation and could cause servers to run out of RAM memory and swap to disk. Let’s look at few ways to process CSV files with Ruby and measure the memory consumption and speed performance. Prepare CSV data sample Before we start, let’s prepare a CSV file data.csv with 1 million rows (~ 75 MB) to use in tests. require 'csv' require_relative './helpers' h
Rubyでcsvを扱うときにパッと使えるようにメモを残しておきます。 やることは以下です。 CSVファイルからデータを読み込むこと ( CSV.read ) 読み込んだCSVデータをtxtファイルに出力すること ( File.open、file.write ) おまけ CSV.foreachでもCSVから読み込み CSV.generateでCSVで出力する CSV.read member.csvというcsvファイルを読み込んで、intro.txtとファイルに出力するサンプルです。 require 'csv' csv_data = CSV.read('member.csv', headers: true) puts "start..." File.open("intro.txt", 'w') do |file| csv_data.each do |data| intro_msg = "#{d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
