以前、このブログでは pandas の DataFrame を Pickle として保存することで読み込み速度を上げる、というテクニックを紹介した。 blog.amedama.jp 実は pandas がサポートしている永続化方式は Pickle 以外にもある。 今回は、その中でも代表的な以下の永続化フォーマットについて特性を調べると共に簡単なベンチマークを取ってみることにした。 Pickle Feather Parquet 使った環境とパッケージのバージョンは次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | egrep "(pandas|feather-format|
PythonでKaggleなどのデータ分析を行う際、pandasでゴリゴリ作業をすることが多いかと思います。 最近知って「めっちゃ便利やん！」ってなったものをまとめておきたいと思います。 全部の関数にドキュメントへのリンクを付けたので参考にしてください。 今回も検証にはTitanicのデータセットを用います。また、文中でのdf.hoge()はpandasのDataFrameのメソッドであることを、pd.hoge()はpandasの関数であることを表します。 df = read_csv('input/train.csv', index_col=0) print(df.shape) df.head() 最低限押さえておきたいやつら まずはここから。 10 Minutes to pandas よく使うやつら。詳しい解説は省略するので、ドキュメントのリンク先を見てください。 関数 内容 リンク d
csvの読み込み csv読み込み。 そのままread_csvすると1行目をheaderとして認識する。ヘッダがない場合はheader=Noneとしておけば良い。 下記のようなファイルを読み込んでみる。 10,8,3 12,1,5 5,3,3 import pandas as pd pd.read_csv("foo.csv", header=None) 10 8 3 0 12 1 5 1 5 3 3 試してみたところ、header=-1とかheader=Falseでも同じ挙動になった。 headerに名前を付ける場合は、namesを使用。 pd.read_csv( 'foo.txt', names=('a', 'b', 'c') ) a b c 0 10 8 3 1 12 1 5 2 5 3 3 ヘッダ行があれば特に何も指定せずに読み込める。 下記のようなファイルを読み込んでみる。 col1
pandas ではデータを 列 や 表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また 何らかの関数を適用したい、ということがよくある。このエントリでは以下の 3 つについて整理したい。 イテレーション 関数適用 pipe (0.16.2 で追加) それぞれ、Series、DataFrame、GroupBy (DataFrame.groupbyしたデータ) で可能な操作が異なるため、順に記載する。 まずは必要なパッケージを import する。 import numpy as np import pandas as pd イテレーション Series Series は以下 2つのイテレーション用メソッドを持つ。各メソッドの挙動は以下のようになる。 __iter__: Series の値 ( values ) のみをイテレーシ
pandas-rsをリリースしました pandasから簡単にPostgreSQLあるいはAWSのサービスであるRedsfhit^1につなげる簡単なライブラリを書きました。 適当に書いたコードなので一部臭いのです。修正のPRお待ちしています。 pandas-rsはTreasureData^2さんが開発しているpandas-tdに影響を受けて作りました。 レポジトリはここ↓ github.com PR待ってます。 postgresが必要です Macの場合。postgresqlが入っている必要があります。元から入っている場合は必要ありません。 brew update brew install --force ossp-uuid brew install postgresql インストール方法 pip install pandas-rs 使い方 Shellで、passwordをエクスポートすること
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
Data visualization cannot support wide datasets, with lots of variables. This plot of Napoleon's march is seen as an exceptional piece of data visualization that conveys the multivariate relationships in the world, and it contains about seven variables: Longitude, latitude, date, temperature, direction branch, army size. (You could arrive at a slightly different number if define the variables diff
一ヶ月ぶり、こちらのエントリーの続編です。 shinyorke.hatenablog.com こちらで作ったデータですが、その後も粛々とデータの分析に使ったり追加要件の開発を行ったりしてる訳ですが*1、つい最近このデータを使って新しいネタを作ったので簡単に紹介します。 Python+pandas+matplotlibで先発エースの勝ち星を月別で集計&グラフ化してみた キッカケとテーマ はじめてのpandas matplotlibで可視化 結論 【Appendix】参考文献 キッカケとテーマ 私は現実の野球もゲームの野球も大好きで、時間を見つけては一球速報やらオンデマンドで中継を見てるのですが*2、ある日こんなことに気が付きました。 シカゴ・カブスのエース左腕、ジョン・レスター*3投手の4月成績が酷い。4試合投げて0勝2敗防御率6.23とは何事だ！ しかし、レスターはここ5年安定した成績を残
Python and Treasure Data トレジャーデータでは、何よりも分析者、意思決定者のデータ分析を楽にすることをビジョンとしています。SQLで生データを触れる当社サービスですが、より込み入った分析をしたり、既存のスクリプトやツール群を活かそうと考えると、どうしてもRやPythonに手を伸ばしたくなります。 Rに関してはJDBCドライバーから接続することができ、実際お客様にもご利用いただいているのですが、そういえばPythonからどうやるんだったっけなと先日ふと思いまして、ちょっと調べてみたところ、衝撃的な事実が発覚しました。 トレジャーデータにはPython Clientがない！（UPDATE: うちのエースpythonistaが作りました) サードパーティーのがあるかなと探してみたりもしましたがありません。これでは、Python/Pandasを十八番としているデータサイエン
概要 書いていて長くなったため、まず前編として pandas で データを行 / 列から選択する方法を少し詳しく書く。特に、個人的にはけっこう重要だと思っている loc と iloc について 日本語で整理したものがなさそうなので。 サンプルデータの準備 import pandas as pd s = pd.Series([1, 2, 3], index = ['I1', 'I2', 'I3']) df = pd.DataFrame({'C1': [11, 21, 31], 'C2': [12, 22, 32], 'C3': [13, 23, 33]}, index = ['I1', 'I2', 'I3']) s # I1 1 # I2 2 # I3 3 # dtype: int64 df # C1 C2 C3 # I1 11 12 13 # I2 21 22 23 # I3 31 32
(python2.7.7, pandas0.14.0) 下記の記事を仙台市の統計データでやってみた。 ITエンジニアのためのデータサイエンティスト養成講座（特別編）：学習塾を運営するのに最適なのはどこ？ オープンデータを活用して実践的なスキルを身に付ける (1/3) - ＠IT 結果 こんなんできました。 「仙台市内で学習塾を運営するのに最適なのはどの区？」 想定以上に面白みの無いグラフになってしまった。。。 別の事やってみようと思う。 ソースコード gist にアップして nbviewer で python nootbook で表示できるようにしてみた。 http://nbviewer.ipython.org/gist/CortYuming/4ff2501c338dd3be66cc
Python pandasとstatsmodelsを用いた時系列分析についてまとめる。pandasは欠損値の処理や移動平均の算出に、statsmodelsはARIMAなど時系列解析の実施に用いるとよさそう。以下の内容について順次取り上げていきたい。 ●単純移動平均 ●自己相関関数（ACF：Auto Correlation Function） ●偏自己相関関数（PACF：Partial Auto Correlation Function） ●自己回帰過程：AR(p) ●自己回帰移動平均過程：ARMA(p, q) ●自己回帰和分移動平均過程：ARIMA(p, q, d) ●多変量自己回帰過程：VAR(p) ●状態空間モデル ARIMAまでがひとつの系列のみを対象とした分析。VARはARの多変量版で、ある系列を予測するのに他の系列のデータも活用する。状態空間モデルは、観測方程式と状態方程式（真の
“Advent Calendar 2013 - Python で解析!” の五日目。Pandas で DataFrame - 3 1. 例のごとく準備を…。 In [1]: import pandas as pd In [2]: df = pd.DataFrame({ ...: u'名前': [u'山田', u'鈴木', u'佐藤', u'木村'], ...: u'性別': [u'男', u'男', u'女', u'女'] , ...: u'身長': [181, 173, 159, 164], ...: u'体重': [79, 71, 51, 52] ...: }) In [3]: df Out[3]: 体重 名前 性別 身長 0 79 山田 男 181 1 71 鈴木 男 173 2 51 佐藤 女 159 3 52 木村 女 164 2. 任意の行を選択 まずは、特定の行を取り出す。R
What is it? pandas is a Python package that provides fast, flexible, and expressive data structures designed to make working with "relational" or "labeled" data both easy and intuitive. It aims to be the fundamental high-level building block for doing practical, real world data analysis in Python. Additionally, it has the broader goal of becoming the most powerful and flexible open source data ana
2012年10月06日16:47 by norikazu197768 Python：データ操作Tips（その１） カテゴリ分析技術 norikazu197768 Comment(0)Trackback(0) これまで主に分析手法の観点から書いてきたので、今回は視点を変えデータ操作の観点からまとめたい。まずはこれまでの記事で使った操作をまとめたい。 pandas : http://pandas.pydata.org/ orange : http://orange.biolab.si/ pyvttbl : http://code.google.com/p/pyvttbl/ ■TSVファイルの読込 #Pandas >>> from pandas import * >>> adult = read_table('./data/adult.txt') #Orange >>> import Or
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
