PandasのDataFrameをそのままElasticsearchに入れた方法書きます。 元データ準備 データの前処理 Elasticsearchへの接続確認 Elasticsearchへインデックスのスキーマテンプレートの定義 Elasticsearchにデータ投入 確認 参考URL 元データ準備 CSVのデータないかなとググったら一番最初に出てきたこちらのデータ使います。 男女別人口－全国，都道府県（大正９年～平成27年） www.e-stat.go.jp ダウンロードしたら、とりあえずShift_JISからUTF-8に変換しました。 中身のデータはこんな感じです。 データの前処理 簡単に前処理かけます。 # CSV読み込み df = pd.read_csv("c01.csv") # 不要な列を削除 df = df.drop('注',axis=1) df = df.drop('和暦（
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
このサイトについて このサイトでは、データ加工や集計、統計分析などインタラクティブに実行されるスクリプトやバッチプログラム、本格的な Web アプリケーションの実装まで、多彩な機能を持ちながらも初心者にも扱いやすいプログラミング言語 Python (パイソン) を使ったデータの統計分析の手順や使い方について紹介します。 初めてプログラムに触れる人や、R や SAS, Ruby のような言語のプログラミング経験はあっても、Python をあまり扱った経験のない初心者向けに理解できるような内容としてまとめています。 また、本格的な統計分析（基本統計量や多変量解析、データマイニング、機械学習）を学んだことがない人でも理解できるよう、統計（アナリティクス）の解説も必要に応じて述べています。 このサイトで提供できる情報を通して、皆さんが Python を使ったビッグデータ解析を思いのままに使いこなせ
これまで、R で時系列解析を行ってきたので、Python でもできるよう手習いまで、コードを手で打ってみる。 1. ランダム・ウォーク と 移動平均線 時系列データ生成（ランダムウォーク系列） （参考） 分析技術とビジネスインテリジェンス 「Python：時系列分析（その１）」 上記サイトからスクリプトを借用します （※ plt.show() を最後に追加） import numpy as np randn = np.random.randn from pandas import * import matplotlib.pyplot as plt #■ランダムウォーク系列データの作成 ts = Series(randn(1000), index = DateRange('2000/1/1', periods = 1000)) ts = ts.cumsum() #■単純移動平均 長短のトレン
Python pandasとstatsmodelsを用いた時系列分析についてまとめる。pandasは欠損値の処理や移動平均の算出に、statsmodelsはARIMAなど時系列解析の実施に用いるとよさそう。以下の内容について順次取り上げていきたい。 ●単純移動平均 ●自己相関関数（ACF：Auto Correlation Function） ●偏自己相関関数（PACF：Partial Auto Correlation Function） ●自己回帰過程：AR(p) ●自己回帰移動平均過程：ARMA(p, q) ●自己回帰和分移動平均過程：ARIMA(p, q, d) ●多変量自己回帰過程：VAR(p) ●状態空間モデル ARIMAまでがひとつの系列のみを対象とした分析。VARはARの多変量版で、ある系列を予測するのに他の系列のデータも活用する。状態空間モデルは、観測方程式と状態方程式（真の
はじめに 株価データは、代表的な時系列データの一つですが、Pythonはこの時系列データを取り扱うのを非常に得意としています。特に、Pythonライブラリの一つであるpandasはもともと金融データを扱うために開発されたため、時系列データの分析に強力な機能を数多く備えています。 今回やることは非常にシンプルで、下記の２点だけです。（すべてIPython Notebook上で行っています。） １. Google Financeからトヨタの株価データを取得する。 ２. 取得した株価データを時系列データとしてプロットする。 株価データの取得 まず始めに、下記のように必要となるライブラリをインポートします。 import pandas as pd from pandas import Series, DataFrame import numpy as np import matplotlib.py
概要 Python で日時/タイムスタンプ関連の操作をする場合は dateutil や arrow を使っている人が多いと思うが、 pandas でもそういった処理がわかりやすく書けるよ、という話。 pandas の本領は多次元データの蓄積/変形/集約処理にあるが、日時操作に関連した強力なメソッド / ユーティリティもいくつか持っている。今回は それらを使って日時操作を簡単に行う方法を書いてく。ということで DataFrame も Series もでてこない pandas 記事のはじまり。 ※ ここでいう "日時/タイムスタンプ関連の操作" は文字列パース、日時加算/減算、タイムゾーン設定、条件に合致する日時のリスト生成などを想定。時系列補間/リサンプリングなんかはまた膨大になるので別途。 インストール 以下サンプルには 0.15での追加機能も含まれるため、0.15 以降が必要。 pip
本書は数字選択式宝くじ ナンバーズ の予想方法を研究する人と、統計学を独学したいけど同じ勉強するなら(宝くじという)エキサイティングな要素も欲しいという人に向けた統計解析の解説書です。 統計学を学ぶためにナンバーズのデータを利用し、ナンバーズの予想のためにどのような統計的手法が使えるかを学ぶことができる文書です。 本書の目指すところ 統計的手法の使い方を学ぶ。 統計学の理論は無視する(高度な数式を勉強しない)。 統計的手法を使ってナンバーズを予想してみる。 統計学の基礎的な知識を学ぶ。 データマイニングも含む。 ナンバーズの予想に使えないかもしれないけどおもしろそうな予想方法も勉強してみる。 統計解析のソフトウェアは Python と関連ライブラリ ( pandas や SciPy library ) を使用します。 エクセル や Google スプレッドシート 、 R もありますけど個人
株のデータを解析して、未来の株価が分かったら大金持ちになれるかも知れません。 それはさておき、Pythonと周辺ライブラリを使うと、株価データのような、時系列データの解析も比較的簡単に行う事ができます。 次のような課題について考えて行くことにしましょう。 1.) 株価の時間による変化を見てみる。 2.) 日ごとの変動を可視化する。 3.) 移動平均を計算する 4.) 複数の株価の終値の相関を計算する 4.) 複数の株価の変動の関係を見る 5.) 特定の株のリスクを計算する 6.) シミュレーションを使った未来の予測 # 必要なライブラリをimportします import pandas as pd from pandas import Series,DataFrame import numpy as np # 可視化のためのセットです。 import matplotlib.pyplot as
2014-04-03 第２章 Pythonによるデータ分析事例 Python ここで扱う本は以下のものです。Pythonによるデータ分析入門 ―NumPy、pandasを使ったデータ処理作者: Wes McKinney,小林儀匡,鈴木宏尚,瀬戸山雅人,滝口開資,野上大介出版社/メーカー: オライリージャパン発売日: 2013/12/26メディア: 大型本この商品を含むブログ (5件) を見る PythonのPの字も知らない私が書くので、ところどころ間違いがあると思います。「じゃぁ書くな。」って話なんですけど、早くPythonに慣れたいので、書きます。とりあえず私のPython周辺の環境は MacBook Air メモリ4GB フラッシュストレージ256GB Python 2.7.6 Spyder（python 2.7） となっています。 第１章はPythonのインストール・セットアップに
概要 今週の 週刊 pandas は文字列処理について。やたらと文字数が多くなったのだが、これはデータを都度表示しているせいであって自分の話がムダに長いわけではない、、、と思いたい。 今回はこちらの記事に書いた内容も使うので、適宜ご参照ください。 サンプルデータ なんか適当な実データないかな？と探していたら 週間少年ジャンプの過去作品の連載作品 / ジャンルなどがまとめられているサイトをみつけた。これを pandas で集計できる形まで整形することをゴールにしたい。 KTR's Comic Room: Weekly Jump Database データの読み込み 上記リンクの "ジャンプ連載データ表" を、ファイル名 "jump_db.html" としてローカルに保存した。 補足 pd.read_html では引数に URL を渡して 直接ネットワークからファイルを読むこともできる。が、今回
何の話かというと Pattern Recognition and Machine Learning (Information Science and Statistics) 作者: Christopher Bishop出版社/メーカー: Springer発売日: 2010/02/15メディア: ハードカバー購入: 5人 クリック: 67回この商品を含むブログ (29件) を見るPRML（↑）の第1章（1.1 Example: Ploynomial Curve Fitting）では、正弦波にノイズの乗ったトレーニングセットを多項式でフィッティングする例があります。これと同じデータを生成して、この例を再現してみます。使用する言語は、Python + Pandas です。 PRMLの例の説明 トレーニングセット は、次のように生成します。 説明変数 に対して、下記の関数値（正弦波）に正規分布（平
以下の記述を発見 pandas 0.18.0 documentation » Remote Data Access Warning In pandas 0.17.0, the sub-package pandas.io.data will be removed in favor of a separately installable pandas-datareader package. This will allow the data modules to be independently updated to your pandas installation. The API for pandas-datareader v0.1.1 is the same as in pandas v0.16.1. (GH8961) You should replace the imports of t
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
