データ分析おじさん

python

pythonで移動平均

時系列データには,トレンドや季節変動など意味ある成分のほかに,不規則な誤差変動が含まれる場合があります。 誤差変動の重畳した時系列データの例 こうした非系統的な誤差変動を平滑化するために移動平均が用いられます。 サンプル...
python

pythonで分類問題を評価

sklearn.metrics.classification_report sklearn.metrics の classification_report を利用することで,分類問題の評価指標である以下4つを一度に計算可能です。 ...
可視化

pythonで2軸グラフ

複数のデータを単一のグラフで表現しようとした場合,データの絶対値の違いから,一方のデータの特徴が意図したとおりに描画できない場合があります。 赤線は一見直線のように見えるが実際にはCos波である そこで,mat...
python

pythonで指定値に最も近い値のインデックス検索

python環境におけるnumpy arrayやpandas dataframeから,指定した値に最も近い値のインデックス番号を検索する方法についてまとめてみました。 (本ページにて紹介しているコードはgithubに...
python

pythonでエクセルシート別にデータ保存

シート別にデータを保存したエクセルファイルの作成方法について (本ページにて紹介しているコードはgithubにて公開しています。) openpyxlのインストール Excel操作のための「op...
python

pythonで非線形相関 (MIC) 係数行列の計算

データ間の非線形な相関関係を示す指標であるMICの係数行列を求める方法について。 原著論文はこちら。 (本ページにて紹介しているコードはgithubにて公開しています。) mine...
python

pythonで特定文字列を含む/含まない列名を取得

python環境において,pandasデータフレームの列から指定の文字列を含む列を取得する方法について。 (本ページにて紹介しているコードはgithubにて公開しています。) サンプルデータの読み込み サンプ...
pystan

pystanで単回帰モデル

「RとStanで始めるベイズ統計モデリングによるデータ分析入門」「実践編第2章 単回帰モデル」を対象に,公開されているR,Stanのコードをpython,pystanのコードへと書き直した一例です。Stanの代わりにpys...
pystan

pystanでモデルを用いた予測

「RとStanで始めるベイズ統計モデリングによるデータ分析入門 実践編第3章」を対象に,公開されているR,Stanのコードをpython,pystanのコードへと書き直した一例です。Stanの代わりにpystanを,bay...
MCMC

pystanでデザイン行列を用いた一般化線形モデルの推定

実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 (KS情報科学専門書) 「RとStanで始めるベイズ統計モデリングによるデータ分析入門」の「第3部第4章 デザイ...