pythonpandas: 欠損値割合を指定して列を削除する python-pandasを用いた前処理を実施する際に,欠損率XX%を超える列を削除する方法について。 結論 自前で処理を作成するパターンと,pandas.DataFrame.dropnaメソッドの”thresh”を設定するパ... 2023.02.05python前処理pandas
pythonpandas .to_csv エラー対策: UnicodeEncodeError: ‘shift_jis’ codec can’t encode character Pandasの.to_csvメソッドを使用してCSVファイル出力を行う際にUnicodeEncodeErrorを起こしたので,備忘録的に対策を記載。 ページ作成者のOSはWindowsなので,Linux / Mac OS での再現性... 2022.07.16python前処理開発
pythonpythonで高相関の特徴量を削除する方法 重回帰モデルなどの予測モデル構築を行う際に,特徴量間で高い相関係数を示すものが存在する場合には多重共線性が問題となるケースがあります。 こうしたケースでは一般的に高相関の特徴量をデータから除外しますが,このページではその手続きについ... 2021.10.13python可視化前処理
pythonpythonで移動平均 時系列データには,トレンドや季節変動など意味ある成分のほかに,不規則な誤差変動が含まれる場合があります。 誤差変動の重畳した時系列データの例 こうした非系統的な誤差変動を平滑化するために移動平均が用いられます。 サンプル... 2020.08.26pythonmatplotlib可視化時系列データ前処理
pythonpythonで指定値に最も近い値のインデックス検索 python環境におけるnumpy arrayやpandas dataframeから,指定した値に最も近い値のインデックス番号を検索する方法についてまとめてみました。 (本ページにて紹介しているコードはgithubに... 2020.08.26python前処理
pythonpythonでエクセルシート別にデータ保存 シート別にデータを保存したエクセルファイルの作成方法について (本ページにて紹介しているコードはgithubにて公開しています。) openpyxlのインストール Excel操作のための「op... 2020.08.26python前処理
pythonpythonで特定文字列を含む/含まない列名を取得 python環境において,pandasデータフレームの列から指定の文字列を含む列を取得する方法について。 (本ページにて紹介しているコードはgithubにて公開しています。) サンプルデータの読み込み サンプ... 2020.08.25python前処理