データ分析おじさん

未分類

Linear Probing

Masked Autoencoders Are Scalable Vision Learners を読んでいたら見かけた記述。 ​自己教師あり学習(Self-Supervised Learning)の分野では、モデルが学習した特徴表...
書評

短書評一覧

比較的短めな書評ページ FACTFULLNESS FACTFULNESS10の思い込みを乗り越え、データを基に世界を正しく見る習慣 発行:2019年1月15日 第1版第1刷著者:ハンス・ロスリング 人は悲観...
python

pandas: 欠損値割合を指定して列を削除する

python-pandasを用いた前処理を実施する際に,欠損率XX%を超える列を削除する方法について。 結論 自前で処理を作成するパターンと,pandas.DataFrame.dropnaメソッドの”thresh”を設定するパ...
python

Tensorflow Keras: 2値分類 実装例

Tensorflow Keras を利用した深層学習(Deep Learning)2値分類モデルの単純な実装例について,常に参照できるように備忘録として示す。モデル構築の実装例を可能な限りシンプルに示すため,入力データの前処理やハイパーパ...
python

Tensorflow Keras: AutoEncoder 実装例

Tensorflow Keras を利用したAutoEncoderの単純な実装例について,常に参照できるように備忘録として示す。本ページでは MNIST を対象とした画像の再構成を扱う。モデル構築の実装例を可能な限りシンプルに示すため,入...
python

Tensorflow Keras: 深層学習(Deep Learning)回帰 実装例

Tensorflow Keras を利用した深層学習(Deep Learning)回帰モデルの単純な実装例について,常に参照できるように備忘録として示す。本ページでは Boston housing データセットを利用した回帰問題を扱う。モ...
python

pandas .to_csv エラー対策: UnicodeEncodeError: ‘shift_jis’ codec can’t encode character

Pandasの.to_csvメソッドを使用してCSVファイル出力を行う際にUnicodeEncodeErrorを起こしたので,備忘録的に対策を記載。 ページ作成者のOSはWindowsなので,Linux / Mac OS での再現性...
python

Tkinter: gridメソッドで余白をウィジェットに割り当てる

Tkinterを用いたGUIアプリケーション開発では,tkinter.Labelやtkinter.Entry等のウィジェットを配置するため,packメソッドやgridメソッドを利用します。 ウェブ検索結果ではgirdメソッドを用いた...
python

pythonで高相関の特徴量を削除する方法

重回帰モデルなどの予測モデル構築を行う際に,特徴量間で高い相関係数を示すものが存在する場合には多重共線性が問題となるケースがあります。 こうしたケースでは一般的に高相関の特徴量をデータから除外しますが,このページではその手続きについ...
python

Kerasを利用した画像2クラス分類CNN

Kerasを利用した画像分類を業務内で扱うことがあり,まれに実装を忘れてしまう。いつ・どこからでも参照できるように,備忘録としてブログ上にポストしておく。本ページでは,転移学習(base_model = VGG16)を利用した,画像の2ク...