Helve’s Python memo

Pythonを使った機械学習やデータ分析の備忘録

数学

PyTorchの自動微分で勾配を求める

ディープラーニングのライブラリの1つであるPyTorchには、自動微分の機能が実装されている。自動微分を使うと、関数の勾配ベクトルを自動的に求めることができるので、勾配を使った最適化手法を容易に行える。 本記事では、PyTorchのtensorクラスについて簡…

直線探索を使った最急降下法をPythonで実装

「工学基礎 最適化とその応用」を読んだので、最急降下法と直線探索への理解を深めるため、Pythonで実装した。 本記事では、最急降下法と、Armijo条件と呼ばれる直線探索手法について簡単に解説する。目次 はじめに 最急降下法 直線探索 Pythonによる実装 最…

LLE (Locally Linear Embedding) による非線形データの次元削減

LLE (Locally Linear Embedding) は、非線形データを対象とする次元削減手法の1つである。 本記事では、LLEのアルゴリズムについて解説する。目次 はじめに 多様体 LLEアルゴリズム 局所的な関係の線形モデル化 関係を維持した次元削減 参考

多重共線性(マルチコ)の直観的説明

説明変数が2つ以上ある回帰モデル(重回帰モデル)を作成するとき、相関が強い説明変数があると、推定結果が不安定になる。 この問題は多重共線性、あるいは英語のmulti-collinearityからマルチコと呼ばれる。 本記事では、多重共線性が生じる原因について、…

※Adblockが有効の場合やモバイル版ページでは、シェアボタンをクリックできません