journey of Froakie (ケロマツの旅路)

Introduction English ver 今日は、ヘッセ行列を用いたテイラー展開について書こうと思います。 これは最適化を勉強するにあたって、とても大事になってくるので自分でまとめて残しておくことにしました。とくに、機械学習では最適化を必ず行うため、このブログのタイトルにもマッチした内容だと思います。 . 概要 ヘッセ行列の定義 ベクトルを用いたテイラー展開 関数の最適性 ヘッセ行列の定義 仮定 f は次のような条件を満たす関数です。. f はn次元ベクトルから実数値を出力します。 このベクトルは次のように表せます。 \[x = [x_1,x_2,,,,x_n]\] \(\forall x_i , i \in {1,2,,,n}\), f は二回偏微分可能です。 定義 ヘッセ行列は \(\frac{\partial^2}{\partial x_i \partial x_j}を (i,j)要素に持ちます。\) よってヘッセ行列は次のように表せます。 \[ H(f) = \left( \begin{array}{cccc} \frac{\partial^ 2}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & &\ldots \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^ 2 f}{\partial x_1 \partial x_2} & \frac{\partial^ 2 f}{\partial x_2^ 2} & \ldots & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \frac{\partial^ 2 f}{\partial x_n \partial x_2} & \ldo...

Introduction English ver 今回はロルの定理について書いていきます・ ロルの定理は平均値の定理の証明に使われる定理です。 平均値の定理についてはまた、今度書こうと思います。 ロルの定理の前に最大値原理というものを紹介しておきます。（後で証明に使います。） 最大値原理 fが閉区間上で連続な関数 \(\implies\) fは最大値を持つ（有限値） 証明 最大値原理の証明は難しいです。この投稿で書いてしまうのは大変なので、また、別の投稿で書きたいと思います。 Maximum Principle ロルの定理 fは区間[a,b]で連続で、(a,b)で微分可能とします。 この時 \[f(a) = f(b) \implies \exists ~~c ~~s.t~~ f'(c) = 0 , a<c<b\] 証明 f(x) が定数関数の時、 \[\forall c \in (a,b) , f'(c) = 0\] f(x)が定数関数でない時、 \(\exists t ~~s.t~~f(a) < f(t)\), \(\exists c ~~s.t~~ \max f(x) = f(c)\) by Maximum principle I proof \(f'(c)=0\) f は\(x = c\)　で微分可能で、\(f(c) >= f(c+h)\). よって \[f'(c) = \lim_{h \rightarrow +0} \frac{f(c+h) - f(c)}{h} \leq 0\] \[f'(c) = \lim_{h \rightarrow -0} \frac{f(c+h) - f(c)}{h} \geq 0\] よって　\[0 \leq \lim_{h \rightarrow -0} \frac{f(c+h) - f(c)}{h} =f'(c) = \lim_{h \rightarrow +0} \frac{f(c+h) - f(c)}{h} \leq 0\] \[f'(c)=0\] \(\exists t ~~s.t f(a)>f(t)\)　の時も同様です。 イメージ \(f(3)=...

Introduction English ver 今日はテイラー展開について紹介します。 ここでは、一変数関数だけでなく、多変数関数のテイラー展開も紹介します。 一変数関数のテイラー展開 f(X) は区間(a,b)で連続であり、また、n回微分可能とします。 すると、f(x) は以下のように表せます。 \[\exists c ~~s.t~~ f(b) = \sum_{k=0}^{n-1} f^{(k)}(a)\frac{(b-a)^k}{k!} + f^{(n)}(c) \frac{(b-a)^n}{n!}, c \in (a,b)\] このf(x)を多項式で表したものをテイラー展開といいます。 最後の項は、剰余項と呼ばれます。 多変数関数のテイラー展開 多変数関数のテイラー展開はかなり複雑な形をしています。 fは多変数関数とします。 さらに、m回微分可能な連続関数とします。 この時、 \(f(x_1+h_1,x_2+h_2,.....,x_n+h_n)\) は次のように表せます。 \[\exists \theta ~~s.t~~\] \[f(x_1+h_1,x_2+h_2,...,x_n+h_n)=f(x_1,x_2,...,x_n) + \] \[\sum_{m=0}^{n-1} \frac{1}{m-1} \sum_{k_1=1}^{n} \sum{k_2=1}^{n} ... \sum{k_{m-1}=1}^{n} \frac{\partial^{m-1} f}{\partial x_{k_1} \partial x_{k_2} .... \partial x_{k_{m-1}} }(x_1,x_2,..,x_n)h_{k_1}h_{k_2} ..... h_{k_m-1} \] \[+ \frac{1}{m} \sum_{k_1=1}^{n} \sum_{k_2=1}^{n} ... \sum_{k_m=1}^{n} \frac{\partial^{m} f}{\partial x_{k_1} \partial x_{k_2} ... \partial x_{k_m} }(x_1 + \theta h_1, x_2 + \theta h_2,...., x_n + \theta h_n) h_k{k_1}h_{...