ニュートン法

$$g(v) := f(x + v) \approx f(x) + f'(x)^Tv + \frac{1}{2} v^T f''(x) v$$
$f$が凸だとすると，この２次近似も凸である．この近似式のヘッシアンは$f''(x)$なので，これが半正定値であればこの２次近似は凸．今，$f$が凸なので，そのヘッシアン$f''(x)$は半正定値行列．よってこの２次近似は凸．
この２次近似は凸なので，$g(v)=0$となる点がグローバルな最適解．これはFirst-order conditionから言える．以下のように求められる．

$$v = -f''(x)^{-1}f'(x)$$

つまり，$x \leftarrow x - f''(x)^{-1}f'(x)$と更新すれば良い．

ざっくり理解．