Linear quadratic form in optimization problem \(Ax=b\)

談到最佳化(optimization)就不能逃避這個問題,為什麼大多的論文最佳化都喜歡來個

\[ \underset{x}{min}{\left \|Ax-b\right \|^2} \]

然後解

\[Ax=b\]

因為最好微分也最好解方程式! 但便宜的代價就是結果未必符合期望…解出來的\(x\)會有平均化residual的特性,在大多某些實際問題上不適用,以機率角度來說就是Gaussian prior,通常在實驗結果是個結果悽慘的對照組,但仍是一個非常適合入門的最佳化式子,因為我們需要一個夠爛的基準解,只要比它稍好就談得上學術貢獻拉!

本篇提供一個簡易的推導,故事是這樣來的,先從最簡單的二次式開始吧

閱讀全文〈Linear quadratic form in optimization problem \(Ax=b\)〉