曲线拟合过程中的欠定过定问题

曲线拟合过程中，我们有目标函数

y(x,w)=w0+w1x+…+wMxM=M∑j=0wjxj

误差函数：

E(w)=12N∑n=1{y(xn,w)−tn}2

对于这个问题，当训练数据集合小于wj的个数时，我们可以认为对(2)求导，求得wj的过程为欠定方程的求解过程;当训练数据集合大于wj的个数时，对(2)求导，求得wj的过程是过定方程的求解过程。

不管是欠定还是过定，最小化 (2)的解w={wj}都是一般线性方程：M∑j=0Aijwj=Ti

的解。其中Aij=∑Nn=1(xn)i+j，Ti=∑Nn=1(xn)itn

我们可以把(1)带入(2)，得：

E(w)=12N∑n=1{M∑j=0wjxjn−tn}2

对于(3)，我们求wi，则有：

dxdwi=N∑n=1{M∑j=0wjxjn−tn}xin=N∑n=1M∑j=0wjxjnxin−N∑n=1tnxin

令(4)等于零，我们得到关于wj,j=0,…,M的方程：

N∑n=1M∑j=0wjxjnxin=N∑n=1tnxin

整理得到，

M∑j=0wjN∑n=1xi+jn=N∑n=1tnxin

令Aij=∑Nn=1xi+jn，Ti=∑n=1tnxin，所以我们得到了： M∑j=0Aijwj=Ti

我们看到，对于(7)，可以扩展为M+1个方程，即：

M∑j=0A0jwj=T0M∑j=0A1jwj=T1⋮=⋮M∑j=0AMjwj=TM

所以我们有M+1个方程M+1个未知数wj,j=0,…,M