最小二乘法

求解最小二乘的几种方法

in Parameter Estimation2 Comments on May 12, 2015

Contents [hide]

? 1 问题描述

? 2 线性最小二乘

o 2.1 Cholesky分解法

o 2.2 QR分解法

o 2.3 SVD分解法

o 2.4 方法比较

? 3 非线性最小二乘

o 3.1 梯度下降法

o 3.2 高斯牛顿法

o 3.3 Levenberg–Marquardt算法

? 4 加权最小二乘

计算机视觉中的好多问题都涉及到参数估计，即给定一些噪声数据，从中估算出模型参数。比如VO（Visual Odometry）1中给定前后帧的匹配点对，估计相机的的运动信息，就是可以构造成一个非线性最小二乘的求解问题。再比如机器学习中给定一些标记好的训练样本集，估计分类器的权重向量参数，也是可以通过一个线性最小二乘问题求解2。这些例子本质上都是最小二乘在数据拟合中的应用，即通过最小化残差的平方和的方法给这些观测数据拟合出一个最优的模型来。

问题描述

最小二乘是求解超定系统的标准方法，通俗的讲，就是方程组的个数大于未知数的个数。“最小二乘”的意思就是最小化残差（residual）的平方和。给定m个数

据(x1,y1),(x2,y2),...,(x m,y m)(x1,y1),(x2,y2),...,(xm,ym) 和一个模型函数y=f(x,β)y=f(x,β) .其

中β={β1,β2,...,βn}β={β1,β2,...,βn}就是要估计的参数。该参数的估计是通过最小化如下残差的平方和求

得的，

S=∑i=1m r2i(1)(1)S=∑i=1mri2

其中残差为r i=y i?f(x i,β),i=1,2,...,m ri=yi?f(xi,β),i=1,2,...,m。根据残差函数关于未知参数是否线性，可以把最小二乘分为线性最小二乘和非线性最小二乘。

线性最小二乘

线性最小二乘是解决线性回归问题的常用方法，它有一个闭式解。这里线性最小二乘的残差函数可以表示为

r i=y i?x iβ,i=1,2,...,m(2)(2)ri=yi?xiβ,i=1,2,...,m

这样需要最小化的目标函数变为

S=∑i=1m(y i?x Tiβ)2=(y?Xβ)T(y?Xβ)(3)(3)S=∑i=1m(yi?xiTβ)2=(y?Xβ)T(y?Xβ)

其中，y={y1,y2,...,y m}T y={y1,y2,...,ym}T , X=??????x T1x T2...x Tm??????X=[x1Tx2T...xmT] 。对式

子(3)(3) 关于ββ求导3，并使其等于0得，

?S?β=2X T(Xβ?y)=0(4)(4)?S?β=2XT(Xβ?y)=0

这样求出ββ得闭式解如下：

β=(X T X)?1X T y=X?y(5)(5)β=(XTX)?1XTy=X?y

上式中的(X T X)?1X T(XTX)?1XT是X X 的Moore–Penrose广义逆矩阵（也叫伪逆矩阵），可以表示为X?X?。当数据矩阵X X 比较大时，直接对式子(5)(5) 中的X T X XTX 求逆是不现实的，因为这是非常

耗时的。显然这种直接而蛮力的方法并不是最明智的方法。可以通过矩阵分解实现更可行的求解方式，下面给出在实际应用中常用的通过矩阵分解实现的求解方法。

Cholesky分解法

Cholesky分解就是把一个共轭对称4且正定的矩阵分解成一个下三角矩阵和其共轭转置的乘积。这

里X T X XTX 显然是对称矩阵，所以当其是正定的时候，可以分解为

X T X=RR T(6)(6)XTX=RRT

其中，R R 是一个下三角矩阵，把上式代入式子(5)(5) 中，得

RR Tβ=X T y(7)(7)RRTβ=XTy

这里设

R Tβ=z(8)(8)RTβ=z

代入式子(7)(7) 中，得，

Rz=X T y(9)(9)Rz=XTy

可以通过回代的方式解出上式中的z z ，然后再通过回代的方式就可以求解出式子(8)(8) 中的ββ了。QR分解法

狭义的QR分解是把一个矩阵分解成一个正交矩阵和一个下三角矩阵的乘积。更广义的QR分解则不必限制Q Q 矩阵为正交矩阵，只需要满足下面Q T Q=I QTQ=I 即可。因为正交矩阵要求矩阵必须为方阵，但是在求解最小二乘中，由于X X 是一个m×n,(m>n)m×n,(m>n) 的矩阵，所以一般是分解成一

个m×n,m×n, 的矩阵Q Q 和一个n×n n×n 的下三角矩阵。

首先，我们把式子(2)(2) 写成矩阵的形式，

r=y?Xβ(10)(10)r=y?Xβ

然后对X X 做QR分解，得

X=QR(11)(11)X=QR

其中，Q Q 是一个m×n m×n 的矩阵，满足Q T Q=I QTQ=I ，R R 是一个n×n n×n 下三角矩阵。这样式

子(10)(10) 变为，

r=y?QRβ(12)(12)r=y?QRβ

对上式两边同时左乘一个Q T QT ，得

Q T r=Q T y?Q T QRβ=[(Q T y)n?Rβ(Q T y)m?n]=[uv](13)(13)QTr=QTy?QTQRβ=[(QTy)n?Rβ(QTy)m?n]=[

uv]

这里Q T Q QTQ 是一个m×m m×m 的单位矩阵，所以可以分为两个部

分：n×n n×n 和(m?n)×(m?n)(m?n)×(m?n)，分别用u u 和v v 表示。这样，残差的平方和变为，S=∥r∥2=r T r=r T QQ T r=u T u+v T v(14)(14)S=∥r∥2=rTr=rTQQTr=uTu+vTv

由于v v 和ββ没有关系，所以当u u 等于零时，才能使得残差的平方和S S 最小。即，

Rβ=(Q T y)n(15)(15)Rβ=(QTy)n

因为R R 是下三角矩阵，所以通过回代就可很容易的求解出ββ值。

SVD分解法

SVD分解（奇异值分解）是把一个矩阵分解成一个正交矩阵（如果是复数矩阵的话，就是酉矩阵）和一个对角矩阵以及另一个正交矩阵的转置（如果是复数矩阵的话，就是共轭转置）的乘积。这里对X X 做SVD分解得，

X=UΣV T(16)(16)X=UΣVT

其中，U U 是m×m m×m 的正交矩阵，ΣΣ是m×n m×n 的矩形对角矩阵，V V 是一个n×n n×n 的正交矩阵。这里U U 和V V 的列向量分别是XX T XXT 和X T X XTX 的特征向量，而ΣΣ的对角线上的值是矩

阵X X 的奇异值。

由于X X 的伪逆矩阵为X?=VΣ?U T X?=VΣ?UT，所以式子(5)(5) 变成了，

β=X?y=VΣ?U T y(17)(17)β=X?y=VΣ?UTy

其中，Σ?Σ?是ΣΣ的伪逆矩阵，可以通过对其对角线的元素求倒数，然后转置得到。

方法比较

上述的三种方法比较下来，Cholesky分解法相对速度较快，但是其数值的稳定性较差，当X T X XTX为病态矩阵时，其估计的参数对噪声敏感性大，这样参数相对就不准。而QR分解法和SVD分解法虽然速度没有Cholesky分解法快，但是算法的数值相对比较稳定。当X T X XTX 的条件数比较大，也就是非常病态时，引入各种正则化项（例如岭回归）是解决这类病态矩阵问题的常用方法，虽然损失了参数的精度，但是保证了估计出的参数的稳定性。此外如果对所求参数ββ有先验知识，可以构造约束最小二乘，从而增加估计参数的稳定性。

非线性最小二乘

不同于线性最小二乘拥有一个闭式解，非线性最小二乘是很难得到一个闭式解的。所以求解的基本思想是通过一个线性的式子进行近似，然后通过不断的迭代来逼近最优解。

梯度下降法

梯度下降法的基本思想是基于这样的观察，当残差函数S S 在βnβn处可微，则，函数在梯度相反的方

向?g(βn)?g(βn)下降最快。这样就导出了梯度下降法的迭代关系式，

βn+1=βn?λg(βn)(18)(18)βn+1=βn?λg(βn)

其中，λλ是一个足够小的值使得S(βn)>S(βn+1)S(βn)>S(βn+1)。g g 是残差函数关于ββ的导数构成的

向量，其求解可以基于式子(1)(1) 求导得出，

g j=2∑i=1m r i?r i?βj(19)(19)gj=2∑i=1mri?ri?βj

关于λλ的选择问题，如果选择一个固定的值的话，收敛性较差。如果每次迭代选择不同的值，即结合直线搜索，每次迭代都选择最优的步长λλ，收敛性会好些，但是这样比较耗时。此外梯度下降法在快到达最小值时收敛速度会变慢。

高斯牛顿法

高斯牛顿法是牛顿法的一个改进版，它的优势在于不需要计算较为复杂的Hessian矩阵，也就是二阶导

数。设一维的函数f(x)f(x) ，我们知道牛顿法的迭代关系式

x n+1=x n?f′(x n)f′′(x n)(20)(20)xn+1=xn?f′(xn)f″(xn)

这个式子是通过f′(x)=0f′(x)=0求得的，首先设Δx=x?x nΔx=x?xn，对f(x)f(x) 在x n xn 处做二阶泰勒展

开，得

f T(x n+Δx)=f T(x)=f(x n)+f′(x n)Δx+12f′′(x n)Δx2(21)(21)fT(xn+Δx)=fT(x)=f(xn)+f′(xn)Δx+12f″(xn)Δx2

这样使得f′(x)f′(x)约等于下式，

f T(x n+Δx)?f(x n)Δx=0?f′(x n)+f′′(x n)Δx=0(22)(22)fT(xn+Δx)?f(xn)Δx=0?f′(xn)+f″(xn)Δx=0

求解上式即可得出式子(20)(20) ，变换到多维的形式后，延续式子(5)(5) 的符号风格，得

βs+1=βs?H?1g(23)(23)βs+1=βs?H?1g

其中，g g 是S S 关于ββ的导数构成的向量，H H 是S S 的Hessian矩阵。g g 求解可以参见式子(19)(19)，

而S S 的Hessian矩阵可以通过对式子(19)(19) 再次求导得出

H jk=2∑i=1m(?r i?βj?r i?βk+r i?2r i?βj?βk)(24)(24)Hjk=2∑i=1m(?ri?βj?ri?βk+ri?2ri?βj?βk)

高斯牛顿算法是通过忽略上式中的二次项，从而近似得出S S 的Hessian矩阵为，

H jk≈2∑i=1m J ij J ik(25)(25)Hjk≈2∑i=1mJijJik

其中，J ij=?r i?βj Jij=?ri?βj是Jacobian矩阵的元素，这样梯度和Hessian矩阵最终可以写成

gH=2J T r r=2J T r J r(26)(26)g=2JrTrH=2JrTJr

所以得出高斯牛顿算法最终的迭代公式

βs+1=βs?(J T r J r)?1J T r r(27)(27)βs+1=βs?(JrTJr)?1JrTr

Levenberg–Marquardt算法

Levenberg–Marquardt算法是介于梯度下降法和高斯牛顿法之间的一种折中算法，它是在高斯牛顿算法的基础上加了一个阻尼参数λλ，即

βs+1=βs?(J T r J r+λI)?1J T r r(28)(28)βs+1=βs?(JrTJr+λI)?1JrTr

这里的阻尼参数是可以自适应变化的，当λλ足够大时，上式其实就是一个梯度下降法，当λλ比较小时，上式就演化成了一个高斯牛顿法。阻尼参数的选择上常用的方法是选择一个初始的阻尼参数λ0λ0和一个因子数v,v>1v,v>1 。首先基于λ=λ0λ=λ0求出一个βs+1βs+1值，从而求出这个这次迭代使残差函数降低了多少，即ΔS=S(βs+1)?S(βs)ΔS=S(βs+1)?S(βs)。然后再分别求出基于λ=λ0vλ=λ0v以

及λ=λ0×vλ=λ0×v下对应的ΔSΔS，找出残差函数下降最大的点作为这次迭代的更新点。

加权最小二乘

在有些情况下，我们观测到的数据可能有着不同的权重，也就是说它们的可靠性是不一样的，这就需要使用加权最小二乘了。假设这个可靠性是由w i wi 决定的，则需要优化的残差函数就变成了，

S=∑i=1m w i r2i(29)(29)S=∑i=1mwiri2

如果残差函数是线性的，则上式变成

S=∑i=1m w i(y i?∑j=1n X ijβj)2=∥∥W1/2(y?Xβ)∥∥2(30)(30)S=∑i=1mwi(yi?∑j=1nXijβj)2=∥

W1/2(y?Xβ)∥2

对上式求导得线性最小二乘的闭式解，

β=(X T WX)?1X T Wy(31)(31)β=(XTWX)?1XTWy

当权重是也是参数ββ的函数，则该问题属于迭代加权最小二乘，可以利用高斯牛顿算法或是Levenberg–Marquardt算法进行迭代求解，比如利用高斯牛顿法的迭代关系式是，

βs+1=βs?(J T WJ)?1J T Wr(32)(32)βs+1=βs?(JTWJ)?1JTWr

以上便是对最小二乘问题的解法的一些总结，此外还有约束最小二乘等问题，这里就不详述了。

References

1. B. Kitt, A. Geiger, and H. Lategahn, "Visual odometry based on stereo image sequences with

ransac-based outlier rejection scheme," in Intelligent Vehicles Symposium (IV), 2010.

2.J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, "High-Speed Tracking with

Kernelized Correlation Filters," IEEE Transactions on PAMI, 2014.

3.矩阵的求导可以参考多伦多大学的Probabilistic and Statistical Inference Group关于矩阵运算的

总结。

4.这里共轭且对称的矩阵也叫埃尔米特矩阵（Hermitian matrix）。

递推最小二乘法算法

题目： （递推最小二乘法） 考虑如下系统： )()4(5.0)3()2(7.0)1(5.1)(k k u k u k y k y k y ξ+-+-=-+-- 式中，)(k ξ为方差为0.1的白噪声。 取初值I P 610)0(=、00=∧ ）（θ。选择方差为1的白噪声作为输入信号)(k u ，采用PLS 法进行参数估计。 Matlab 代码如下： clear all close all L=400; %仿真长度 uk=zeros(4,1); %输入初值：uk(i)表示u(k-i) yk=zeros(2,1); %输出初值 u=randn(L,1); %输入采用白噪声序列 xi=sqrt(0.1)*randn(L,1); %方差为0.1的白噪声序列 theta=[-1.5;0.7;1.0;0.5]; %对象参数真值 thetae_1=zeros(4,1); %（）θ初值 P=10^6*eye(4); %题目要求的初值 for k=1:L phi=[-yk;uk(3:4)]; %400×4矩阵phi 第k 行对应的y(k-1),y(k-2),u(k-3), u(k-4) y(k)=phi'*theta+xi(k); %采集输出数据 %递推最小二乘法的递推公式 K=P*phi/(1+phi'*P*phi); thetae(:,k)=thetae_1+K*(y(k)-phi'*thetae_1); P=(eye(4)-K*phi')*P; %更新数据 thetae_1=thetae(:,k); for i=4:-1:2 uk(i)=uk(i-1); end uk(1)=u(k); for i=2:-1:2 yk(i)=yk(i-1);

推荐-数学建模-最小二乘法 精品

最 小 二 乘 法 设（x 1, y 1 ), (x 2, y 2), …, (x n , y n )是直角平面坐标系下给出的一组数据，若x 1

几种最小二乘法递推算法的小结

一、 递推最小二乘法 递推最小二乘法的一般步骤： 1. 根据输入输出序列列出最小二乘法估计的观测矩阵?： ] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=? 没有给出输出序列的还要先算出输出序列。 本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ?。 2. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。 3. 按照下式计算增益矩阵G ： ) ()1()(1)()1()(k k P k k k P k G T ???-+-= 4. 按照下式计算要辨识的参数θ： )]1(?)()()[()1(?)(?--+-=k k k y k G k k T θ?θθ 5. 按照下式计算新的协方差阵P ： )1()()()1()(---=k P k k G k P k P T ? 6. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足， 则从第三步开始进行下一次地推，直至满足要求为止。 停机准则：ε???<--) (?)1(?)(?max k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。 7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。 8. 画出被辨识参数θ的各次递推估计值图形。 为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪 声， 辨识结果为a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，与真实值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差无几。 程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为0.1的白噪声序列，由于噪 声的影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果。辨识结果为a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为 E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值为0，方差为0.1的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远比白噪声时大，任取一组结果作为辨识结果。辨识结果为a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不适用于有色噪声的场合。

数学建模课件--最小二乘法拟合

---------------------------------------------------------------最新资料推荐------------------------------------------------------ 1 / 11 数学建模课件--最小二乘法拟合 4. 最小二乘法线性拟合 我们知道， 用作图法求出直线的斜率 a 和截据 b ， 可以确定这条直线所对应的经验公式， 但用作图法拟 合直线时， 由于作图连线有较大的随意性， 尤其在测量数据比较分 散时， 对同一组测量数据， 不同的人去处理， 所得结果有差异， 因 此是一种粗略的数据处理方法， 求出的 a 和 b 误差较大。 用最小二乘法拟合直线处理数据时, 任何人去处理同一组数据， 只要处理过程没有错误， 得到的斜率 a 和截据 b 是唯一的。 最小二乘法就是将一组符合 Y=a+bX 关系的测量数据， 用计算 的方法求出最佳的 a 和 b 。 显然， 关键是如何求出最佳的 a 和 b 。 (1) 求回归直线 设直线方程的表达式为： (2-6-1) 要根据测量数据求出最佳的 a 和 b 。 对满足线性关系的一组等精度测量数据（xi ， yi ），假定自变量 xi 的误差可以忽略， 则在同一 xi 下， 测量点 yi 和直线上的点 a+bxi 的偏差 di 如下： 显 然最好测量点都在直线上（即 d1=d2==dn=0）， 求出的 a 和 b 是最 理想的， 但测量点不可能都在直线上， 这样只有考虑 d1、 d2、 、 dn 为最小， 也就是考虑 d1+d2++dn 为最小， 但因 d1、 d2、 、 dn

最小二乘法的原理及其应用

最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：

数值计算_第6章 曲线拟合的最小二乘法

第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1）

其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程：

逐差法和Origin 7.0在大学物理实验数据处理中的比较

逐差法和Origin7.0软件在大学物理实验数据处理中的比较 摘要 本文用逐差法和Origin7.0软件分别对拉伸法测金属丝杨氏模量的实验数据进行处理，结果表明, 利用Origin7.0软件处理实验数据, 具有简洁、快捷与直观等特点, 避免了人为因素所造成的误差，在物理实验数据处理过程中有显著的应用价值。 关键词 逐差法；Origin7.0软件；不确定度；数据处理 大学物理实验测得的数据，必须经过科学的分析和处理，才能揭示出各物理量之间的关系。我们把从获得原始数据起到得出结论为止的加工过程称为数据处理。目前大多数大学物理实验教材中对于实验数据的处理方法有：逐差法、列表法、作图法、最小二乘法。在实验教学中，一般将测量的实验数据选用某种处理方法，来计算实验结果及测量误差分析。不管用那种方法处理实验数据处理,既繁琐又枯燥，又占用学生大量的课外时间, 成为教师和大学生头痛的事情。随着现代教育的发展,大量的实验数据和图像都可以通过计算机应用软件进行分析和处理。利用先进的计算机软件对大量的实验数据进行成批的数据处理能够提高学生的学习效率, 使学生从繁琐的数据推导和计算中解脱出来。而美国Origin Lab 公司推出的软件Origin 7.0在这一问题上能够提供迅速、准确的信息和参数以及图形。因此它在教学、 科研、工程技术等领域具有广泛的应用。 [1] [3] 本文以该软件用于拉伸法测金属丝杨氏模量的实验数据处理过程为例,并与逐差法进行比较，使用Origin 7.0软件能完成实验数据的准确快速处理与分析 。 1实验原理[2] 一根均匀的金属丝，长度为L ，截面积为S ，在受到沿长度方向的外力F 的作用时发生形变，伸长ΔL 。根据胡克定律，在弹性限度内，其应力F/S 与应变ΔL/L 成正比，即 F L E S L ?= 设金属丝直径为d ，则截面积21π4 S d =，其杨氏模量为 24πFL E d L =? （1） 本实验采用图光杠杆法测得ΔL 值（见图1） ()012A A D x L -=? (2) 将（2）代入式（1）得 图1 光杠杆原理

(完整word版)最小二乘法及其应用..

最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）

高中数学：最小二乘法与线性回归方程

高中数学：最小二乘法与线性回归方程 1、怎样的拟合直线最好？——与所有点都近，即与所有点的距离之和最小。 最小二乘法可以帮助我们在进行线性拟合时，如何选择“最好”的直线。要注意的是，利用实验数据进行拟合时，所用数据的多少直接影响拟合的结果，从理论上说，数据越多，效果越好，即所估计的直线方程越能更好地反映变量之间的关系。一般地，我们可以先作出样本点的散点图，确认线性相关性，然后再根据回归直线系数的计算公式进行计算。 2、刻画样本点与直线y=a+bx之间的“距离”— — 思考：①这个“距离”与点到直线的距离有什么关系？很显然，这个式值越小，则样本点与直线间的距离越小。 ②为什么不直接利用点到直线的距离来刻画样本点与直线之间的距离关系？ 3、最小二乘法

如果有n个点：（x1，y1），（x2，y2），（x3， y3），……，（x n，y n），我们用下面的表达式来刻画这些点与直线y=a+bx的接近程度： 。 使得上式达到最小值的直线y=a+bx就是我们所要求解的直线，这种方法称为最小二乘法。 4、线性回归方程 ，其中 这个直线方程称为线性回归方程，a，b是线性回归方程的系数（回归系数）。 例1、推导2个样本点的线性回归方程 设有两个点A（x1，y1），B（x2，y2），用最小二乘法推导其线性回归方程并进行分析。

解：由最小二乘法，设，则样本点到该直线的“距离之和”为 从而可知：当时，b有最小值。将 代入“距离和”计算式中，视其为关于b的二次函 数，再用配方法，可知： 此时直线方程为： 设AB中点为M，则上述线性回归方程为 可以看出，由两个样本点推导的线性回归方程即为过这两点的直线方程。这和我们的认识是一致的：对两个样本点，最好的拟合直线就是过这两点的直线。 用最小二乘法对有两个样本点的线性回归直线方程进行了直接推导，主要是分别对关于a和b的二次函数进行研究，由配方法求其最值及所需条件。实际上，由线性回归系数计算公式：

偏最小二乘法算法

偏最小二乘法 1.1 基本原理 偏最小二乘法（PLS ）是基于因子分析的多变量校正方法，其数学基础为主成分分析。但它相对于主成分回归（PCR ）更进了一步，两者的区别在于PLS 法将浓度矩阵Y 和相应的量测响应矩阵X 同时进行主成分分解： X=TP+E Y=UQ+F 式中T 和U 分别为X 和Y 的得分矩阵，而P 和Q 分别为X 和Y 的载荷矩阵，E 和F 分别为运用偏最小二乘法去拟合矩阵X 和Y 时所引进的误差。 偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，数学中是以矩阵Y 的列去计算矩阵X 的因子。同时，矩阵Y 的因子则由矩阵X 的列去预测。分解得到的T 和U 矩阵分别是除去了大部分测量误差的响应和浓度的信息。偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T 和特征浓度矩阵U 进行回归： U=TB 得到回归系数矩阵，又称关联矩阵B ： B=(T T T -1)T T U 因此，偏最小二乘法的校正步骤包括对矩阵Y 和矩阵X 的主成分分解以及对关联矩阵B 的计算。 1.2主成分分析 主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。他是将原变量进行转换，即把原变量的线性组合成几个新变量。同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。新变量是一组正交的，即互不相关的变量。这种新变量又称为主成分。 如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。下面以多组分混合物的量测光谱来加以说明。假设有n 个样本包含p 个组分，在m 个波长下测定其光谱数据，根据比尔定律和加和定理有： A n×m =C n×p B p×m 如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而大小不同。换句话说，光谱A 表示在由p 个波长构成的p 维变量空间的一组点（n 个），而这一组点一定在一条通过坐标原点的直线上。这条直线其实就是纯光谱b 。因此由m 个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。如果一个混合物由2个组分组成，各组分的纯光谱用b1，b2表示，则有： 1122 T T T i i i a c b c b =+ 有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴b1,b2来表示。因此可以 推出，如果混合物由p 个组分组成，那么混合物的光谱就可由p 个主成分轴的线性组合表示。

最小二乘法--计算方法

生活中的计算方法应用实例——— 最小二乘法，用MATLAB实现1. 数值实例 下面给定的是某市最近1个月早晨7：00左右（新疆时间）的天气预报所得到的温度 天数 1 2 3 4 5 6 7 8 9 10 温度9 10 11 12 13 14 13 12 11 9 天数11 12 13 14 15 16 17 18 19 20 温度10 11 12 13 14 12 11 10 9 8 天数21 22 23 24 25 26 27 28 29 30 温度7 8 9 11 9 7 6 5 3 1 下面用MATLAB编程对上述数据进行最小二乘拟合，按照数据找出任意次曲线拟合方程和它的图像。 2、程序代码 x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7, 6,5,3,1]; a1=polyfit(x,y,3) %三次多项式拟合% a2= polyfit(x,y,9) %九次多项式拟合% a3= polyfit(x,y,15) %十五次多项式拟合% b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).^2) %三次多项式误差平方和% r2= sum((y-b2).^2) %九次次多项式误差平方和% r3= sum((y-b3).^2) %十五次多项式误差平方和% plot(x,y,'*') %用*画出x,y图像% hold on plot(x,b1, 'r') %用红色线画出x,b1图像% hold on plot(x,b2, 'g') %用绿色线画出x,b2图像% hold on plot(x,b3, 'b:o') %用蓝色o线画出x,b3图像% 3、数值结果 不同次数多项式拟合误差平方和为： r1=67.6659

曲线拟合——最小二乘法算法

曲线拟合——最小二乘法算法 一、目的和要求 1）了解最小二乘法的基本原理，熟悉最小二乘算法； 2）掌握最小二乘进行曲线拟合的编程，通过程序解决实际问题。 二、实习内容 1）最小二乘进行多项式拟合的编程实现。 2）用完成的程序解决实际问题。 三、算法 1）输入数据节点数n ，拟合的多项式次数m ，循环输入各节点的数据x j , y j (j=0,1,…,n-1) 2）由x j 求S ；由x j ,y j 求T ： S k = ∑-=10n j k j x ( k=0,1,2, … 2*m ) T k = ∑-=1 0n j k j j x y ( k=0,1,2,… m ) 3）由S 形成系数矩阵数组c i,j ：c[i][j]=S[i+j] (i=0,1,2,…m, j=0,1,2,…,m)；由T 形成系数矩阵增广部分c i,m+1：c[i][m+1]=T[i] (i=0,1,2,…m) 4）对线性方程组CA=T[或A C ]，用列主元高斯消去法求解系数矩阵A=(a 0,a 1,…,a m )T 四、实验步骤 1）完成最小二乘法进行曲线拟合的程序设计及录入、编辑； 2）完成程序的编译和链接，并进行修改； 3）用书上P105例2的例子对程序进行验证，并进行修改； 4）用完成的程序求解下面的实际问题。 5）完成实验报告。 五、实验结果 1. 经编译、链接及例子验证结果正确的源程序： #include #include #define Q 100 float CF(int,float); main() { int i,j,n1,n,p,k,q; float x[Q],y[Q],s[Q]={0},t[Q]={0},a[Q][Q]={0},l,sum=0; /*以下是最小二乘的程序*/ printf("input 数据组数n");

18 全面最小二乘法

第十八讲 全面最小二乘法 一、 法向回归 一组测量数据()i i t ,s ,欲拟和直线 12s c t c =+ 最小二乘法采取目标函数：()2 n 12i 1i 2i 1 E c ,c s c t c min ==--=∑ 它隐含了在测量中，i t 是精确测量的，只有i s 才测得不准确，而在实际测量中，i t ，i s 都是无法准确测量的，因此，采用法向回归更有可能。 2 c t 12 c t c +() ,i i t s 点()i i t ,s 到直线12s c t c =+的距离为 i 1i 2s c t c -- 故法向回归的目标函数为 ()2 2 n 12i 1i 2i 1 E c ,c s c t c min =??=--=∑ ()()n n i 1i 22i 1i 2i 1 i 121 E 1 12s c t c 0c s c t c 1c n ==?=---=→=-?+∑∑

() () ()()()()()()()()n n 2 1i 1i 2i i 1i 22 22i 1 i 1 111 n 121i i i 1i 22i 11n n n 1i 1i 21i i 1i 2i i 1i 22i 1 i 1 i 1 1n n 1i i 1i 2i i 12i 1i 11 2c E 2s c t c t s c t c c 1c 1c 2c c c s t s c t c 1c 2c c s c t c c s s c t c t s c t c 1c 2c s s c t c t s c 1c ========?=--+---?++=----+? ?=--------?? +?? -=--+-+∑∑∑∑∑∑∑∑－ ()i 2t c 0 ??-=???? 将2c 代入之，可得 1st 21c c s c t ??= ??? =-?? 其中 () ()() ( ) n i i 1n i i 12 n n n 22ss i i i i 1i 1i 1n n n n st i i i i i i i 1i 1i 1i 12n n n 22tt i i i i 1i 1i 11s s n 1t t n 1l s s s s ,n 1l s s t t s t s t n 1l t t t t n ============?=?? ? =?? ????=-=- ????? ?????=--=-? ??? ????? ????=-=- ? ???? ∑∑∑∑∑∑∑∑∑∑∑∑ 另一种推导方法： ()()n 2 12i 1i 22 i 1 1 1 E c ,c s c t c 1c ==--+∑

最小二乘法在误差分析中的应用

误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量

最小二乘法基本原理

该方程的参数估计步骤如下： 取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3） 对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4） 那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5） 根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6） 的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7）

多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8） 其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。 统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。

普通最小二乘法(OLS)

普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方 法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值 i i x y ,（i=1,2,…,n ）的情况下 （见图2.2.1中的散点），假如模型（2.2.1）的参数估计量 已经求得到，为^0β和^ 1β，并且是最合理的参数估计量，那 么直线方程（见图2.2.1中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n (2.2.2) 应该能够最好地拟合样本数据。其中 ^ i y 为被解释变量的估计值，它是由参数估计量和解释 变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(102 2101ββββQ u x y Q i i n i i ==--=∑∑= ()() ),(min ????1 02 1 102 12?,?1 1 ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== (2.2.3) 为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^ 1^01 2 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是 ^ 0β、^ 1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^ 0β、 ^ 1β的一阶偏导数为0时，Q 达到最小。即

三次样条插值法与最小二值 法的分析及比较

数值计算方法期末论文 ————同等要求下三次样条插值法与最小二值法的分析及比较。

引言 在实际中，常常要处理由实验或测量所得到的一批离散数据.插值与拟合方法就是要通过这些数据去确定某一类已知函数的参数或寻找某个近似函数，使所得到的近似函数与已知数据有较高的拟合程度.如果要求这个近似函数（曲线或曲面）经过已知的所有数据点，则称此类问题为插值问题。 当所给的数据较多时，用插值方法所得到的插值函数会很复杂，所以，通常插值方法用于数据较少的情况.但数据一般都是由观测或试验得到的，往往会带有一定的随机误差，因而，要求近似函数通过所有的数据点也是不必要的.如果不要求近似函数通过所有数据点，而是要求它能较好地反应数据的整体变化趋势，则解决这类问题的方法称为数据拟合. 插值和拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。而面对一个实际问题，究竟应该用插值还是拟合，有时容易确定，有时则并不明显。 本文由具体题目为基础，主要论述了在同等要求下三次样条插值法与最小二值法的分析及比较。 关键词：数值计算方法、三次样条插值法、最小二值法

目录 引言--------------------------------------------------- 2 第一章三次样条插值------------------------------------ 4 1.1三次样条插值函数--------------------------------- 4 1.2 分段线性插值------------------------------------ 5 1.3插值理论----------------------------------------- 6 第二章最小二乘法--------------------------------------- 7 2.1 线性最小二乘拟合法------------------------------ 7 2.2 一般线性最小二乘拟合法--------------------------- 8 2.3非线性最小二乘拟合法------------------------------ 9 第三章算法对比与实现------------------------------------ 10 3.1对比实例一---------------------------------------- 10 3.2对比实例二---------------------------------------- 11 3.3结果及分析---------------------------------------- 15 第四章总结---------------------------------------------- 16

苏教版数学高二-1.2素材 线性回归问题中是怎样展现从相关关系到最小二乘法含义与思想的

线性回归问题中是怎样展现从相关关系到最小二乘法含义与思想的 一．创设情境 客观事物是相互联系的 过去研究的大多数是因果关系，但实际上更多存在的是一种非因果关系 学是“因”，物理是“果”，或者反过来说 事实上数学和物理成绩都是“果”，而真正的“因”是学生的理科学习能力和努力程度 所以说，函数关系存在着一种确定性关系但还存在着另一种非确定性关系——相关关系 二．提出问题： 某小卖部为了了解热茶销售量与气温之间的关系，随机统计并制作了某6天卖出热茶的气温/0C 26 18 13 10 4 1- 杯数 20 24 34 38 50 64 如果某天的气温是5-C ，你能根据这些数据预测这天小卖部卖出热茶的杯数吗？ 二、开展活动 为了了解热茶销量与气温的大致关系，我们以横坐标x 表示气温，纵坐标y 表示热茶销量，建立直角坐标系，将表中数据构成的6个数对所表示的点在坐标系内标出，得到下图，今后我们称这样的图为散点图(scatterplot). 从右图可以看出.这些点散布在一条直线的附近,故可用一个线性函数近似地表示热茶销量与气温之间的关系. 选择怎样的直线近似地表示热茶销量与气温之间的关系? 我们有多种思考方案: (1)选择能反映直线变化的两个点,例如取(4,50),(18,24)这两点的直线； （2）取一条直线,使得位于该直线一侧和另一侧的点的个数基本相同； （3）多取几组点,确定几条直线方程,再分别算出各条直线斜率、截距的平均值,作为所求直线的斜率、截距； ……………… 怎样的直线最好呢? 三、建构方法 1．最小平方法： 用方程为?y bx a =+的直线拟合散点图中的点，应使得该直线与散点图中的点最接近。那么，怎样衡量直线?y bx a =+与图中六个点的接近程度呢？ 我们将表中给出的自变量x 的六个值带入直线方程,得到相应的六个?y 的值: 26,18,13,10,4,b a b a b a b a b a b a +++++-+.这六个值与表中相应的实 际值应该越接近越好.所以,我们用类似于估计平均数时的思想,考虑离差的平 方和 222222 22(,)(2620)(1824)(1334)(1038)(450)(64)12866140382046010172Q a b b a b a b a b a b a b a b a ab b a =+-++-++-++-+ +-+-+-=++--+ (,)Q a b 是直线?y bx a =+与各散点在垂直方向(纵轴方向)上的距离的平方和,可以用来衡量直线?y bx a =+与图中六个点的接近程度,所以,设法取,a b 的值,使(,)Q a b 达到最小值.这种方法叫做最小平方法(又称最小二乘法) . 先把a 看作常数,那么Q 是关于b 的二次函数.易知,当140382021286 a b -=-?时, Q 取得

第四章参数的最小二乘法估计分解

第四章 最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 dx v P i i i i )2exp(21 22 σπ σ-= 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为

n i i i n i i dx v P P )]()(21exp[)2(12∑- ∏= ∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 ∑=i i i Min v 2 2 σ 权因子：22o i i w σσ=即权因子i w ∝21 i σ，则 2 []i i wvv wv Min ==∑ 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑ 即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： ∑===Min v vv i 2][ 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，