多元线性回归与最小二乘估计

多元线性回归与最小二乘估计

1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：

y t = β0 +β1x t 1 +β2x t 2 +…+βk - 1x t k -1 + u t (1.1)

其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要

解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) =多元线性回归与最小二乘估计

1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型：

y t = β0 +β1x t 1 +β2x t 2 +…+βk - 1x t k -1 + u t (1.1)

其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) =β0 +β1x t 1 +β2x t 2 +…+βk - 1x t k -1决定的k 维空间平面。

当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为

y 1 =β0 +β1x 11 +β2x 12 +…+βk - 1x 1 k -1 + u 1, 经济意义：x t j 是y t 的重要解释变量。 y 2 =β0 +β1x 21 +β2x 22 +…+βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。 ……….. 几何意义：y t 表示一个多维平面。 y T =β0 +β1x T 1 +β2x T 2 +…+βk - 1x T k -1 + u T , (1.2) 此时y t 与x t i 已知，βj 与 u t 未知。

j k j k T Tj

T k T k T (T )

(k

)(T (T k )

x x x y u x x x y u x x x y u b b b ----创?′骣骣骣骣÷

鼢??珑?÷鼢??珑?÷鼢??珑?÷鼢??珑?÷鼢??珑?÷鼢?=+?÷珑?鼢??÷珑?鼢?÷?鼢?珑?÷鼢??珑?÷

鼢??珑?÷鼢?珑??桫桫桫桫

11

11110

1212212121

1111111L L L L L L L L L L M M M L

L

)

1

(1.3)

Y = X β+ u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。

假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 2

相同且为有限值，即

E(u ) = 0 = 骣÷?÷?÷?÷?÷?÷?÷÷?桫

00M , Var (u ) = E(u ?u ?' ) =σ2I = σ2骣÷

?÷?÷?÷?÷?÷?÷÷

?桫10000001O .

假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0.

假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k . 其中rk (?)表示矩阵的秩。

假定⑷ 解释变量是非随机的，且当T → ∞ 时

T – 1X 'X → Q .

其中Q 是一个有限值的非退化矩阵。

最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

min S = (Y - X β

?)' (Y - X β?) = Y 'Y -β?'X 'Y - Y ' X β? +β?'X 'X β? = Y 'Y - 2β

?'X 'Y + β?'X 'X β?. (1.5) 因为Y 'X β

?是一个标量，所以有Y 'X β? = β?'X 'Y 。(1.5) 的一阶条件为： ?b

??S = - 2X 'Y + 2X 'X β

?= 0 (1.6) 化简得

X 'Y = X 'X β

? 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有

β?= (X 'X )-1 X 'Y （1.7）

因为（1.5）的二阶条件

??b

b ?抖2S

= 2 X 'X ≥ 0 (1.8) 得到满足，所以 (1.7) 是 (1.5) 的解 。

因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则β

?是Y 的线性组合，为线性估计量。

求出β

?，估计的回归模型写为 Y = X β

?+ u ? (1.9) 其中β?= (0?β 1?β … k ?b -1

)' 是β的估计值列向量，u ?= (Y - X β?) 称为残差列向量。因为 u

? = Y - X β?= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (1.10) 所以u

?也是Y 的线性组合。β?的期望和方差是 E(β

?) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β+ u )]

=β+ (X 'X )-1X ' E(u ) =β (1.11)

Var(β

?) = E[(β?–β) (β?–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 . (1.12)

高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。β?具有无偏性。β

?具有最小方差特性。β?具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差

s 2 = u

?'u ?/ (T - k ) (1.13) s 2是σ2

的无偏估计量，E(s 2 ) =σ2

。β

?的估计的方差协方差矩阵是

Var ù

(β

?) = s 2 (X 'X )-1 (1.14) 3. 多重确定系数（多重可决系数）

Y = X β

?+ u ?=Y ? + u ? (1.15) 总平方和

SST =

T

t t (y y )=-?2

1

= Y 'Y - T 2y , (1.16) 其中y 是y t 的样本平均数，定义为y = T t t (

y )/T =?

1

。回归平方和为

SSR =

T

t t ?(y y )=-?21

= Y ?'Y ?- T 2y (1.17) 其中y 的定义同上。残差平方和为

SSE =

T

t t t ?(y y )=-?

21

= T

t t ?u =?

2

1

= u ?'u ? (1.18) 则有如下关系存在，

SST = SSR + SSE (1.19)

R 2 =

2

??SSR Ty SST -=￠2Ty

Y'Y Y Y - (1.20) 显然有0 < R 2 < 1。R 2 ?1，拟合优度越好。

4. 调整的多重确定系数

当解释变量的个数增加时，通常R 2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数2R 如下： 2R = 1 -

SSE /(T k )T SST SSR ()()SST /(T )T k SST ---=---111 = 1 - T (R )T k

---21

1 (1.21)

5. OLS 估计量的分布

若u ~ N (0,σ 2

I ) ，则每个u t 都服从正态分布。于是有

Y ~ N (X β, σ 2

I ) (1.22)

因β?也是u 的线性组合（见公式1.7），依据（1.11）和（1.12）有

β?~N (β, σ2 (X 'X)-1 ) (1.23)

6. 方差分析与F检验

与SST相对应，自由度T-1也被分解为两部分，

（T-1）= (k -1) + (T- k) (1.24)

回归均方定义为MSR = SSR

k-1

，误差均方定义为MSE =

SSE

T k

-

表1.1 方差分析表

方差来源平方和自由度均方

回归

SSR =Y?'Y?-T y2

k-1 MSR = SSR / (k-1)

误差SSE = u?'u?T-k MSE = SSE / (T-k)

总和SST= Y 'Y - T y2T-1

H0: β1=β2= … =βk-1 = 0; H1: βj不全为零

F =

MSE

MSR

=

SSR/(k)

SSE/(T k)

-

-

1

~ F(k-1,T-k)(1.25) 设检验水平为α，则检验规则是，若F Fα (k-1,T-k) , 拒绝H0。

0 Fα(k-1, T-k)-tα(T-k)0 tα(T-k)

F检验示意图t检验示意图

7．t检验

H0：βj = 0, (j= 1, 2, …, k-1), H1：βj ≠ 0

t= j

j j

j

?

???

Var()s(')

?

s()

b

b b b

b

-

++

=21

11

X X~t(T-k)

(1.26)

判别规则：若∣ t∣≤tα(T-k)接受H0；若∣ t∣> tα(T-k)拒绝H0。

8．βi的置信区间

（1）全部βi的联合置信区间接受

F =

k

1

(β-β?)' (X 'X) (β-β?) / s2 ~ Fα (k, T-k)(1.27)

(β-β

?)' (X 'X ) (β-β?)

βi = i β?α/2(T -k ) . (1.29)

9．预测

（1）点预测

C = (1 x T +1 1 x T +1 2 … x T +1 k -1 ) (1.30) 则T + 1期被解释变量y T +1的点预测式是，

1?+T y

= C β?=β?0 +β?1 x T +1 1 + … +β? k -1 x T +1 k -1

(1.31)

（2）E (y T +1) 的置信区间预测

首先求点预测式C β

?的抽样分布 E (1?+T y

) = E (C β?) = C β (1.32) Var (1?+T y

) = Var (C β?) = E[(C β?- C β ) (C β?- C β ) ' ] = E[C (β

?- β ) [C (β?- β )] ' ]= C E[(β?- β ) (β?- β ) ' ]C ' = C Var (β

?)C '= C σ2 (X 'X )-1C ' = σ2 C (X 'X )-1C ' , (1.33) 因为β

?服从多元正态分布，所以C β?也是一个多元正态分布变量，即 1?+T y

= C β

?~ N (C β, σ2C (X 'X ) -1C ') (1.34) 构成 t 分布统计量如下

t =

??y

E(y )

=

? ~ t (T -k )

(1.35)

置信区间 C β

?± t α/2 (1, T -k ) s ')'(1C X X C - (1.36) (3) 单个y T +1的置信区间预测

y T +1值与点预测值T ?y

+1有以下关系 y T +1 = T ?y

+1+ u T +1 (1.37) 其中u T +1是随机误差项。因为

E( y T +1) = E(1?+T y

+ u T +1) = C β (1.38) Var( y T +1) = Var(T ?y

+1) + Var(u T +1) = σ 2 C (X 'X )-1C ' + σ 2 =σ2 (C (X 'X )-1C ' + 1) (1.39)

因为β

?服从多元正态分布，所以y T +1也是一个多元正态分布变量，即

y T +1 ~N (C β, σ2C (X 'X ) -1C '+ 1)

与上相仿，单个y T +1的置信区间是

C β

? ± t α/2 (T -k ) s 1')'(1+-C X X C (1.40) 计算举例：（见《计量经济分析》第19-27页，熟悉矩阵运算）

10. 预测的评价指标

注意，以下6个公式中的e t 表示的是预测误差，不是残差。可以在样本内、外预测。 (1) 预测误差。预测误差定义为

e t = t y

?- y t , t = T +1, T +2, … (2) 相对误差PE (Percentage Error)。

PE = t t t

?y y y -, t = T +1, T +2, …

(3) 误差均方根rms error (Root Mean Squared Error) rms error

=

(4) 绝对误差平均MAE (Mean Absolute Error) MAE =

T

t t t ?y

y T =

-?1

1

(5) 相对误差绝对值平均MAPE (Mean Absolute Percentage Error) MAPE =

T

t t t t

?y

y T

y =

-?1

1

(6) Theil 系数(Theil Coefficent)

Theil

=

, t = 1, 2, …, T

以上6个式子中，t y

?表示预测值，y t 表示实际值。Theil 的取值范围是 [0,1]。显然在预测区间内，当t y

?与y t 完全相等时，Theil = 0；当预测结果最差时，Theil = 1。公式中的累加范围是用1至T 表示的，当然也可以用于样本外预测评价。

11．建模过程中应注意的问题

05000

100001500020000250003000080

81

82

83

84

85

86

87

88

89

90

91

92

GDP

GDP(f)

（1）研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP 是1980年的5.9倍，而按固定价格计算，我国1992年的GDP 是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP 曲线一直是上升的，而按不变价格（1980年价格）计算的GDP 曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。

(2) 依照经济理论以及对具体经济问题的深入分析初步确定解释变量。

例：我国粮食产量 = f （耕地面积、农机总动力、施用化肥量、农业人口等）。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。

例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。

(3) 当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。 例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。 例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。

(4) 通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。（线性、非线性、无关系）

（nonli8）

（5）谨慎对待异常值。不能把建立模型简单化为一个纯数学过程，目的是寻找经济规律。

年

INV （投资）

IMPORT （进口）

1991 2.562000 23.47000 1992 2.429700 32.29000 1993 6.712400 63.99000 1994 15.37600 78.75000 1995

21.31000

149.1300

1996 27.37000 113.8100 1997 41.71000 106.1500

1998

39.78000

112.2000

(6) 过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型，y t =β1 x t + u t，为例，①∑t u?= 0不一定成立。原因是正规方程只有一个（不是两个），t

?

(u)

?b

?

?

?2

1

= 2∑(y t -1?βx t) (- x t) = 0，

即∑t u?x t = 0，而没有∑t u?= 0。所以残差和等于零不一定成立。②可决系数R 2有时会得负值！原因是有时会有SSE>SST。为维持SSE+SSR=SST，迫使SSR<0。

(7) 改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。即不会影响统计检验结果。

(8) 回归模型给出估计结果后，首先应进行F检验。F检验是对模型整体回归显著性的检验。(检验一次，H0: β1=β2= … =βk-1 = 0; H1: βj不全为零。)若F检验结果能拒绝原假设，应进一步作t检验（检验k次，H0：βj = 0, (j= 1, 2, …, k-1), H1：βj ≠ 0）。t 检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。

(9) 在作F与t检验时，不要把自由度和检验水平用错（正确查临界值表）。回归系数的t检验是双端检验，但t检验表的定义有P(|t| > tα) = α, P( t < tα) = α

-tα(T-k)0 tα(T-k)Fα(k-1,T-k)

(10) 对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该对回归系数作如下变换

j

β?* =jβ?

)

(

)

(

t

tj

y

s

x

s

, j= 1, 2, … k-1 (1.41) 其中s(x t) 和s(y t) 分别表示x t和y t的样本标准差。jβ?*可用来直接比较大小。

以二元模型为例，标准化的回归模型表示如下（标准化后不存在截距项），

t

t

y y

s(y)

-

=β1*t

t

x x

s(x)

-

11

1

+β2*t

t

x x

s(x)

-

22

2

+ … + u t*

两侧同乘s(y t)，得

(y t-y) =β1*

)

(

)

(

1t

t

x

s

y

s

(x t1 -1x) +β2*

)

(

)

(

2t

t

x

s

y

s

(x t2 -2x) + … + u t* s(y t)

所以有

βj *

)

()

(tj t x s y s =βj , 即βj * =βj )()(t tj y s x s , i = 1, 2, … k -1

既是 (1.41) 式。

(11) 利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是①根据

预测公式离样本平均值越远，预测误差越大；②有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。图3.10给出青铜硬度与锡含量的关系曲线。若以锡含量为0-16%为样本，求得的关系近似是线性的。当把预测点选在锡含量为16%之外时，显然这种预测会发生严重错误。因为锡含量超过16%之后，青铜的硬度急剧下降，不再遵从锡含量为0-16%时的关系。

青铜硬度

16%

锡含量（%）

图3.9 y t 的区间预测的变化 图3.10 青铜硬度与锡含量的关系

4

6

8

10

12

LOG(T RADE)

(12) 回归模型的估计结果应与经济理论或常识相一致。如边际消费倾向估计结果为1.5，则模型很难被接受。

(13) 残差项应非自相关（用DW 检验，亦可判断虚假回归）。否则说明①仍有重要解释变量被遗漏在模型之外。②选用的模型形式不妥。 (14) 通过对变量取对数消除异方差。 (15) 避免多重共线性。

(16) 解释变量应具有外生性，与误差项不相关。

(17) 应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。

(18) 模型的结构稳定性要强，超样本特性要好。

(19) 世界是变化的，应该随时间的推移及时修改模型。

建模案例1：《全国味精需求量的计量经济模型》

（见《预测》1987年第2期）

1．依据经济理论选择影响味精需求量变化的因素

依据经济理论一种商品的需求量主要取决于四个因素，即①商品价格，②代用品价格，

③消费者收入水平，④消费者偏好。模型为：

商品需求量 = f (商品价格，代用品价格，收入水平，消费者偏好)

对于特定商品味精，当建立模型时要对上述四个因素能否作为重要解释变量逐一鉴别。

商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。所以确定价格作为一个重要解释变量。

代用品价格：味精是一种独特的调味品，目前尚没有替代商品。所以不考虑代用品价格这一因素。

消费者收入：显然消费者收入应该是一个较重要的解释变量。 偏好：由于因偏好不食味精或大量食用味精的情形很少见，所以每人用量只会在小范围内波动，所以不把偏好作为重要解释变量，而归并入随机误差项。

分析结果，针对味精需求量只考虑两个重要解释变量，商品价格和消费者收入水平。 味精需求量 = f (商品价格，收入水平)

2．选择恰当的变量（既要考虑代表性，也要考虑可能性）

用销售量代替需求量。因需求量不易度量，味精是自由销售商品，不存在囤积现象，所以销售量可较好地代表需求量。味精商品价格即销售价格。

用人均消费水平代替收入水平。因为①消费水平与味精销售量关系更密切。②消费水平数据在统计年鉴上便于查找（收入水平的资料不全）。 味精销售量 = f (销售价格，人均消费水平)

用平均价格作为销售价格的代表变量。不同地区和不同品牌的味精价格是不一样的，应取平均价格（加权平均最好）。

取不变价格的人均消费水平：消费水平都是用当年价格计算的，应用物价指数进行修正。 味精销售量 = f (平均销售价格，不变价格的消费水平)

3． 收集样本数据（抽样调查，引用数据）

从中国统计年鉴和有关部门收集样本数据 (1972-1982, T = 11)。定义销售量为y t （吨），平均销售价格为x 1t （元 / 公斤），不变价格的消费水平为 x 2t （元）。相关系数表如下：

平均销售价格 (x 1t )

不变价格的消费水平 (x 2t )

味精销售量(y t )

-0.3671

0.9771

注：临界值r 0.05 (9) = 0.60。

010000

2000030000400005000060000

11.0

11.2

11.4

11.6

11.8

12.0

12.2

X1

Y

010000

2000030000400005000060000

100

120

140

160

180

X2

Y

4． 确定模型形式并估计参数

t y

?= -144680.9 + 6313.4 x 1t + 690.4 x 2t （1） (-3.92) (2.17) (15.32) R 2 = 0.97, DW = 1.8, t 0.05 (8) = 2.3

回归系数6313.4无显著性（x 1t 与x 2t 应该是负相关，回归系数估计值却为正，可见该估计

值不可信）。剔除不显著变量x1t，再次回归，

y?= -65373.6 + 642.4 x2t（2）

t

(-10.32) (13.8) R2 = 0.95, DW = 1.5, t0.05 (9) = 2.26 问题：1?β= 6313.4，为什么检验结果是β1 = 0？量纲的变化对回归结果会造成影响吗？

建模案例2：《用回归方法估计纯耕地面积》

（见《数理统计与管理》1986年第6期）

目前对土地的调查大多采用航空摄影，从照片上把各类资源图斑转绘到1:10000的地形图上，然后再从地形图上测绘图斑面积。

在处理如何获得实际耕地面积时，关键技术难题是如何将耕地图斑中包含的田埂、土坎、空隙地、宽度小于2米的路、沟、渠等面积从图斑中分离出来。因为它们在航空图片上的分辨率很低，无法直接勾绘，测算。

设一个毛耕地图斑面积用S表示，其中不能耕种的面积（扣除面积）用?S表示，则扣除系数，

y i= ?S / S =（扣除面积）/（毛耕地图斑面积）。

对于每一个图斑，知道精确的扣除系数y i，就很容易根据毛耕地图斑面积S计算出纯耕地面积。现在用回归分析方法，寻找影响扣除系数变化的主要因素，从而建立关于“扣除系数”的回归模型。

该论文研究的是湖南地区的耕地面积调查。湖南省属丘陵山区，地形复杂，各种地类犬牙交错，影响扣除系数的因素很多。如田埂宽度、地块大小、地块坡度、空隙地、地貌类型等。通过实际调查和分析，初步确定三个主要因素，即

“坡度”、“地块面积”和“田埂宽度”

论文作者在五个县共调查了867个样本点，其中水田样本522个，旱田样本345个。具体做法是首先把867个样本数据按“坡度”分成25个等级，然后再把属于同一个等级的样本数据用加权平均的方法求出另两个因素的观测值，“平均地块面积”和“平均田埂宽度”。整理样本数据如下：

i（序号）y i（扣除系数）x1i（坡度）x2i（平均地块面积）x3i（平均田埂宽度）

1 4.2356 0 1.9300 0.6318

2 4.8838 1 1.4918 0.7312

3 7.8300 2 1.1253 0.9731

……………

25 39.4151 24 1.0600 4.0721

拟建摸型为，

y i= β0 + β1 x1i + β2x2i +β3x3i + u i

利用样本得估计的回归方程

y i= 1.672 + 1.145x1i + 0.608 x2i + 2.081 x3i

(7.3) (0.4) (1.85) F = 221.62

(F.05(3,21) = 3.07, F.01(3,21) = 4.87, t.05(21) = 2.08, t.01(21) = 2.84)

统计检验结果表明x 2i , x 3i 为非重要解释变量。剔除之，用y i 对x 1i 再次回归得，

y i = 3.34 + 1.35 x 1i

实际的验证结果表明，用只考虑“地块坡度”计算出来的扣除系数估计“纯耕地面积”完全能满足精度要求，从而为减少野外作业强度（不必再测量“地块面积”和“田埂宽度”），迅速完成测算，提供了科学依据。 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。 当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, 经济意义：x t j 是y t 的重要解释变量。 y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。 ……….. 几何意义：y t 表示一个多维平面。

y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T , (1.2) 此时y t 与x t i 已知，βj 与 u t 未知。

)

1(21)1(110)(11122211

1

111)1(211

11??-?---???

??

??? ??+??????? ?????

???? ??=??

??

?

??

??T T k k k T k T Tj

T k j k j T T u u u x x x x x x x x x y y y M M Λ

Λ

ΛΛΛΛ

Λ

ΛΛΛΛΛM βββ (1.3) Y = X β + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。

假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2

相同且为有限值，即

E(u ) = 0 = ????

? ??00M , Var (u ) = E(u

?u ?' ) = σ 2I = σ 2????

?

??10000001O . 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0.

假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k . 其中rk (?)表示矩阵的秩。

假定⑷ 解释变量是非随机的，且当T → ∞ 时

T – 1X 'X → Q .

其中Q 是一个有限值的非退化矩阵。

最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

min S = (Y - X β

?)' (Y - X β?) = Y 'Y -β?'X 'Y - Y ' X β? +β?'X 'X β? = Y 'Y - 2β

?'X 'Y + β?'X 'X β?. (1.5) 因为Y 'X β

?是一个标量，所以有Y 'X β? = β?'X 'Y 。(1.5) 的一阶条件为：

β

???S = - 2X 'Y + 2X 'X β?= 0 (1.6) 化简得

X 'Y = X 'X β

? 因为 (X 'X ) 是一个非退化矩阵（见假定⑶），所以有

β?= (X 'X )-1 X 'Y （1.7）

因为（1.5）的二阶条件

ββ

??2??'?S

= 2 X 'X ≥ 0 (1.8) 得到满足，所以 (1.7) 是 (1.5) 的解 。

因为X 的元素是非随机的，(X 'X ) -1X 是一个常数矩阵，则β

?是Y 的线性组合，为线性估计量。

求出β

?，估计的回归模型写为 Y = X β

?+ u ? (1.9) 其中β?= (0?β 1

?β … 1?-k β)' 是 β 的估计值列向量，u ?= (Y - X β?) 称为残差列向量。因为 u

? = Y - X β?= Y - X (X 'X )-1X 'Y = [I - X (X 'X )-1 X ' ]Y (1.10) 所以u

?也是Y 的线性组合。β?的期望和方差是 E(β

?) = E[(X 'X )-1 X 'Y ] = E[(X 'X )-1X '(X β + u )] = β + (X 'X )-1X ' E(u ) = β. (1.11)

Var(β

?) = E[(β?–β) (β?–β)']= E[(X 'X )-1X ' u u ' X (X 'X )-1] = E[(X 'X )-1X ' σ 2I X (X 'X )-1] = σ 2 (X 'X )-1 . (1.12)

高斯—马尔可夫定理：若前述假定条件成立，OLS 估计量是最佳线性无偏估计量。β?具有无偏性。β

?具有最小方差特性。β?具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差

s 2 = u

?'u ?/ (T - k ) (1.13) s 2是σ 2

的无偏估计量，E(s 2 ) =σ 2。β

?的估计的方差协方差矩阵是

∧

Var (β

?) = s 2 (X 'X )-1 (1.14) 3. 多重确定系数（多重可决系数）

Y = X β

?+ u ?=Y ? + u ? (1.15) 总平方和

SST =

∑=-T

t t y y 12)(= Y 'Y - T 2y , (1.16)

其中y 是y t 的样本平均数，定义为y = T y T

t t /)(1∑=。回归平方和为

SSR =

∑=-T

t t y y

12)?( = Y ?'Y ?- T 2y (1.17) 其中y 的定义同上。残差平方和为

SSE =

∑

=-T

t t t y y 12)?( = ∑=T

t t u

12? = u ?'u ? (1.18) 则有如下关系存在，

SST = SSR + SSE (1.19)

R 2

= 2

2??y T y T SST SSR -Y Y Y 'Y '-= (1.20) 显然有0 ≤ R 2 ≤ 1。R 2 →1，拟合优度越好。

4. 调整的多重确定系数

当解释变量的个数增加时，通常R 2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数2R 如下：

2R = 1 -

))(1(1)1/()/(SST SSR SST k T T T SST k T SSE ----=-- = 1 - )1(1

2R k

T T --- (1.21)

5. OLS 估计量的分布

若u ~ N (0, σ 2I ) ，则每个u t 都服从正态分布。于是有

Y ~ N (X β, σ 2I ) (1.22)

因β?也是u 的线性组合（见公式1.7），依据（1.11）和（1.12）有

β

? ~ N ( β, σ2(X 'X )-1 ) (1.23) 6. 方差分析与F 检验

与SST 相对应，自由度T -1也被分解为两部分，

（T -1）= (k -1) + (T - k ) (1.24)

回归均方定义为MSR =

1-k SSR ，误差均方定义为MSE = k

T SSE

- 表1.1 方差分析表

方差来源 平方和

自由度

均方 回归 SSR =Y

?'Y ?-T y 2

k -1 MSR = SSR / (k -1) 误差 SSE = u

?'u ? T -k MSE = SSE / (T -k ) 总和

SST = Y 'Y - T y 2

T -1

H 0: β1= β2 = … = βk -1 = 0; H 1: βj 不全为零

F =

MSE

MSR = )/(

)1/(k T SSE k SSR -- ~ F (k -1,T -k ) (1.25)

设检验水平为α，则检验规则是，若 F ≤ F α (k -1,T -k )，接受H 0；若 F > F α (k -1,T -k ) , 拒绝H 0。

0 F α (k -1, T -k ) -t α(T-k) 0 t α(T-k)

F 检验示意图 t 检验示意图

7．t 检验

H 0：βj = 0, (j = 1, 2, …, k -1), H 1：βj ≠ 0 t =

1121)'(?)?(?)?(?+-+==j j

j j

j

j s Var s X X βββββ~ t (T -k ) (1.26)

判别规则：若∣ t ∣≤ t α(T -k ) 接受H 0；若∣ t ∣> t α(T -k ) 拒绝H 0。 8．βi 的置信区间

（1） 全部βi 的联合置信区间接受

F =

k

1(β -β?)' (X 'X ) (β -β?) / s 2 ~ F α (k , T -k ) (1.27) ( β -β

?)' (X 'X ) ( β -β?) ≤ s 2 k F α (k , T -k )，它是一个k 维椭球。 (1.28) （2） 单个βi 的置信区间

βi = i β?±1+j v s t α/2(T -k ) . (1.29)

9．预测

（1）点预测

C = (1 x T +1 1 x T +1 2 … x T +1 k -1 ) (1.30) 则T + 1期被解释变量y T +1的点预测式是，

1?+T y

= C β?=β?0 +β?1 x T +1 1 + … +β? k -1 x T +1 k -1

(1.31)

（2）E (y T +1) 的置信区间预测

首先求点预测式C β

?的抽样分布 E (1?+T y

) = E (C β?) = C β (1.32) Var (1?+T y

) = Var (C β?) = E[(C β?- C β ) (C β?- C β ) ' ] = E[C (β

?- β ) [C (β?- β )] ' ]= C E[(β?- β ) (β?- β ) ' ]C ' = C Var (β

?)C '= C σ2 (X 'X )-1C ' = σ2 C (X 'X )-1C ' , (1.33)

因为β

?服从多元正态分布，所以C β?也是一个多元正态分布变量，即 1?+T y

= C

β

? ~ N (C β, σ2C (X 'X )

-1

C ')

(1.34)

构成 t 分布统计量如下

t =

'

)'()?(?1

11C X X C -++-s y E y

T T =

'

)'(?1

C X X C C C --s ββ ~ t (T -k ) (1.35)

置信区间 C β

?± t α/2 (1, T -k ) s ')'(1C X X C - (1.36) (3) 单个y T +1的置信区间预测

y T +1值与点预测值1?+T y

有以下关系 y T +1 = 1?+T y

+ u T +1 (1.37) 其中u T +1是随机误差项。因为

E( y T +1) = E(1?+T y

+ u T +1) = C β (1.38) Var( y T +1) = Var(1?+T y

) + Var(u T +1) = σ 2 C (X 'X )-1C ' + σ 2 = σ 2 (C (X 'X )-1C ' + 1) (1.39)

因为β

?服从多元正态分布，所以y T +1也是一个多元正态分布变量，即 y T +1 ~ N (C β, σ2C (X 'X ) -1C '+ 1)

与上相仿，单个y T +1的置信区间是

C β

? ± t α/2 (T -k ) s 1')'(1+-C X X C (1.40) 计算举例：（见《计量经济分析》第19-27页，熟悉矩阵运算）

10. 预测的评价指标

注意，以下6个公式中的e t 表示的是预测误差，不是残差。可以在样本内、外预测。 (3) 预测误差。预测误差定义为

e t = t y

?- y t , t = T +1, T +2, … (4) 相对误差PE (Percentage Error)。

PE = t

t t y y y

-?, t = T +1, T +2, …

(3) 误差均方根rms error (Root Mean Squared Error) rms error =

∑=-T

t t t

y y

T

1

2)?(1

(4) 绝对误差平均MAE (Mean Absolute Error)

MAE =

∑=-T

t t t y y

T

1?1

(5) 相对误差绝对值平均MAPE (Mean Absolute Percentage Error)

MAPE =

∑

=-T

t t

t t y y y

T

1

?1

(6) Theil 系数(Theil Coefficent)

Theil =

∑∑∑===+-T

t t T

t t T

t t t y T

y

T

y y

T 1

2

1

21

2)(1)?(1)?(1, t = 1, 2, …, T

以上6个式子中，t y

?表示预测值，y t 表示实际值。Theil 的取值范围是 [0,1]。显然在预测区间内，当t y

?与y t 完全相等时，Theil = 0；当预测结果最差时，Theil = 1。公式中的累加范围是用1至T 表示的，当然也可以用于样本外预测评价。

11．建模过程中应注意的问题

5000

100001500020000250003000080

81

82

83

84

85

86

87

88

89

90

91

92

GDP

GDP(f)

（1）研究经济变量之间的关系要剔除物价变动因素。以上图为例，按当年价格计算，我国1992年的GDP 是1980年的5.9倍，而按固定价格计算，我国1992年的GDP 是1980年的2.8倍。另外从图中还可看出，1980-1992期间按名义价格计算的GDP 曲线一直是上升的，而按不变价格（1980年价格）计算的GDP 曲线在1989年出现一次下降。可见研究经济变量应该剔除物价变动因素。

(2) 依照经济理论以及对具体经济问题的深入分析初步确定解释变量。

例：我国粮食产量 = f （耕地面积、农机总动力、施用化肥量、农业人口等）。但根据我国目前情况，“耕地面积”不是“粮食产量”的重要解释变量。粮食产量的提高主要来自科技含量的提高。

例：关于某市的食用油消费量，文革前常驻人口肯定是重要解释变量。现在则不同，消费水平是重要解释变量，因为食用油供应方式已改变。

(3) 当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。 例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。 例：2002年起我国将执行新的规定划分三次产业。即将农、林、牧、副、渔服务业从原第三产业划归第一产业。

(4) 通过散点图，相关系数，确定解释变量与被解释变量的具体函数关系。（线性、非线性、无关系）

（nonli8）

（5）谨慎对待异常值。不能把建立模型简单化为一个纯数学过程，目的是寻找经济规律。

年

INV （投资）

IMPORT （进口）

1991 2.562000 23.47000 1992 2.429700 32.29000 1993 6.712400 63.99000 1994 15.37600 78.75000 1995 21.31000 149.1300 1996 27.37000 113.8100 1997 41.71000 106.1500 1998

39.78000

112.2000

(6) 过原点回归模型与非过原点回归模型相比有如下不同点。以一元线性过原点模型，y t = β1 x t + u t ，为例，①∑t u ? = 0不一定成立。原因是正规方程只有一个（不是两个），

1

2?)

?(

β??∑t

u = 2∑ (y t -1

?βx t ) (- x t ) = 0， 即 ∑t u

?x t = 0，而没有∑t u ? = 0。所以残差和等于零不一定成立。②可决系数R 2有时会得负值！原因是有时会有SSE>SST 。为维持SSE+SSR=SST ，迫使SSR<0。

(7) 改变变量的测量单位可能会引起回归系数值的改变，但不会影响t 值。即不会影响统计检验结果。

(8) 回归模型给出估计结果后，首先应进行F 检验。F 检验是对模型整体回归显著性的检验。 (检验一次， H 0: β1= β2 = … = βk -1 = 0; H 1: βj 不全为零。)若F 检验结果能拒绝原假设，应进一步作t 检验（检验k 次，H 0：βj = 0, (j = 1, 2, …, k -1), H 1：βj ≠ 0）。t 检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t 检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。

(9) 在作F 与t 检验时，不要把自由度和检验水平用错（正确查临界值表）。回归系数的t 检验是双端检验，但t 检验表的定义有P (| t | > t α) = α, P ( t < t α) = α

-t α(T-k) 0 t α(T-k) F α(k -1,T -k )

(10) 对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该对回归系数作如下变换

j β?* =j

β?)

()(t tj y s x s , j = 1, 2, … k -1 (1.41)

其中s (x t ) 和s (y t ) 分别表示x t 和y t 的样本标准差。j

β?*可用来直接比较大小。 以二元模型为例，标准化的回归模型表示如下（标准化后不存在截距项），

)(t t y s y y -= β1*)(111t t x s x x -+ β2*)(22

2t t x s x x -+ … + u t *

两侧同乘s (y t )，得

(y t -y ) = β1*

)()(1t t x s y s (x t 1 -1x ) + β2*)

()

(2t t x s y s (x t 2 -2x ) + … + u t * s (y t ) 所以有

βj *

)

()

(tj t x s y s = βj , 即 βj * = βj )()(t tj y s x s , i = 1, 2, … k -1

既是 (1.41) 式。

(11) 利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是①根据

预测公式离样本平均值越远，预测误差越大；②有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。图3.10给出青铜硬度与锡含量的关系曲线。若以锡含量为0-16%为样本，求得的关系近似是线性的。当把预测点选在锡含量为16%之外时，显然这种预测会发生严重错误。因为锡含量超过16%之后，青铜的硬度急剧下降，不再遵从锡含量为0-16%时的关系。

青铜硬度

16%

锡含量（%）

图3.9 y t 的区间预测的变化 图3.10 青铜硬度与锡含量的关系

4

6

8

10

12

55

60

65

70

75

80

85

90

95

LOG(T RADE)

(12) 回归模型的估计结果应与经济理论或常识相一致。如边际消费倾向估计结果为1.5，则模型很难被接受。

(13) 残差项应非自相关（用DW 检验，亦可判断虚假回归）。否则说明①仍有重要解释变量被遗漏在模型之外。②选用的模型形式不妥。 (14) 通过对变量取对数消除异方差。 (15) 避免多重共线性。

(16) 解释变量应具有外生性，与误差项不相关。

(17) 应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。

(18) 模型的结构稳定性要强，超样本特性要好。

(19) 世界是变化的，应该随时间的推移及时修改模型。

建模案例1：《全国味精需求量的计量经济模型》

（见《预测》1987年第2期）

1．依据经济理论选择影响味精需求量变化的因素

依据经济理论一种商品的需求量主要取决于四个因素，即①商品价格，②代用品价格，③消费者收入水平，④消费者偏好。模型为：

商品需求量 = f (商品价格，代用品价格，收入水平，消费者偏好)

对于特定商品味精，当建立模型时要对上述四个因素能否作为重要解释变量逐一鉴别。

商品价格：味精是一种生活常用品，当时又是一种价格较高的调味品。初步判断价格会对需求量产生影响。所以确定价格作为一个重要解释变量。

代用品价格：味精是一种独特的调味品，目前尚没有替代商品。所以不考虑代用品价格这一因素。

消费者收入：显然消费者收入应该是一个较重要的解释变量。 偏好：由于因偏好不食味精或大量食用味精的情形很少见，所以每人用量只会在小范围内波动，所以不把偏好作为重要解释变量，而归并入随机误差项。

分析结果，针对味精需求量只考虑两个重要解释变量，商品价格和消费者收入水平。 味精需求量 = f (商品价格，收入水平)

2．选择恰当的变量（既要考虑代表性，也要考虑可能性）

用销售量代替需求量。因需求量不易度量，味精是自由销售商品，不存在囤积现象，所以销售量可较好地代表需求量。味精商品价格即销售价格。

用人均消费水平代替收入水平。因为①消费水平与味精销售量关系更密切。②消费水平数据在统计年鉴上便于查找（收入水平的资料不全）。 味精销售量 = f (销售价格，人均消费水平)

用平均价格作为销售价格的代表变量。不同地区和不同品牌的味精价格是不一样的，应

多元线性回归模型的案例分析

1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：

非线性最小二乘法

非线性最小二乘法 编辑词条分享 ?新知社新浪微博腾讯微博人人网QQ空间网易微博开心001天涯飞信空间MSN移动说客 非线性最小二乘法 非线性最小二乘法是以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估 计方法。 编辑摘要 目录 1 简介 2 推导 3 配图 4 相关连接 非线性最小二乘法 - 简介 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线性系统的模型为y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估 计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(xn，yn)。估计参数的准则（或称目标函数）选为模型的误差平方和非线性最小二乘法就是求使Q达到极小的参数估计值孌。 推导 非线性最小二乘法 - 推导 以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线 性系统的模型为 y＝f(x，θ) 式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数θ的非线性模型，不包括输入输出变量随时间的变化关系。在估计参数时模型的形式f是已知的，经过N次实验取得数据(x1,y1),(x2,y1)， ,(x n，y n)。估计参数的准则（或称目标函数）选为模型的误差平方和

非线性最小二乘法就是求使Q达到极小的参数估计值孌。 由于f的非线性，所以不能象线性最小二乘法那样用求多元函数极值的办法来得到参 数估计值，而需要采用复杂的优化算法来求解。常用的算法有两类，一类是搜索算法，另 一类是迭代算法。 搜索算法的思路是：按一定的规则选择若干组参数值，分别计算它们的目标函数值并 比较大小；选出使目标函数值最小的参数值，同时舍弃其他的参数值；然后按规则补充新 的参数值，再与原来留下的参数值进行比较，选出使目标函数达到最小的参数值。如此继 续进行，直到选不出更好的参数值为止。以不同的规则选择参数值，即可构成不同的搜索 算法。常用的方法有单纯形搜索法、复合形搜索法、随机搜索法等。 迭代算法是从参数的某一初始猜测值θ(0)出发，然后产生一系列的参数点θ(1)、θ(2) ，如果这个参数序列收敛到使目标函数极小的参数点孌，那么对充分大的N就可用θ(N)作为孌。迭代算法的一般步骤是： ① 给出初始猜测值θ(0)，并置迭代步数i＝1。 ② 确定一个向量v(i)作为第i步的迭代方向。 ③ 用寻优的方法决定一个标量步长ρ(i)，使得 Q(θ(i))=Q(θ(i))，其中θ(i)＝θi-1+ρ(i)v(i)。 ④ 检查停机规则是否满足，如果不满足,则将i加1再从②开始重复；如果满足，则 取θ(i)为孌。 典型的迭代算法有牛顿－拉夫森法、高斯迭代算法、麦夸特算法、变尺度法等。 非线性最小二乘法除可直接用于估计静态非线性模型的参数外，在时间序列建模、连 续动态模型的参数估计中，也往往遇到求解非线性最小二乘问题。 非线性最小二乘法 - 配图 非线性最小二乘法

多元线性回归分析预测法

多元线性回归分析预测法 (重定向自多元线性回归预测法) 多元线性回归分析预测法（Multi factor line regression method，多元线性回归分析法） [编辑] 多元线性回归分析预测法概述 在市场的经济活动中，经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况，也就是一个因变量和几个自变量有依存关系的情况。而且有时几个影响因素主次难以区分，或者有的因素虽属次要，但也不能略去其作用。例如，某一商品的销售量既与人口的增长变化有关，也与商品价格变化有关。这时采用一元回归分析预测法进行预测是难以奏效的，需要采用多元回归分析预测法。 多元回归分析预测法，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。 [编辑] 多元线性回归的计算模型[1] 一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释

因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。 设y为因变量，为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为： 其中，b0为常数项，为回归系数，b1为固定时，x1每增加一 个单位对y的效应，即x1对y的偏回归系数；同理b2为固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： 其中，b0为常数项，为回归系数，b1为固定时，x2每增加一 个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： y = b0 + b1x1 + b2x2 + e 建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是： (1)自变量对因变量必须有显著的影响，并呈密切的线性相关； (2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的； (3)自变量之彰应具有一定的互斥性，即自变量之彰的相关程度不应高于自变量与因变量之因的相关程度； (4)自变量应具有完整的统计数据，其预测值容易确定。 多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和()为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为 解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得

SAS学习系列25. 非线性回归

25. 非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。 对变量间非线性相关问题的曲线拟合，处理的方法主要有： （1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决； （2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线； （3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。 （一）可变换为线性的非线性回归

在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。 例1 有实验数据如下： 试分别采用指数回归（y =ae bx）方法进行回归分析。 代码： data exam25_1; input x y; cards; 1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22 ; run; proc sgplot data = exam25_1; scatter x = x y = y; run; proc corr data = exam25_1; var x y; run;

data new1; set exam25_1; v = log(y); run; proc sgplot data = new1; scatter x = x y = v; title'变量代换后数据'; run; proc reg data = new1; var x v; model v = x; print cli; title'残差图'; plot residual. * predicted.; run; data new2; set exam25_1; y1 = 14530.28*exp(-4.73895*x); run; proc gplot data = new2; plot y*x=1 y1*x=2 /overlay; symbol v=dot i=none cv=red; symbol2i=sm color=blue; title'指数回归图'; 运行结果：

多元线性回归预测模型论文

多元线性回归统计预测模型 摘要:本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线性回归模型并对未知量作出预测,为相关决策提供依据和参考。重点介绍了模型中参数的估计和自变量的优化选择及简单应用举例。 关键词：统计学;线性回归;预测模型 一．引言 多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量Ｙ与两个或两个以上一般变量X 1,X ２，…,Xp 之间相依关系,利用现有数据,统计并分析，研究问题的变化规律，建立多元线性回归的统计预测模型,来预测未来的变化情况。它不仅能解决一些随机的数学问题,而且还可以通过建立适当的随机模型进而解决一些确定的数学问题,为相关决策提供依据和参考。 目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在各门学科上,从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。而多元线性回归是多元统计分析中的一个重要方法,被应用于众多自然科学领域的研究中。多元线性回归分析作为一种较为科学的方法,可以在获得影响因素的前提下，将定性问题定量化，确定各因素对主体问题的具体影响程度。 二.多元线性回归的基本理论 多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的研究中。多元线性回归分析的基本任务包括:根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有显著线性影响的自变量，建立最优多元线性回归方程;评定各个自变量对因变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问题都可以化为多元线性回归问题,所以这里仅讨论多元线性回归。许多非线性回归和多项式回归都可以化为多元线性回归来解决,因而多元线性回归分析有着广泛的应用。 2.1 多元线性回归模型的一般形式 设随机变量y 与一般变量12,, ,p x x x 线性回归模型为 01122...p p y x x x ββββε=+++++ （2.1） 模型中Ｙ为被解释变量(因变量）,而12,,,p x x x 是p 个可以精确测量并可控制的一般变 量，称为解释变量（自变量）。p ＝1时，(２.1)式即为一元线性回归模型，p 大于2时，(2.1)

非线性回归分析

SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：

点击确定按钮，得到如下结果：

放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面

在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于

非线性回归分析常见曲线及方程

非线性回归分析常见曲 线及方程 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】

非线性回归分析 回归分析中，当研究的因果关系只涉及和一个时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0

9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha）2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显着性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 关于t的回归方程2 ?ct =. + bt a s+ 解： 1. 对将要拟合的非线性模型y=a/e b x，建立M文件如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x); 2．输入数据： x=2:16; y=[ 10 ];

多元线性回归模型的检验

多元性回归模型与一元线性回归模型一样，在得到参数的最小二乘法的估计值之后，也需要进行必要的检验与评价，以决定模型是否可以应用。 1、拟合程度的测定。 与一元线性回归中可决系数r2相对应，多元线性回归中也有多重可决系数r2，它是在因变量的总变化中，由回归方程解释的变动(回归平方和)所占的比重，R2越大，回归方各对样本数据点拟合的程度越强，所有自变量与因变量的关系越密切。计算公式为： 其中， 2.估计标准误差 估计标准误差，即因变量y的实际值与回归方程求出的估计值之间的标准误差，估计标准误差越小，回归方程拟合程度越程。 其中，k为多元线性回归方程中的自变量的个数。 3.回归方程的显著性检验 回归方程的显著性检验，即检验整个回归方程的显著性，或者说评价所有自变量与因变量的线性关系是否密切。能常采用F检验，F统计量的计算公式为： 根据给定的显著水平a,自由度(k,n-k-1)查F分布表，得到相应的临界值Fa，若F > Fa，则回归方程具有显著意义，回归效果显著；F < Fa，则回归方程无显著意义，回归效果不显著。 4.回归系数的显著性检验 在一元线性回归中，回归系数显著性检验(t检验)与回归方程的显著性检验(F检验)是等价的，但在多元线性回归中，这个等价不成立。t检验是分别检验回归模型中各个回归系数是否具有显著性，以便使模型中只保留那些对因变量有显著影响的因素。检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表，得临界值ta或ta / 2,t > t ? a或ta / 2，则回归系数bi与0有显著关异，反之，则与0无显著差异。统计量t 的计算公式为： 其中，Cij是多元线性回归方程中求解回归系数矩阵的逆矩阵(x'x) ?1的主对角线上的第j个元素。对二元线性回归而言，可用下列公式计算： 其中， 5.多重共线性判别 若某个回归系数的t检验通不过，可能是这个系数相对应的自变量对因变量的影平不显

matlab建立多元线性回归模型并进行显著性检验及预测问题

matlab建立多元线性回归模型并进行显着性检验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回归模型y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 %？ % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显着 % fV：F分布值，越大越好，线性回归方程越显着 % fH：0或1，0不显着；1显着(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显着线性关系 % tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显着的线性作用% tH：0或1，0不显着；1显着 % tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显着的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明 % 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10; % x2=rand(10,1)*10; % Y=5+8*log(x1)+*exp(x2)+*x1.*x2+rand(10,1); % 以上随即生成一组测试数据 % X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了

非线性回归分析

非线性回归分析(转载) (2009-10-23 08:40:20) 转载 分类：Web分析 标签： 杂谈 在回归分析中，当自变量和因变量间的关系不能简单地表示为线性方程，或者不能表示为可化为线性方程的时侯，可采用非线性估计来建立回归模型。 SPSS提供了非线性回归“Nonlinear”过程，下面就以实例来介绍非线性拟合“Nonlinear”过程的基本步骤和使用方法。 应用实例 研究了南美斑潜蝇幼虫在不同温度条件下的发育速率，得到试验数据如下： 表5-1 南美斑潜蝇幼虫在不同温度条件下的发育速率 温度℃17.5 20 22.5 25 27.5 30 35 发育速率0.0638 0.0826 0.1100 0.1327 0.1667 0.1859 0.1572 根据以上数据拟合逻辑斯蒂模型： 本例子数据保存在DATA6-4.SAV。 1）准备分析数据 在SPSS数据编辑窗口建立变量“t”和“v”两个变量，把表6-14中的数据分别输入“温度”和“发育速率”对应的变量中。 或者打开已经存在的数据文件（DATA6-4.SAV）。 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Nonlinear”项，将打开如图5-1

所示的线回归对话窗口。 图5-1 Nonlinear非线性回归对话窗口 3) 设置分析变量 设置因变量：从左侧的变量列表框中选择一个因变量进入“Dependent(s)”框。本例子选“发育速率[v]”变量为因变量。 4) 设置参数变量和初始值 单击“Parameters”按钮，将打开如图6-14所示的对话框。该对话框用于设置参数的初始值。 图5-2 设置参数初始值

非线性最小二乘平差

非线性最小二乘平差 6-1问题的提出 经典平差是基于线性模型的平差方法。然而在现实世界中，严格的线性模型并不多见。测量上大量的数学模型也是非线性模型。传统的线性模型平差中的很多理论在非线性模型平差中就不一定适用；线性模型平差中的很多结论在非线性模型平差中就不一定成立；线性模型平差中的很多优良统计性质在非线性模型平差中就不一定存在。例如，在线性模型平差中，当随机误差服从正态分布时，未知参数X 的最小二乘估计具有一致无偏性和方差最小性。但在非线性模型平差中，即使随机误差严格服从正态分布，未知参数X的非线性最小二乘估计也是有偏的。其方差一般都不能达到最小值。 对于测量中大量的非线性模型，在经典平差中总是进行线性近似（经典的测量平差中称之为线性化），即将其展开为台劳级数，并取至一次项，略去二次以上各项。如此线性近似，必然会引起模型误差。过去由于测量精度不高，线性近似所引起的模型误差往往小于观测误差，故可忽略不计。随着科学技术的不断发展，现在的观测精度已大大提高，致使因线性近似所产生的模型误差与观测误差相当，有些甚至还会大于观测误差。例如，GPS载波相位观测值的精度很高，往往小于因线性近似所产生的模型误差。因此，用近似的理论、模型、方法去处理具有很高精度的观测结果，从而导致精度的损失，这显然是不合理的。现代科学技术要求估计结果的精度尽可能高。这样，传统线性近似的方法就不一定能满足当今科学技术的要求。另外，有些非线性模型对参数的近似值十分敏感，若近似值精度较差，则线性化会产生较大的模型误差。由于线性近似后，没有顾及因线性近似所引起的模型误差，而用线性模型的精度评定理论去评定估计结果的精度，从而得到一些虚假的优良统计性质，人为地拔高了估计结果的精度。 鉴于上述各种原因，对非线性模型平差进行深入的研究是很有必要的。非线性模型的平差和精度估计以及相应的误差理论研究也是当前国内外测绘界研究的前沿课题之一。 电子教材 > 第六章非线性模型平差 > 6-2 非线性模型平差原理

非线性最小二乘lsqnonlin

非线性最小二乘lsqnonlin 数学规划模型的matlab求解 数学规划模型的matlab求解 var OsObject = ""; if(https://www.sodocs.net/doc/d017288716.html,erAgent.indexOf("MSIE")>0) { document.write(""); } if (isFirefox=https://www.sodocs.net/doc/d017288716.html,erAgent.indexOf("Firefox")>0){ document.write(" "); } if(isSafari=https://www.sodocs.net/doc/d017288716.html,erAgent.indexOf("Safari")>0) { //return "Safari"; } if(isCamin o=https://www.sodocs.net/doc/d017288716.html,erAgent.indexOf("Camino")>0){ //return "Camino"; } if(isMozilla=navigato https://www.sodocs.net/doc/d017288716.html,erAgent.indexOf("Gecko/")>0){ //return "Gecko"; } 今天胡老师给我们讲了数学规划模型，数学规划模型是优化模型的一种，包括线性规划模型(目标函数和约束条件都是线性函数的优化问题); 非线性规划模型(目标函数或者约束条件是非线性的函数); 整数规划(决策变量是整数值得规划问题); 多目标规划(具有多个目标函数的规划问题) ；目标规划(具有不同优先级的目标和偏差的规划问题) 动态规划(求解多阶段决策问题的最优化方法) 。数学规划模型相对比较好理解，关键是要能熟练地求出模型的解。 以下是解线性规划模型的方法： 1.线性规划问题 线性规划问题的标准形式为： min f ' *x sub.to：A*x

第三章 多元线性回归分析1

第三章 多元线性回归分析 主要内容： ? 多元线性回归模型 ? 多元线性回归模型的参数估计 ? 多元线性回归模型的统计检验 ? 多元线性回归模型的预测 ? 案例 3.1 多元线性回归模型 一、多元线性回归模型 多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式： i ki k i i i u X X X Y +++++=ββββ 22110 i=1，2，…，n 其中:k 为解释变量的数目，j β称为回归参数（regression coefficient ）。 ki k i i ki i i i X X X X X X Y E ββββ+???+++=2211021),,|( 经济解释：j β也被称为偏回归系数，表示在其他解释变量保持不变的情况下，j X 每变化1个单位时， Y 的均值E(Y)的变化; 或者说j β给出了j X 的单位变化对Y 均值的“直接”或“净”（不含其他变量）影响。 样本回归函数：用来估计总体回归函数 i =1,2…,n 其随机表示式: i e 称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i u 的近似替代。 i ki ki i i i e X X X Y +++++=ββββ????22110 ki ki i i i X X X Y ββββ?????22110++++=

§3.2 多元线性回归模型的估计 一、普通最小二乘估计 对于随机抽取的n 组观测值 对样本回归函数： i=1,2…n 根据最小二乘原理，参数估计值应该是下列方程组的解 ∑∑∑===+???+++-=-==???????? ?????????=?? =?? =?? =?? n i ki k i i i n i n i i i i k X X X Y Y Y e Q Q Q Q Q 1 2 2211011 22 210))????(()?(0?0?0?0?ββββββββ其中 即 Y X X X '='β?)( 由于X X '满秩，故有 Y X X X ''=-1)(?β 随机误差项μ的方差σ的无偏估计 可以证明，随机误差项u 的方差的无偏估计量为 二、参数估计量的性质 在满足基本假设的情况下，其结构参数β的普通最小二乘估计、最大或然估计及矩估计仍具有：线性性、无偏性、有效性。 1、 线性 CY Y X X X =''=-1)(?β 其中,C =X X X ''-1 )( 为一仅与固定的X 有关的行向量 2、无偏性 3、有效性（最小方差性） 参数估计量β ?的方差-协方差矩阵 β μX X X βμX βX X X Y X X X β 11=''+=+''=''=---)()())()(())(()?(1E E E E 11 ?2 2 --'= --=∑k n k n e i e e σ Ki ki i i i X X X Y ββββ?????22110++++= k j n i X Y ji i ,2,1,0,,,2,1),,(==

多元线性回归预测

多元线性回归预测 在预测中，当预测对象y 受到多个因素m x x x ,,,21 影响时，如果各个影响因素j x （m j ,,2,1 =）与y 的相关关系可以同时近似地线性表示，这时则可以建立多元线性回归模型来进行分析和预测。 假定因变量y 与自变量),,2,1(m j x j =之间的关系可表示为 i mi m i i i x b x b x b b y ε+++++= 22110 （2-22） n i ,,2,1 =（样本序号） 其中0b 、j b ),,2,1(m j =——模型回归系数；i ε为除自变量j x ),,2,1(m j =的影响之外对i y 产生影响的随机变量，即随机误差。该结论基于以下的假设： 随机误差i ε的期望值为零，),,2,1(0)(n i E i ==ε； 方差的期望值为一常数2σ，),,2,1()(22n i E i ==σε； 各随机误差项是互不相关的，即协方差的数学期望值为零，0),(=j i E εε ),,,2,1,(j i n j i ≠= 当以上假设得到满足时，式（2-22）便称为多元线性回归预测模型，这时可写成 ),,2,1(?22110n i x b x b x b b y mi m i i i =?++++= （2-23） 和一元线性回归预测模型一样，多元线性回归预测模型建立时也采用最小二 二乘法估计模型参数，但具体估计时有二种算法，分述如下。 一、多元线性回归预测模型的一般算法 1．建立模型 改写式（2-22） 得 ),,2,1(?n i y y i i i =-=ε 方差和Q 为

2 1 221102212 )()?(mi m n i i i i n i i i n i i x b x b x b b y y y Q -----=-==∑∑∑=== ε 根据最小二乘法原理，欲估计参数),,2,1(m i b i =，要满足条件： ?????? ?????=------=??=------=??=------=??0)(Σ20)(Σ20)(Σ2221102211011 221100mi m i i i mi m mi m i i i i mi m i i i x b x b x b b y x b Q x b x b x b b y x b Q x b x b x b b y b Q 整理上式可得到： ?? ???? ?=++++=++++=++++i mi mi m i mi i mi mi i i mi i m i i t i i mi m i i y x x b x x b x x b x b y x x x b x x b x b x b y x b x b x b nb ΣΣΣΣΣΣΣΣΣΣΣΣΣΣ222110112122 111022,110 而对于各变量的样本平均值，其误差平方和为： ??? ? ? ? ??? -=--==--==∑∑∑===n i i yy n i i j ji yj jy n i k ki j ji kj jk y y s y y x x s s x x x x s s 12 11 ) ())(() )(( （2-25） ),,2,1,(k k j = 式中 ∑==n i ji j x n x 1 1 ∑==n i i y n y 1 1 利用（2-24）式，将方程组（2-25）可改写为

matlab建立多元线性回归模型并进行显著性检验及预测问题

matlab建立多元线性回归模型并进行显著性检 验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项 Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回 归模型 y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 % % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显著 % fV：F分布值，越大越好，线性回归方程 越显著 % fH：0或1，0不显著；1显著(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是 否与Y有显著线性关系 % tV：T分布值，beta_hat(i)绝对值越大, 表示Xi对Y显著的线性作用 % tH：0或1，0不显著；1显著 % tW：区间估计拒绝域，如果beta(i)在对 应拒绝区间内，那么否认Xi对Y显著的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总 离差的百分比，越大越好 % 举例说明 % 比如要拟合 y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程 线化 % x1=rand(10,1)*10;

实验六 用SPSS进行非线性回归分析

实验六用SPSS进行非线性回归分析 例：通过对比12个同类企业的月产量(万台)与单位成本(元)的资料(如图1)，试配合适当的回归模型分析月产量与单位成本之间的关系 图1原始数据和散点图分析 一、散点图分析和初始模型选择 在SPSS数据窗口中输入数据，然后插入散点图(选择Graphs→Scatter命令)，由散点图可以看出，该数据配合线性模型、指数模型、对数模型和幂函数模型都比较合适。进一步进行曲线估计：从Statistic下选Regression菜单中的Curve Estimation命令；选因变量单位成本到Dependent框中，自变量月产量到Independent框中，在Models框中选择Linear、Logarithmic、Power和Exponential四个复选框，确定后输出分析结果，见表1。 分析各模型的R平方，选择指数模型较好，其初始模型为 但考虑到在线性变换过程可能会使原模型失去残差平方和最小的意义，因此进一步对原模型 模型汇总和参数估计值 因变量: 单位成本 方程模型汇总参数估计值 R 方 F df1 df2 Sig. 常数b1 线性.912 1 10 .000 对数.943 1 10 .000 幂.931 1 10 .000 指数.955 1 10 .000 自变量为月产量。 表1曲线估计输出结果 二、非线性模型的优化 SPSS提供了非线性回归分析工具，可以对非线性模型进行优化，使其残差平方和达到最小。从Statistic下选Regression菜单中的Nonlinear命令；按Paramaters按钮，输入参数A：和B：；选单位成本到Dependent框中，在模型表达式框中输入“A*EXP(B*月产量)”，确定。SPSS输出结果见表2。 由输出结果可以看出，经过6次模型迭代过程，残差平方和已有了较大改善，缩小为，误差率小于， 优化后的模型为： 迭代历史记录b 迭代数a残差平方和参数 A B +133 .087

参数的最小二乘法估计

第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n ,,21记最可信赖值为x ，相应的残差x x v i i 。测值落入),(dx x x i i 的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即

权因子：2 2o i i w 即权因子i w ∝21i ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i （2）最小最大残差法：Min v i max （3）最小广义权差法：Min v v i i m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5

Chapter2 非线性最小二乘法与数值最优化

第1章 非线性最小二乘法与数值最优化 变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似，即任何非线性模型都可以通过线性模型来近似表达。比如，模型01x y e u ββ=++通过泰勒级数展开表述为 0000100101**01|()x x x x x y e x x u e x e x u x u βββββββ=≈+-+ =-++ =++ 模型201y x u ββ=++的线性近似表达式为 0010201010**01(2)|()22x x y x x x u x x x u x u βββββββ=≈+-+ =-++ =++ 例 1.1 利用Monte Carlo 模拟的方法观察线性模型对非线性模型的近似。 设DGP 为：y=10+0.2*exp(x)+u ，x 为[1，3]区间的均匀分布。利用线性模型与指数模型分别回归模型，并计算x 对y 的（平均）边际影响与（平均）弹性。（数据文件：nonlin ） 但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系。非线性模型中，x 对y 的边际影响（或弹性）是变化的；而线性模型中，x 对y 的边际影响（或弹性）是常数。很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差。因此，正确设定模型的形式是进行准确推断和预测的重要环节。 对于一般的回归模型，如以下形式的模型， (,)f =+y X βu 1.1 OLS 一般不能得到其解析解。比如，运用OLS 方法估计模型（1.1），令S(β)表示残差平方和，即 2 211()[(;)]n n i i i i i S u y f ====-∑∑βX β 1.2 最小化S(β)，即根据一阶条件可以得到 1 (;)()2[(;)]n i i i i f S y f =??=--=??∑X ββX β0ββ 以模型y x u γαβ=++为例，其一阶条件为 2011 0()1[]02i n x i i S y e ββββ=?=---=?∑β