搜档网
当前位置:搜档网 › 递推最小二乘法推导(RLS)——全网最简单易懂的推导过程

递推最小二乘法推导(RLS)——全网最简单易懂的推导过程

递推最小二乘法推导(RLS)——全网最简单易懂的推导过程
递推最小二乘法推导(RLS)——全网最简单易懂的推导过程

递推最小二乘法推导(RLS)——全网最简单易懂的推导过程

作者:阿Q在江湖

先从一般最小二乘法开始说起

已知x和y的一系列数据,求解参数theta的估计。用矩阵的形式来表达更方便一些:

其中k代表有k组观测到的数据,

表示第i组数据的输入观测量,yi表示第i组数据的输出观测量。令:

,则最小二乘的解很简单,

等价于即参数解为:如果数据是在线的不断的过来,不停的采用最小二乘的解法来解是相当消耗资源与内存的,所

以要有一种递推的形式来保证对的在线更新。

进一步推导出递推最小二乘法(RLS)

我们的目的是从一般最小二乘法的解

推导出

的递推形式。一定要理解这里的下标k代表的意思,是说在有k组数据情况下的预测,所以k比k-1多了一组数据,所以可以用这多来的一组数据来对原本的估计进行修正,这是一个很直观的理解。下面是推导过程:

先看一般最小二乘法的解

下面分别对

这两部分进行推导变换,令

得到下面公式(1)

下面来变换得到公式(2)

下面再来,根据一般最小二乘法的解,我们知道下式成立,得到公式(3)(注:后续公式推导用到)

好了,有了上面最主要的三步推导,下面就简单了,将上面推导的结果依次代入公式即可:

至此,终于变成

的形式了。

通过以上推导,我们来总结一下上面RLS方程:

注:以上公式7中,左边其实是根据公式1,右边I为单位矩阵

公式(5)和(7)中,有些文献资料是用右边的方程描述,实际上是等效的,只需稍微变换即可。例如(5)式右边表达式是将公式(1)代入计算的。为简化描述,我们下面还是只讨论左边表达式为例。

上面第7个公式要计算矩阵的逆,求逆过程还是比较复杂,需要用矩阵引逆定理进一步简化。

矩阵引逆定理:

最终RLS的方程解为:

好了,至此完毕!以上应该算是最简单的推导过程了,相信都能看得懂了。后续有时间将增加带遗忘因子的RLS推导步骤,毕竟工程上的实际用途很多用此方法,比如在线辨识电池系统等效电路模型的参数,用于卡尔曼滤波算法估算SOC……

相关主题