最小二乘法

上一期我们介绍了两种常用参数估计法中的最大似然法。这一期我们介绍另一种常用的参数估计法，最小二乘法。它本质上是一种通过最小化损失函数对故障数据点进行函数拟合的方法。在实际情况下中，最小二乘法并不像最大似然方法那样需要非常复杂的算法来得到数值解。

在获得故障数据之后，我们需要先线性化不可靠性分布函数。其中x 轴坐标表示故障时间，而 y 轴坐标表示对不可靠性估计。一般情况下，我们使用中位秩法来估计不可靠性，所以我们有时也称这种方法为秩回归法。为了简单起见，我们假设获得的故障数据是完整数据，没有删失数据。

在将数据点绘制在概率图上之后，我们需要在概率图上根据数据点拟合一条“最好的”直线。最小二乘法通过数学公式来定义出一个损失函数，而使得损失函数最小的直线就是“最好的”直线。

对于一组数据点，最小二乘法要求数据点到拟合线的距离的平方和最小，而损失函数就是所有数据点到直线的距离之和。这种最小化可以在垂直或水平方向上执行。如果在x轴上进行回归，则拟合出的直线满足数据点到拟合线的水平偏差最小。如果在 y 轴上进行回归，则拟合出的直线满足数据点到线的垂直偏差的距离被最小化。如下图所示，

现在我们来看最小二乘估计的数学表示。当数据点已绘制在概率图上的时候，我们希望找到一条直线，y=ax+b满足上述的条件，即数据点到直线水平或者垂直方向的偏差最小。在y轴上进行回归的表达式如下：

其中，是对a，b  的最小二乘法估计，即使等式右边取最小值时a，b的值。通过数学推导，的表达式如下：

其中N是数据点的总数。与之相似的，最小二乘法在x轴上的回归表达式如下所示：

最佳估计值，的表达式如下：

通过国可工软，我们可以用最小二乘法拟合出样例数据的分布函数。如下图所示：

上图为在x轴上回归后的结果，下图为在y轴上回归后的结果。

秩回归，最小二乘法的优点之一是它可以为拟合函数对数据点的拟合度提供一个很好的计量方法和指标。我们称这个指标为相关系数，通常由希腊字母ρ表示。在上面的分析结果中，我们可以看到最后一行的参数就是相关性ρ的值。

在寿命数据分析中，相关系数还是衡量中位数等级（y 轴值）和故障时间数据（x 轴值）之间线性关系强度的指标。总体相关系数的数学表达式如下：

其中σxy是数据点在x轴和y轴的值的协方差，而σx是数据点在x轴上的标准偏差，σy是y轴上的标准偏差。然而在大多数情况下，我们不太可能获得目标的总体数据，只能获得观察对象的样本数据。在这种情况下我们给出对于通过样本对总体相关系数的估计的数学表达式：

其中是对ρ 的估计值。ρ 的值域在[-1，1]这个区间之内，越接近+1或者-1，线性拟合越好。当ρ（或者是）等于+1 时表示正斜率的完美拟合，而 -1 表示负斜率的完美拟合。当相关系数值为零时，数据点是随机分散的，x轴与y轴的数据没有线性关系。这也表示，数据点的分布并不符合我们选取的模型。

最小二乘法在估计可以线性化的分布函数时效果非常好。而寿命数据分析中使用的大多数分布函数都能够被线性化同时也是有具体的数学表达式的。所以在使用最小二乘法进行参数估计时相对容易和直接，无需借助数值近似解即可得出参数的估计值。此外，最小二乘法还提供了判断不同分布“拟合度”的一个指标，即我们之前讨论的，相关性系数。但最小二乘法也有它的不足之处，它适用于只包含完整数据的数据集。对于包含大量右删失数据的数据集，最大似然法是首选的参数估计方法。