在线词典

最小二乘法公式是什么

更新日期:2026-11-12 12:59:36

标题最小二乘法公式是什么
内容

在数学和统计学中,最小二乘法是一种常用的回归分析方法,用于寻找最佳拟合曲线或直线,使得观测数据与模型预测值之间的误差平方和最小。它广泛应用于数据拟合、参数估计以及线性回归等领域。

一、最小二乘法的基本思想

最小二乘法的核心思想是:通过调整模型中的参数,使实际观测值与模型预测值之间的偏差平方和最小。这种偏差通常称为“残差”(residual)。

二、最小二乘法的公式总结

1. 线性回归模型(一元线性)

设我们有一组数据点 $(x_1, y_1), (x_2, y_2), \dots, (x_n, y_n)$,并假设其满足线性关系:

$$

y = a x + b

$$

其中,$a$ 是斜率,$b$ 是截距。我们需要找到使得误差平方和最小的 $a$ 和 $b$。

公式如下:

$$

\text{最小化 } S = \sum_{i=1}^{n}(y_i - a x_i - b)^2

$$

解得:

$$

a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2}

$$

$$

b = \frac{\sum y_i - a \sum x_i}{n}

$$

2. 多元线性回归

对于多个自变量的情况,设模型为:

$$

y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_p x_p

$$

目标是最小化:

$$

S = \sum_{i=1}^{n}(y_i - \beta_0 - \beta_1 x_{i1} - \dots - \beta_p x_{ip})^2

$$

该问题可以通过矩阵形式表示为:

$$

\mathbf{Y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\epsilon}

$$

其中 $\boldsymbol{\beta}$ 是待求参数向量,$\mathbf{X}$ 是设计矩阵,$\mathbf{Y}$ 是响应向量。

最小二乘解为:

$$

\boldsymbol{\hat{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{Y}

$$

三、最小二乘法公式的应用与特点

特点 说明
最小化误差平方和 找到最接近数据点的拟合线或曲线
线性模型适用性强 适用于线性关系的数据拟合
对异常值敏感 极端值可能影响结果
计算简便 可以用代数或矩阵方法实现

四、表格总结:最小二乘法主要公式

类型 模型 公式 目标
一元线性回归 $ y = ax + b $ $ a = \frac{n \sum x_i y_i - \sum x_i \sum y_i}{n \sum x_i^2 - (\sum x_i)^2} $
$ b = \frac{\sum y_i - a \sum x_i}{n} $
最小化误差平方和
多元线性回归 $ y = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p $ $ \boldsymbol{\hat{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{Y} $ 最小化误差平方和

五、总结

最小二乘法是一种基础而重要的数学工具,广泛应用于数据分析、工程建模和科学计算中。通过合理选择模型形式,并结合最小二乘法进行参数估计,可以有效提高数据拟合的精度和可靠性。理解其基本公式和应用场景,有助于更好地掌握数据分析技能。

随便看