第一类是“解线性方程/最小二乘”：LU、QR、Cholesky、三角分解、正交三角分解。
第二类是“理解线性变换结构”：特征值分解、对角化、谱分解、Schur、Jordan、广义特征值分解。
第三类是“压缩、降噪、低秩近似”：SVD、满秩分解、奇异值阈值分解。
第四类是“分离几何作用或利用结构”：极分解、分块分解。

1. LU 分解

核心思路

LU 分解本质上就是把高斯消元过程保存下来。高斯消元用行变换把 $A$ 化为上三角矩阵 $U$ 。这些消元操作可以由一系列初等下三角矩阵表示。把它们反过来乘起来，就得到 $L$ 。

形式

对方阵 $A$ ，希望写成

A = LU

其中 $L$ 是下三角矩阵， $U$ 是上三角矩阵。实际计算中更常见的是带主元的形式：

P A = LU

其中 $P$ 是置换矩阵。

原理与证明骨架

设消元矩阵为 $E_{1}, E_{2}, \dots, E_{k}$ ，使得

E_{k} \dots E_{2} E_{1} A = U .

于是

A = E_{1}^{- 1} E_{2}^{- 1} \dots E_{k}^{- 1} U .

每个 $E_{i}^{- 1}$ 仍然是单位下三角矩阵，因此

L = E_{1}^{- 1} E_{2}^{- 1} \dots E_{k}^{- 1}

也是单位下三角矩阵，所以

A = LU .

当消元过程中出现零主元时，需要换行，于是得到

P A = LU .

简单例子

令

A = (2413) .

用第二行减去第一行的 $2$ 倍：

R_{2} \leftarrow R_{2} - 2 R_{1} .

得到

U = (2011) .

消元倍数是 $2$ ，所以

L = (1201) .

于是

A = (1201) (2011) .

工程应用

数值线性代数、大规模线性方程组、有限元、偏微分方程离散化、工程仿真、优化算法中都大量使用 LU。

如果一个矩阵 $A$ 固定，但右端 $b$ 有很多个，那么先做一次 LU，以后每个 $b$ 只需要三角求解。

优点

速度快。对 $n \times n$ 矩阵，LU 分解复杂度大约是

O (n^{3})

求解每个右端向量只要

O (n^{2})

结构清楚，和高斯消元完全对应。

缺点与例子

不带主元的 LU 可能不存在。

例如

A = (0110) .

第一步主元是 $0$ ，不能直接消元。此时需要交换两行：

P A = LU .

另一个缺点是数值不稳定。例如主元很小：

A = (1 0^{- 10} 1 11) .

若不换行，消元倍数会非常大，舍入误差被放大。因此工程中几乎总是用带部分主元的 LU。

2. QR 分解

核心思路

QR 分解本质上就是把矩阵的列向量正交化。矩阵 $A$ 的列向量可能不正交。QR 的想法是：把这些列向量变成一组正交基，同时记录原列向量在这组正交基下的坐标。

形式

对 $m \times n$ 矩阵 $A$ ，希望写成

A = QR

其中 $Q$ 的列向量正交归一，即

Q^{*} Q = I

而 $R$ 是上三角矩阵。

若 $A$ 是实矩阵，则常写为

Q^{T} Q = I

原理与证明骨架

设

A = (a_{1}, a_{2}, \dots, a_{n})

对列向量做 Gram—Schmidt 正交化：

u_{1} = a_{1}, q_{1} = \frac{u _{1}}{∥ u _{1} ∥} .

对 $k \geq 2$ ，令

u_{k} = a_{k} - j = 1 \sum k - 1 ⟨ a_{k}, q_{j} ⟩ q_{j}, q_{k} = \frac{u _{k}}{∥ u _{k} ∥} .

于是每个 $a_{k}$ 都可以写成

a_{k} = j = 1 \sum k r_{j k} q_{j}

把所有列合起来，就得到

A = QR

其中 $R = (r_{j k})$ 是上三角矩阵，因为 $a_{k}$ 只用到了 $q_{1}, \dots, q_{k}$ 。

简单例子

令

A = (11 1 - 1)

两列本来就正交：

a_{1} = (11), a_{2} = (1 - 1) .

它们的范数都是 $2$ ，所以

Q = \frac{1}{2} (11 1 - 1), R = (2002) .

于是

A = QR

数学应用

QR 分解是 Gram—Schmidt 正交化的矩阵形式。它用于构造正交基、研究正交投影、证明最小二乘问题的正规解形式。

最小二乘问题为

x min ∥ A x - b ∥_{2} .

若 $A = QR$ ，则

∥ A x - b ∥_{2} = ∥ QR x - b ∥_{2} .

利用 $Q$ 的正交性，可以转化为

R x = Q^{*} b .

工程应用

QR 分解常用于最小二乘拟合、数据回归、信号处理、QR 特征值算法和数值稳定求解线性系统。

在工程中，QR 通常比正规方程

A^{*} A x = A^{*} b

更加稳定，因为正规方程会把条件数平方：

κ (A^{*} A) = κ (A)^{2} .

优点

QR 分解稳定性好，尤其适合最小二乘问题。

核心原因是正交变换不改变欧氏范数：

∥ Q x ∥_{2} = ∥ x ∥_{2} .

因此它不会像普通消元那样轻易放大误差。

缺点与例子

QR 的计算量通常高于 LU。对于方阵，QR 的常数开销一般更大。

另一个缺点是：若列向量几乎线性相关，经典 Gram—Schmidt 可能丧失正交性。

例如

a_{1} = (11), a_{2} = (1 1 + ε) .

当 $ε$ 很小时，两列几乎平行。经典 Gram—Schmidt 中会出现严重的减法抵消，导致数值误差放大。

因此工程中通常使用改进 Gram—Schmidt、Householder QR 或 Givens QR。

3. 特征值分解

核心思路

特征值分解本质上是在寻找线性变换的不变方向。如果一个线性变换在某些方向上只拉伸、不旋转，那么这些方向就是特征向量，对应的拉伸比例就是特征值。

形式

若方阵 $A$ 有一组线性无关的特征向量，则可以写成

A = P Λ P^{- 1}

其中

Λ = diag (λ_{1}, \dots, λ_{n}) .

这里 $P$ 的列向量是 $A$ 的特征向量。

原理与证明骨架

设

A v_{i} = λ_{i} v_{i}, i = 1, \dots, n .

令

P = (v_{1}, \dots, v_{n}) .

则

A P = (A v_{1}, \dots, A v_{n}) = (λ_{1} v_{1}, \dots, λ_{n} v_{n}) = P Λ.

如果 $v_{1}, \dots, v_{n}$ 线性无关，则 $P$ 可逆，所以

A = P Λ P^{- 1} .

简单例子

令

A = (2013) .

它的特征值是 $2$ 和 $3$ 。

对应特征向量可取

v_{1} = (10), v_{2} = (11) .

于是

P = (1011), Λ = (2003) .

因此

A = P Λ P^{- 1} .

数学应用

特征值分解常用于计算矩阵幂：

A^{k} = P Λ^{k} P^{- 1} .

也用于研究线性递推：

x_{k + 1} = A x_{k} .

以及线性微分方程：

x^{'} (t) = A x (t) .

若

A = P Λ P^{- 1},

则

e^{A t} = P e^{Λ t} P^{- 1} .

工程应用

特征值分解用于动力系统稳定性、Markov 链、PageRank、振动模态分析、控制系统、图谱分析和量子力学中的算符分析。

优点

解释性强。特征值给出特殊方向上的放大率，特征向量给出不变方向。

对矩阵函数非常方便：

f (A) = P f (Λ) P^{- 1} .

缺点与例子

不是所有矩阵都能做特征值分解。

例如 Jordan 块

A = (1011) .

它只有一个特征值

λ = 1.

解

(A - I) v = 0

得到

(0010) (x y) = 0.

所以 $y = 0$ ，特征向量空间只有一维。因此它没有两条线性无关的特征向量，不能对角化。

另一个缺点是：非正规矩阵的特征向量可能病态，数值上很不稳定。

4. SVD 分解

核心思路

SVD 分解本质上是把任意线性变换拆成“旋转、拉伸、再旋转”。它不要求矩阵是方阵，也不要求矩阵可对角化，因此是最普适的矩阵分解之一。

形式

对任意 $m \times n$ 矩阵 $A$ ，都有

A = U Σ V^{*},

其中 $U, V$ 是酉矩阵或正交矩阵， $Σ$ 是非负对角型矩阵：

Σ = diag (σ_{1}, \dots, σ_{r}), σ_{1} \geq σ_{2} \geq \dots \geq σ_{r} > 0.

$σ_{i}$ 称为奇异值。

原理与证明骨架

考虑矩阵

A^{*} A .

它是 Hermitian 半正定矩阵，因为

x^{*} A^{*} A x = ∥ A x ∥^{2} \geq 0.

由谱定理，存在酉矩阵 $V$ ，使得

A^{*} A = V Λ V^{*},

其中

Λ = diag (σ_{1}^{2}, \dots, σ_{n}^{2}) .

令

σ_{i} = λ_{i} .

对于 $σ_{i} > 0$ ，定义

u_{i} = \frac{A v _{i}}{σ _{i}} .

可以验证

⟨ u_{i}, u_{j} ⟩ = \frac{⟨ A v _{i} , A v _{j} ⟩}{σ _{i} σ _{j}} = \frac{⟨ v _{i} , A ^{*} A v _{j} ⟩}{σ _{i} σ _{j}} = δ_{ij} .

补全 $u_{i}$ 为一组正交基，就得到

A = U Σ V^{*} .

简单例子

令

A = (3001) .

它已经是沿坐标轴拉伸，所以

U = I, Σ = (3001), V = I .

因此

A = U Σ V^{*} .

再看矩阵

A = (11 1 - 1) .

有

A^{T} A = (2002) .

所以两个奇异值都是

2 .

数学应用

SVD 可以给出矩阵秩：

rank (A) = # {i : σ_{i} > 0} .

可以给出矩阵范数：

∥ A ∥_{2} = σ_{1}, ∥ A ∥_{F}^{2} = i \sum σ_{i}^{2} .

也可以给出 Moore—Penrose 伪逆：

A^{+} = V Σ^{+} U^{*} .

SVD 还给出最优低秩近似。Eckart—Young 定理说明：

A_{k} = i = 1 \sum k σ_{i} u_{i} v_{i}^{*}

是所有秩不超过 $k$ 的矩阵中最接近 $A$ 的矩阵。

工程应用

SVD 用于 PCA、推荐系统、图像压缩、图像降噪、矩阵补全、文本主题模型、信号处理、低秩建模和机器学习正则化。

优点

SVD 最普适：任意矩阵都有 SVD。

它数值稳定、几何意义强，并且能直接导出最优低秩近似。

缺点与例子

完整 SVD 的计算成本高。对大规模矩阵，完整分解代价很大，实际常用截断 SVD 或随机 SVD。

奇异向量也不一定唯一。若奇异值重复，例如

A = (2002),

任意正交基都可以作为奇异向量方向，因为所有方向的伸缩都一样。因此奇异向量的解释不唯一。

此外，当奇异值接近时，奇异向量对扰动敏感。比如

A_{ε} = (10 0 1 + ε) .

当 $ε$ 很小时，主奇异方向会对微小扰动非常敏感。

5. Cholesky 分解

核心思路

Cholesky 分解本质上是把正定二次型写成平方和。如果 $A$ 正定，那么 $x^{T} A x$ 总是正的，因此它可以被理解为某种“长度平方”。

形式

若 $A$ 是 Hermitian 正定矩阵，则

A = L L^{*}

其中 $L$ 是下三角矩阵，且对角元为正。

实矩阵情形为

A = L L^{T}

原理与证明骨架

对矩阵

A = (a_{11} a_{21} a_{12} A_{22})

做分块。

正定性保证

a_{11} > 0

令

l_{11} = a_{11}, ℓ = \frac{1}{l _{11}} a_{21} .

构造 Schur 补：

S = A_{22} - ℓ ℓ^{*} .

可以证明 $S$ 仍然正定。于是对 $S$ 递归做 Cholesky 分解，最终得到

A = L L^{*} .

简单例子

令

A = (4222) .

取

L = (2101) .

则

L L^{T} = (2101) (2011) = (4222) .

所以

A = L L^{T} .

数学应用

Cholesky 分解用于正定二次型、内积空间、椭球、Gram 矩阵和最小二乘正规方程。

如果 $A^{T} A$ 正定，则可以对正规方程矩阵做 Cholesky 分解。

工程应用

Cholesky 分解用于有限元刚度矩阵、协方差矩阵、多元正态分布、Kalman 滤波、数值优化和机器学习中的核矩阵。

优点

Cholesky 比 LU 更快，存储也更省，因为只需要计算一个三角矩阵。

对正定矩阵，它非常稳定。

缺点与例子

Cholesky 只适用于 Hermitian 正定矩阵。

例如

A = (1221)

虽然对称，但不是正定矩阵。它的特征值是 $3$ 和 $- 1$ 。因此不存在实 Cholesky 分解。

半正定矩阵也可能导致普通 Cholesky 失败。例如

A = (1111)

是半正定矩阵，但秩为 $1$ ，第二步会出现零主元。

6. 满秩分解

核心思路

满秩分解本质上是把矩阵拆成“列空间基”和“坐标矩阵”。秩为 $r$ 的矩阵，其列空间只有 $r$ 个自由方向，所以可以先选出 $r$ 个独立列，再用它们表示所有列。

形式

若

rank (A) = r,

则可以写成

A = B C,

其中

B \in F^{m \times r}, C \in F^{r \times n},

并且

rank (B) = rank (C) = r .

原理与证明骨架

设 $A$ 的列空间维数为 $r$ 。取 $A$ 中 $r$ 个线性无关列组成矩阵 $B$ 。

由于 $B$ 的列向量构成 $Col (A)$ 的一组基， $A$ 的每一列都可以表示为 $B$ 的列向量线性组合。

于是存在矩阵 $C$ ，使得

A = B C .

因为 $B$ 有 $r$ 个线性无关列，所以 $B$ 满列秩。又因为 $A$ 的秩是 $r$ ，可以推出 $C$ 满行秩。

简单例子

令

A = (1224) .

它的秩为 $1$ 。取

B = (12), C = (12) .

则

B C = (12) (12) = (1224) .

所以

A = B C .

数学应用

满秩分解用于刻画线性映射的像空间与核空间，也常用于证明秩相关结论。

例如

rank (A B) \leq min {rank (A), rank (B)} .

它还可以用于证明秩分解、秩标准型等结论。

工程应用

满秩分解用于低秩建模、矩阵压缩、推荐系统、协同过滤和数据降维。

如果一个大矩阵近似低秩，可以用

A \approx B C

减少参数量。

优点

满秩分解直接暴露矩阵的秩结构。

它比 SVD 更简单，代数意义清楚。

缺点与例子

满秩分解不唯一。

例如

A = (1224) = (12) (12) .

也可以写成

A = (24) (1/2 1) .

两者都合法。

另一个缺点是数值稳定性不如 SVD。若列选取得不好，会导致 $B$ 的条件数很大。

7. Schur 分解

核心思路

Schur 分解本质上是“正交相似下的三角化”。不是所有矩阵都能正交对角化，但在复数域上，任意方阵都可以通过酉相似变换化为上三角矩阵。

形式

对任意复方阵 $A$ ，存在酉矩阵 $Q$ ，使得

A = QT Q^{*},

其中 $T$ 是上三角矩阵。

$T$ 的对角线元素就是 $A$ 的特征值。

实矩阵也有实 Schur 分解，但会出现 $2 \times 2$ 块。

原理与证明骨架

在复数域上， $A$ 至少有一个特征值 $λ$ 和对应特征向量 $q_{1}$ 。

把 $q_{1}$ 补成一组标准正交基，得到酉矩阵

Q_{1} = (q_{1}, \dots, q_{n}) .

于是

Q_{1}^{*} A Q_{1} = (λ 0 * A_{1}) .

对右下角的 $A_{1}$ 递归使用同样方法，最终得到上三角矩阵 $T$ 。

因此

Q^{*} A Q = T, A = QT Q^{*} .

简单例子

令

A = (2013) .

它已经是上三角矩阵，所以 Schur 分解可以取

Q = I, T = A .

于是

A = I T I^{*} .

这个例子说明：Schur 分解不一定把矩阵变成对角矩阵，只保证上三角。

数学应用

Schur 分解是谱理论和矩阵函数的重要工具。

即使矩阵不可对角化，也能通过上三角形式研究特征值、矩阵函数和稳定性。

工程应用

QR 算法求特征值，本质上就是逐步逼近 Schur 形式。

数值软件中求一般矩阵特征值时，通常不会直接求 Jordan 标准形，而是求 Schur 分解。

优点

Schur 分解总存在，并且使用酉相似变换，数值稳定。

它比 Jordan 分解更适合数值计算。

缺点与例子

Schur 形式不唯一，并且不一定给出清晰的独立模态。

例如

A = (1011) .

它的 Schur 形式可以就是自己：

T = (1011) .

虽然对角线都是特征值 $1$ ，但上三角的非零项仍然表示耦合，不能像对角分解那样完全解耦。

8. Jordan 分解

核心思路

Jordan 分解本质上是在特征向量不够时，用广义特征向量补齐一组基。它是有限维线性算子在复数域上的理论分类工具，但数值计算中通常不直接使用。

形式

在复数域上，任意方阵 $A$ 都相似于 Jordan 标准形：

A = P J P^{- 1},

其中

J = diag (J_{1}, \dots, J_{s}) .

每个 Jordan 块形如

J_{k} (λ) = λ 0 ⋮ 00 1 λ ⋮ 00 01 ⋱ \dots \dots \dots \dots ⋱ λ 0 00 ⋮ 1 λ .

原理与证明骨架

如果普通特征向量不够，就引入广义特征向量。

普通特征向量满足

(A - λ I) v = 0.

广义特征向量允许

(A - λ I)^{k} v = 0.

对每个特征值 $λ$ ，考虑广义特征空间

G_{λ} = ker (A - λ I)^{N},

其中 $N$ 足够大。

在 $G_{λ}$ 上，算子

N_{λ} = A - λ I

是幂零算子。幂零算子可以分解为若干条 Jordan 链：

v, N_{λ} v, N_{λ}^{2} v, \dots .

在这些链对应的基下，矩阵就是 Jordan 块。

因此整个空间可以分解为广义特征空间直和，从而得到 Jordan 标准形。

简单例子

令

A = (1011) .

它本身就是一个 Jordan 块：

J_{2} (1) = (1011) .

它只有一个普通特征向量方向，但有一条长度为 $2$ 的 Jordan 链。

数学应用

Jordan 分解用于有限维线性算子的理论分类。

它可以研究最小多项式、矩阵函数、常微分方程和线性递推。

例如

J = λ I + N,

其中 $N$ 幂零，则

J^{k} = (λ I + N)^{k} = j = 0 \sum m - 1 (j k) λ^{k - j} N^{j} .

工程应用

Jordan 分解理论上可用于系统分析，但数值工程中很少直接使用。

原因是 Jordan 结构对扰动极其敏感。

优点

Jordan 分解的理论分类最彻底。

它能说明一个矩阵为什么不能对角化，以及缺少多少个特征向量。

缺点与例子

Jordan 分解数值极不稳定。

例如

A = (1011)

是不可对角化的 Jordan 块。稍微扰动为

A_{ε} = (1 ε 11) .

其特征值变为

1 \pm ε .

只要 $ε \neq = 0$ ，通常就可以对角化。

也就是说，一个极小扰动就能改变 Jordan 结构。因此数值计算中不应依赖 Jordan 分解。

9. 谱分解

核心思路

谱分解本质上是“最好的特征值分解”。对于 Hermitian 矩阵或正规矩阵，不仅可以找到特征向量基，而且可以找到正交特征向量基。

形式

对 Hermitian 矩阵或更一般的正规矩阵 $A$ ，有

A = Q Λ Q^{*} .

也可以写成投影形式：

A = i \sum λ_{i} P_{i},

其中 $P_{i}$ 是对应特征子空间上的正交投影。

原理与证明骨架

谱定理说明：若

A = A^{*},

则所有特征值为实数，并且不同特征值对应的特征向量正交。

证明不同特征值对应特征向量正交：

设

A v = λ v, A w = μ w .

因为 $A = A^{*}$ ，有

⟨ A v, w ⟩ = ⟨ v, A w ⟩ .

所以

λ ⟨ v, w ⟩ = μ ⟨ v, w ⟩ .

即

(λ - μ) ⟨ v, w ⟩ = 0.

若 $λ \neq = μ$ ，则

⟨ v, w ⟩ = 0.

再结合归纳法或 Schur 分解，可以证明存在正交特征向量基。

简单例子

令

A = (2112) .

它的特征值为 $3$ 和 $1$ 。

对应单位特征向量为

q_{1} = \frac{1}{2} (11), q_{2} = \frac{1}{2} (1 - 1) .

所以

Q = \frac{1}{2} (11 1 - 1), Λ = (3001) .

因此

A = Q Λ Q^{T} .

也可写成

A = 3 q_{1} q_{1}^{T} + q_{2} q_{2}^{T} .

数学应用

谱分解用于二次型分类、正定矩阵、内积空间、Hilbert 空间算子、傅里叶分析和量子力学中的可观测量。

工程应用

谱分解用于 PCA、协方差矩阵分析、图 Laplacian 谱聚类、振动系统、信号处理和扩散过程。

优点

谱分解是正交分解，数值稳定，解释性强。

投影形式

A = i \sum λ_{i} P_{i}

特别适合分析子空间结构。

缺点与例子

不是所有矩阵都有谱分解。

例如

A = (1011)

不是正规矩阵，因为

A A^{*} \neq = A^{*} A .

它不能被正交对角化。

谱分解对矩阵类别要求较强：通常需要 Hermitian、实对称或正规。

10. 极分解

核心思路

极分解本质上是复数极形式的矩阵版本。复数可以写成“旋转乘长度”，矩阵也可以写成“正交或酉变换乘半正定拉伸”。

形式

任意复矩阵 $A$ 可写成

A = U P,

其中

P = (A^{*} A)^{1/2}

是半正定 Hermitian 矩阵， $U$ 是部分等距映射。

若 $A$ 可逆，则 $U$ 是酉矩阵。

实矩阵情形为

A = QP,

其中 $Q$ 正交， $P$ 对称半正定。

原理与证明骨架

由 SVD 分解：

A = U_{0} Σ V^{*} .

令

P = V Σ V^{*} = (A^{*} A)^{1/2} .

令

U = U_{0} V^{*} .

于是

U P = U_{0} V^{*} V Σ V^{*} = U_{0} Σ V^{*} = A .

若 $A$ 满秩，则 $U$ 是酉矩阵，分解唯一。

简单例子

令

A = (01 - 2 0) .

计算

A^{T} A = (1004) .

所以

P = (A^{T} A)^{1/2} = (1002) .

于是

U = A P^{- 1} = (01 - 2 0) (10 0 1/2) = (01 - 1 0) .

所以

A = (01 - 1 0) (1002) .

前者是旋转，后者是拉伸。

数学应用

极分解用于算子理论、矩阵函数、Lie 群、几何变换和矩阵逼近。

它说明一般线性变换可以看作

正交变换 + 正定拉伸 .

工程应用

极分解用于机器人姿态估计、计算机图形学、形变分析、Procrustes 问题、数值优化和材料力学中的变形梯度分解。

优点

极分解的几何意义非常清楚。

它把线性变换分为旋转部分和拉伸部分。

缺点与例子

如果 $A$ 不满秩， $U$ 不唯一。

例如零矩阵

A = 0.

可以写成

0 = U \cdot 0,

其中 $U$ 可以是任意酉矩阵。因此极分解中的“旋转部分”不唯一。

另一个缺点是需要计算矩阵平方根

(A^{*} A)^{1/2},

这比 LU、QR 更昂贵。

11. 三角分解：LDU 分解

核心思路

LDU 分解本质上是在 LU 分解的基础上，把主元尺度单独抽出来。它把矩阵拆成“下三角消元结构、对角尺度、上三角回代结构”。

形式

LDU 分解写成

A = L D U,

其中 $L$ 是单位下三角矩阵， $D$ 是对角矩阵， $U$ 是单位上三角矩阵。

它可以看作 LU 的进一步拆分：

A = LU .

把 $U$ 的对角线抽出来成为 $D$ ，剩余部分成为单位上三角矩阵。

原理与证明骨架

若

A = LU

且 $U$ 的对角线元素非零，则可将 $U$ 写成

U = D U_{0},

其中 $D$ 是由 $U$ 的对角元组成的对角矩阵， $U_{0}$ 是单位上三角矩阵。

于是

A = L D U_{0} .

通常仍记作

A = L D U .

简单例子

令

A = (2413) .

它有 LU 分解

A = (1201) (2011) .

把第二个矩阵拆成

(2011) = (2001) (10 1/2 1) .

所以

A = (1201) (2001) (10 1/2 1) .

数学应用

LDU 分解用于二次型合同变换、惯性定理和对称矩阵分解。

对于实对称矩阵，常用

A = L D L^{T} .

这比 Cholesky 更一般，因为它可以处理不定对称矩阵。

工程应用

LDU 分解用于结构力学、稀疏线性系统、优化中的 KKT 系统和不定矩阵求解。

优点

LDU 比 LU 更细致，能把主元尺度明确暴露出来。

对于对称矩阵， $L D L^{T}$ 可以保持对称结构。

缺点与例子

LDU 仍然可能需要选主元。

例如

A = (0111) .

第一个主元为 $0$ ，直接 LDU 分解失败，需要置换。

另外，如果主元非常小，也会出现数值不稳定。

12. 对角化分解

核心思路

对角化本质上是换一组最适合线性变换的基。如果能用特征向量组成一组基，那么线性变换在这组基下就只是逐坐标缩放。

形式

对线性变换 $T : V \to V$ ，若存在一组基，使得 $T$ 的矩阵是对角矩阵，则称 $T$ 可对角化。

矩阵形式为

A = P D P^{- 1} .

其中 $D$ 是对角矩阵。

原理与证明骨架

线性变换 $T$ 可对角化，当且仅当 $V$ 有一组由 $T$ 的特征向量组成的基。

若

T (v_{i}) = λ_{i} v_{i}

且 $v_{1}, \dots, v_{n}$ 是 $V$ 的一组基，则在这组基下，

[T] = λ_{1} ⋱ λ_{n} .

换回原基，就得到

A = P D P^{- 1} .

简单例子

设 $T : R^{2} \to R^{2}$ 在标准基下的矩阵为

A = (2013) .

它有两条线性无关特征向量：

v_{1} = (10), v_{2} = (11) .

所以 $T$ 可对角化。

对应

P = (1011), D = (2003) .

因此

A = P D P^{- 1} .

数学应用

对角化用于抽象线性代数、模分解、最小多项式、线性递推和线性微分方程。

一个常用判定标准是：

若 $A$ 的最小多项式没有重根，则 $A$ 可对角化。

工程应用

对角化用于动力系统解耦、模态分析、Markov 过程和稳定性分析。

优点

一旦成功，对矩阵幂、矩阵指数和矩阵函数都极其方便：

A^{k} = P D^{k} P^{- 1} .

缺点与例子

不是所有矩阵都可对角化。

例如

A = (1011)

只有一个特征向量方向，不可对角化。

即使矩阵可对角化，如果 $P$ 的条件数很大，数值计算也可能不稳定。

13. 奇异值阈值分解

核心思路

奇异值阈值严格说不是一种分解，而是一种基于 SVD 的矩阵算子。它的思想是：小奇异值通常代表噪声或弱结构，大奇异值代表主要结构，因此可以对奇异值做软阈值处理。

形式

若

A = U Σ V^{*}

是 SVD，其中

Σ = diag (σ_{i}),

则定义软阈值算子：

D_{τ} (A) = U diag ((σ_{i} - τ)_{+}) V^{*},

其中

(x)_{+} = max {x, 0} .

原理与证明骨架

SVT 是核范数正则化问题的解。

考虑优化问题

X min \frac{1}{2} ∥ X - A ∥_{F}^{2} + τ ∥ X ∥_{*},

其中

∥ X ∥_{*} = i \sum σ_{i} (X)

是核范数。

由于 Frobenius 范数和核范数都在正交变换下不变，最优 $X$ 与 $A$ 共享奇异向量。

于是问题化为对每个奇异值求解：

s_{i} \geq 0 min \frac{1}{2} (s_{i} - σ_{i})^{2} + τ s_{i} .

一维优化给出

s_{i} = (σ_{i} - τ)_{+} .

所以

X = D_{τ} (A) .

简单例子

令

A = (3001) .

其奇异值为 $3$ 和 $1$ 。

取阈值 $τ = 2$ ，则

D_{2} (A) = (1000) .

矩阵秩从 $2$ 降为 $1$ 。

数学应用

SVT 用于凸优化、低秩矩阵恢复和核范数松弛。

秩最小化问题

min rank (X)

通常很难，因此常用核范数

∥ X ∥_{*}

作为凸替代。

工程应用

SVT 用于矩阵补全、推荐系统、图像去噪、鲁棒 PCA 和低秩信号恢复。

优点

SVT 能自然产生低秩解，是低秩优化中的核心工具。

它把不可直接优化的秩约束转化为可处理的核范数正则化。

缺点与例子

SVT 会造成奇异值收缩偏差。

例如真实矩阵为

A = (3000) .

取 $τ = 1$ ，SVT 得到

D_{1} (A) = (2000) .

虽然秩正确，但主奇异值从 $3$ 被压成 $2$ ，幅度被低估。

另一个缺点是阈值难选。阈值太小，噪声残留；阈值太大，有效信号被删掉。

14. 分块分解

核心思路

分块分解本质上是把普通高斯消元从“元素级”升级到“块级”。当变量天然分组时，分块分解可以直接利用问题结构。

形式

把矩阵写成块矩阵：

A = (B D C E) .

若 $B$ 可逆，则有块 LU 分解：

A = (I D B^{- 1} 0 I) (B 0 C E - D B^{- 1} C) .

其中

S = E - D B^{- 1} C

称为 Schur 补。

也可写成更细的形式：

A = (I D B^{- 1} 0 I) (B 0 0 S) (I 0 B^{- 1} C I) .

原理与证明骨架

直接乘法验证：

(I D B^{- 1} 0 I) (B 0 C S) = (B D C D B^{- 1} C + S) .

令

S = E - D B^{- 1} C,

则

D B^{- 1} C + S = E .

所以得到原矩阵：

A = (B D C E) .

简单例子

令

A = 201021113 .

按前两维和后一维分块：

B = (2002), C = (11),

D = (11), E = (3) .

有

B^{- 1} = (1/2 0 0 1/2) .

Schur 补为

S = 3 - (11) (1/2 0 0 1/2) (11) = 3 - 1 = 2.

数学应用

分块分解用于线性方程组、行列式公式、逆矩阵公式、Schur 补和正定性判定。

例如若 $B$ 可逆，则

det (A) = det (B) det (E - D B^{- 1} C) .

工程应用

分块分解用于有限元、PDE 离散化、优化中的 KKT 系统、控制系统、图模型、并行计算和稀疏矩阵求解。

优点

分块分解能利用矩阵结构，适合大规模问题。

Schur 补可以消去部分变量，从而降低问题维度。

缺点与例子

Schur 补可能变稠密，从而破坏稀疏性。

例如 $B$ 是稀疏矩阵，但 $B^{- 1}$ 通常是稠密的，因此

D B^{- 1} C

可能非常稠密。

另一个问题是：如果 $B$ 病态，Schur 补计算不稳定。

例如

B = (ε), C = D = (1), E = (1) .

则

S = 1 - \frac{1}{ε} .

当 $ε$ 很小时，数值非常敏感。

15. 正交三角形分解

核心思路

正交三角形分解基本就是 QR 分解的中文名称之一。它强调的是：把一组向量正交化，同时用上三角矩阵记录坐标变化。

形式

正交三角形分解写成

A = QR,

其中 $Q$ 正交， $R$ 上三角。

实矩阵情形为

Q^{T} Q = I .

复矩阵情形为

Q^{*} Q = I .

原理与证明骨架

设矩阵列向量为

a_{1}, \dots, a_{n} .

构造正交单位向量

q_{1}, \dots, q_{n},

并令

r_{ij} = ⟨ q_{i}, a_{j} ⟩ .

由于 $a_{j}$ 在正交化过程中只会落在

span (q_{1}, \dots, q_{j})

中，所以

r_{ij} = 0, i > j .

因此 $R$ 是上三角矩阵。

简单例子

令

A = (1110) .

第一列为

a_{1} = (11), q_{1} = \frac{1}{2} (11) .

第二列为

a_{2} = (10) .

有

r_{12} = ⟨ q_{1}, a_{2} ⟩ = \frac{1}{2} .

去掉投影：

u_{2} = a_{2} - r_{12} q_{1} = (10) - \frac{1}{2} (11) = (1/2 - 1/2) .

所以

q_{2} = \frac{1}{2} (1 - 1) .

于是

Q = \frac{1}{2} (11 1 - 1),

R = (20 1/ 2 1/ 2) .

因此

A = QR .

数学应用

正交三角形分解用于内积空间、正交投影、最小二乘和构造标准正交基。

工程应用

正交三角形分解与 QR 相同，常用于回归、最小二乘、信号处理和特征值计算。

优点

正交变换保持长度，数值上比直接使用正规方程更稳定。

核心性质是

∥ Q x ∥_{2} = ∥ x ∥_{2} .

缺点与例子

经典 Gram—Schmidt 对近线性相关向量不稳定。

例如

a_{1} = 111, a_{2} = 11 1 + ε .

当 $ε$ 很小时，二者几乎平行。正交化时需要做两个很接近向量的相减，容易损失有效数字。

因此实际计算中通常使用改进 Gram—Schmidt、Householder 变换或 Givens 旋转。

16. 广义特征值分解

核心思路

广义特征值分解本质上是在非标准度量或约束下研究特征方向。普通特征值问题默认右侧是单位矩阵，而广义特征值问题允许右侧出现另一个矩阵 $B$ 。

形式

普通特征值问题是

A v = λ v .

广义特征值问题是

A v = λ B v .

也可以写成矩阵束形式：

(A - λ B) v = 0.

若 $B$ 可逆，则可化为

B^{- 1} A v = λ v .

但工程中通常不直接形成 $B^{- 1} A$ ，因为这可能破坏结构和数值稳定性。

原理与证明骨架

若 $B$ 可逆，则

A v = λ B v .

两边左乘 $B^{- 1}$ ，得到

B^{- 1} A v = λ v .

所以广义特征值是 $B^{- 1} A$ 的普通特征值。

若 $A, B$ 都 Hermitian，且 $B$ 正定，则可令

B = C^{*} C,

例如用 Cholesky 分解得到 $C$ 。

令

y = C v .

则

A v = λ B v

可转化为标准 Hermitian 特征值问题

C^{-*} A C^{- 1} y = λ y .

这样可以保持对称结构，数值上更好。

简单例子

令

A = (2006), B = (1002) .

广义特征值满足

A v = λ B v .

对第一坐标：

2 v_{1} = λ v_{1},

所以

λ = 2.

对第二坐标：

6 v_{2} = 2 λ v_{2},

所以

λ = 3.

广义特征值为

2, 3.

数学应用

广义特征值分解用于矩阵束理论、二次型同时化简和约束 Rayleigh 商。

例如

x \neq = 0 max \frac{x ^{T} A x}{x ^{T} B x}

的驻点满足

A x = λ B x .

工程应用

结构振动中常见广义特征值问题：

K x = λ M x,

其中 $K$ 是刚度矩阵， $M$ 是质量矩阵。

它还用于有限元、控制理论、稳定性分析、广义 PCA 和判别分析。

优点

广义特征值分解能处理带度量、带约束、带质量矩阵的问题。

它比普通特征值问题更适合真实工程模型。

缺点与例子

如果 $B$ 奇异，问题会复杂，可能出现无穷特征值。

例如

A = I, B = (1000) .

则

det (A - λ B) = det (1 - λ 0 01) = 1 - λ .

只有一个有限特征值

λ = 1.

另一个方向对应 $B$ 的零空间，矩阵束存在无穷特征值现象。

此外，直接计算 $B^{- 1} A$ 可能造成数值不稳定，尤其当 $B$ 条件数很大时。

笔记目录

1. LU 分解

形式

原理与证明骨架

简单例子

工程应用

优点

缺点与例子

2. QR 分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

3. 特征值分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

4. SVD 分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

5. Cholesky 分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

6. 满秩分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

7. Schur 分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

8. Jordan 分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

9. 谱分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子

10. 极分解

形式

原理与证明骨架

简单例子

数学应用

工程应用

优点

缺点与例子