矩阵论基础-程序员宅基地

技术标签：数学基础 python 后端开发语言

参考博客

一、线性空间

1.集合和数域

参考博客

一、线性空间

1.集合和数域

集合指一堆东西放在一起，数域表示里面的数字对加减乘除封闭，属于集合的一个特殊情况，并且无限

2.线性空间

指一个空间，其中的任意一个向量，不论是乘一个常数还是和其他向量进行加减乘除运算，结果还是在这个空间里，则称这个空间为线性空间。与数域概念类似。

3.线性相关与线性无关

若存在一堆向量 $x_{1},x_{2},x_{3}...$ ，使得 $c_{1}x_{1}+c_{2}x_{2}+c_{3}x_{3}+...=0$ ，其中 $c_{i}$ 不全为0，则称 $x_{i}$ 线性相关。反之则线性无关。

线性相关表示这些向量互相之间处于相互垂直状态，在各向量不为0的情况下，向量和绝不会出现0的状况。线性无关则表示这些向量中至少有一个向量与其他向量不垂直。

4.基与维数

线性空间可以由最少的m个向量组合表示所有的向量，则这个最小数m即为线性空间的维数，m维线性空间V记为 $V^{m}$ 。

向量坐标含义：线性空间中某向量在各坐标基下的分量，称为该向量的坐标

5.线性子空间

$V_{1}$ 是是V的一个非空子集合，V是数域空间K上的线性空间，如果 $V_{1}$ 满足：

如果x,y $\epsilon$ $V_{1}$ ，则x+y $\epsilon$ $V_{1}$
如果x $\epsilon$ $V_{1}$ ，k $\epsilon$ K，则kx $\epsilon$ $V_{1}$

如果 $V_{1}$ 和V相等或者为空集，则 $V_{1}$ 称为平凡子空间，否则称为非平凡子空间

6.矩阵值域与核

值域(列空间)：所有经过矩阵变换的向量，变换后的向量都落在了一个空间里，这个空间叫值域。

记R(A)表示矩阵A的值域，存在任意向量x，使得Ax=y向量，y向量组成的集合叫矩阵A的值域。

$\begin{pmatrix} a_{11} &a_{12} \\ a_{21}& a_{22}\\ a_{31}&a_{32} \end{pmatrix} \begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix} = \begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}$

矩阵值域满足：

$R(A)=\left \{Ax|x\epsilon R^{n} \right \}\subset R^{m}\\$

核：任意向量进行矩阵变换后，结果为0，这些向量组成的空间为A的核空间，或者零空间。

$N(A)=\left \{x|Ax=0 \right \}$

核空间的维度称为A的零度，记为n(A)

维数：核所在的空间称为V，V的维数=其变换矩阵的核空间维数+值域的维数。

$dim(V)=dim(N(A))+dim(R(A))$

矩阵4个空间：任意矩阵都可以分为两个空间：行空间+零空间或列空间+左零空间

dim(nullspace) = 列数 - r = n - r

dim(left nullspace) = 行数 - r = m - r

7.矩阵的特征值和特征向量

$Ax=\lambda x$

向量变换：矩阵A可以理解为对向量x做的变换，即A对x做完变换后，x只在长度上进行缩放。

也可以这么理解，有一个矩阵A，怎么找到被它变换后的向量x，只在长度上有变化，方向不变的向量，这些向量就是矩阵A的特征向量，对应的 $\lambda$ 就是特征值。

矩阵的所有特征向量组成了矩阵的基，也就是经过矩阵操作后的坐标系。矩阵操作可以理解为对向量的变化，或者对坐标系的变换（也就是基的变换）。

坐标系变换：向量x，乘以矩阵A，变为向量b

$Ax=b$

可以理解为向量不变，只是坐标系进行了变换

x是在A坐标系下的描述，b是在I坐标系下的描述，也就是，其中I可看作省略

$Ax=Ib$

例如：在正常二维坐标系下的点(2,3)，将其变为点(1,1)有两种方案，一是直接将点移动到后者处，也就是运动；二是将坐标系横轴缩短1/2，纵轴缩短1/3。

矩阵理解：当存在一个线性变换，可以用多个矩阵去描述这个变换，但这些矩阵都不是这个变换本身，只是这个变换的一种描述方式，而这些可以描述此变换的矩阵，都是相似的，具有相同的特征向量和特征值。

8.行列式

矩阵A可以理解为n维空间里，从一个点到另一个点的线性变换。若变换的对象也是一个矩阵T，可以理解为从n维空间到n维空间，对一个立方体T的变换，变换后为M，变换后的体积除以变化前的体积即为变换率，也就是行列式的值。

$AT=M$

$det(A)=|A|$

矩阵的逆：矩阵A理解为矩阵从T变为M，矩阵 $A^{-1}$ 理解为矩阵从M变回T，则：

$det(A)*det(A^{-1})=1$

若矩阵可逆，则必有行列式，也就是变换倍率，若矩阵无行列式，也就说明矩阵必不可逆。

9.子空间的交与和

交为交集，和为并集

直和： $V=V_{1}+V_{2}$ 唯一的表示为 $V_{1}$ 中的一个向量和 $V_{2}$ 中的一个向量和，记为 $V_{1}\bigoplus V_{2}$

可以理解为，把高维度空间中的一个向量，分别投影到相互正交独立的维度上，对它们处理完后，直和就是该向量要求的解，类似力的分解。

10.矩阵的秩和维数

秩：矩阵的秩=列向量的维数=行向量的维数，也就是列向量张成的最大维度，记为rank(A)

维数：线性空间由几个向量组成，也就是列向量的数目，记为dim(A)

11.矩阵类型

常见矩阵及其定义
实正交矩阵	$A^{T}A=I$
酉矩阵	$A^{H}A=I$
对称矩阵( $AA^{T}$ 为对称矩阵)	$A=A^{T}$
厄米特矩阵	$A=A^{H}$
正规矩阵(一定可相似对角化)	$A^{H}A=AA^{H}$
奇异矩阵	$\|A\|=0$
幂等矩阵	$A^{2}=A$
单纯矩阵	可对角化的矩阵

11.Hermite标准型

矩阵 $rank(H)=r$ ，且H前r行是非零行，并包含一个单位矩阵 $I_{r}$ ，后m-r行全为0。例：

$H=\begin{pmatrix} 1 & 0 & 0 &3 \\ 0& 1& 0 & 4\\ 0& 0 & 1 & 2 \end{pmatrix}$

12.Jordan标准型

上三角块，例：

$J(\lambda )=\begin{pmatrix} \lambda _{1} & 1 & & \\ &\lambda _{2} &1 & \\ & & \lambda _{3} &1 \\ & & & \lambda _{4} \end{pmatrix}$

12.矩阵的亏

若矩阵满秩，则矩阵的秩 $Rank(A)=r=n$ ，亏为 $0$

若矩阵不是满秩的，秩为 $Rank(A)=r$ ，亏为 $n-r$

13.特征多项式和最小多项式

（1）特征多项式 ${\color{Red} f(\lambda )}$

n阶矩阵A是其特征多项式的根（零点）

$\varphi (\lambda )=det(\lambda I-A)=(\lambda -\lambda _{1})(\lambda -\lambda _{2})...(\lambda -\lambda _{n})$

即满足：

$\varphi (A )=(A -\lambda _{1}I)(A -\lambda _{2}I)...(A -\lambda _{n}I)$

（2）最小多项式 ${\color{Red} m(\lambda )}$

次数最小的使m(A)=0的特征多项式，首项系数为1。一般求法是参照 $f(\lambda )$ ,将其最高次幂依次降低1，然后尝试，直到满足m(A)=0

14.矩阵合同

A与B合同条件：

存在可逆矩阵C，使得 $CAC=B$

15.向量正交化

若存在一组不共面的向量，如何将其正交化？

思路是先将其中两个向量正交化，然后再将第三个分量与正交的两个分量再做一次正交

16.正交补

若向量y和向量 $x_{1},x_{2}...x_{n}$ 均正交，则y与 $x_{1},x_{2}...x_{n}$ 的线性组合也正交。

w为欧式空间 $V^{n}$ 的子空间，若存在向量y与W正交，则y与W的每一个基向量正交。

正交补：

y称为W空间的正交补，记为 ${\color{Red} W^{+}}:W^{+}=\left \{ y|y\perp W,y\epsilon V^{n}\right \}$

$V^{n}=W\bigoplus W^{+}$

正交补空间的维数：

$dimW=m$

$dimW^{+}=n-m$

17.不变因子和初等因子

初等因子、不变因子

不变因子：

smith标准型对角线元素为不变因子，由小到大排列。分别记为 $d_{1},d_{2},d_{3}\cdots$

行列式因子 $D_{k}(\lambda)$ 为第k阶子式的最大公因式，且满足 $d_{1}=D_{1},d_{2}=\frac{D_{2}}{D_{1}},d_{3}=\frac{D_{3}}{D_{2}}$

初等因子：

将不变因子常数项去掉，将其余各因子拆分

例：

不变因子： $\lambda-1,\lambda-1,(\lambda-1)(\lambda-2)$

初等因子： $\lambda-1,\lambda-1,\lambda-1,\lambda-2$

18.矩阵的逆

矩阵的逆求法1：

$A^{-1}=\frac{A^{*}}{|A|}$

矩阵的逆求法2：

将矩阵A和I并排写，然后同时进行初等行变换，把A化为I，此时I的位置就是 $A^{-1}$ ，原理是初等行变换相当于给A左乘了一个矩阵T，使得 $TA=I$ ，所以 $A^{-1}=T=TI$ ，也就是等于I变换后的矩阵。

特征值和特征向量求法：任意矩阵A，求 $|\lambda I -A|=0$

进行行变换和列变化，使得某一行或某一列只剩一个数，其余全是0，然后该行列式等于该点的值乘以代数余子式。

求矩阵A的伴随矩阵 $A^{*}$ ：

求对应位置的代数余子式，需要注意的地方是，与原来 ${\color{Red} a_{12}}$ 处的代数余子式 ${\color{Red} A_{12}}$ 需要填到另一个位置，此处需要尤为注意

例：

$A=\begin{pmatrix} 1 &1 &1 \\ 1 & 0& 1\\ 0& -1 &2 \end{pmatrix}=\begin{pmatrix} a_{11} &a_{12} &a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} &a_{33} \end{pmatrix}$

$|A|=-2$

$A^{-1}=\frac{A^{*}}{|A|}=-\frac{1}{2}\begin{pmatrix} A_{11} & A_{21} & A_{31}\\ A_{12}& A_{22} & A_{32} \\ A_{13}& A_{23} & A_{33} \end{pmatrix}=\begin{pmatrix} -\frac{1}{2} & \frac{3}{2} &-\frac{1}{2} \\ 1& -1 & 0\\ \frac{1}{2}& -\frac{1}{2} & \frac{1}{2} \end{pmatrix}$

二、两个空间

1.欧式空间

实内积空间

$\\ x=(a,b,c) \\ y=(m,n,k)\\ (x,y)=am+bn+ck$

内积结果是一个数值

2.酉空间

复内积空间

$\\ x=(a,b,c) \\ y=(m,n,k)\\ (x,y)=\bar{(y,x)}=\bar{am}+\bar{bn}+\bar{ck}$

$\\ \bar{(y,x)}$ 表示 $(x,y)$ 的共轭

3.实内积空间与复内积空间对比

实内积空间与复内积空间对比
	实内积空间（欧式空间）	复内积空间（酉空间）
数	实数	复数
$(Tx,Tx)=(x,x)$	正交变换（正交矩阵） $A^{T}A=I$	酉变换（酉矩阵） $A^{H}A=I$
$(Tx,y)=(x,Ty)$	对称变换（实对称矩阵） $A^{T}=A$	厄尔米特变换（酉对称变换）厄尔米特矩阵 $A^{H}=A$
矩阵特征值	实数	实数
矩阵特征向量	正交	正交

三、矩阵分解

目的：把矩阵分解为一些小矩阵，更易计算，或者更容易分析矩阵的特点

1.特征值分解

$A=P\Lambda P^{-1}$

其中可逆矩阵P等于特征向量正交规范化后的组合，矩阵 $\Lambda = \begin{pmatrix} \lambda _{1} & & \\ & \lambda _{1} & \\ & & \lambda _{1} \end{pmatrix}$

tips：

这里组成P的特征向量不需要施密特正交化即可，施密特正交化只是为了方便求 $P^{-1}$ 。比如下面schur分解就使用了施密特正交化，因为施密特正交规范化后，P变为正交矩阵，也就有 $P^{T}=P^{-1}$ 。

2.QR分解

定义：实(复)非奇异矩阵A可以分解为正规矩阵Q和正线上三角矩阵R

奇异矩阵：行列式=0的矩阵，即不可逆矩阵

A的列向量为 $a_{1},a_{2},a_{3},...a_{n}$

（1）求矩阵A的正交单位化矩阵，即Q

对 $a_{1},a_{2},a_{3},...a_{n}$ 正交化

$\left\{\begin{matrix} b_{1}=a{1} & & & & \\ b_{2}=a_{2}-k_{21}b_{1}& & & & & & \\ b_{n}=a_{n}-k_{n,n-1}b_{n-1}-...-k_{n1}b_{1}& & & & & & \end{matrix}\right.$

其中 $k_{ij}=\frac{(a_{i},b_{j})}{(b_{j},b_{j})}(j<i)$

$\left\{\begin{matrix} a_{1}=b{1} & & & & \\ a_{2}=b_{2}+k_{21}b_{1}& & & & & & \\ a_{n}=b_{n}+k_{n,n-1}b_{n-1}+...+k_{n1}b_{1}& & & & & & \end{matrix}\right.$

$(a_{1},a_{2},a_{3},...a_{n},)=(b_{1},b_{2},b_{3},...b_{n},)C$

其中 $C=\begin{pmatrix} 1 &k_{21} &... &k_{n1} \\ & 1 & ... & k_{n2}\\ & & \ddots &\vdots \\ & & & 1 \end{pmatrix}$

对 $b_{1},b_{2},b_{3},...b_{n}$ 单位化

$q_{i}=\frac{b_{i}}{|b_{i}|}$

$Q=(q_{1},q_{2},q_{3},...q_{n})$

（2）求正交向量模值与C的乘积，即R

$R=\begin{pmatrix} |b_{1}| & & \\ & \ddots & \\ & & |b_{n}| \end{pmatrix}C=\begin{pmatrix} |b_{1}| & & \\ & \ddots & \\ & & |b_{n}| \end{pmatrix}\begin{pmatrix} 1 &k_{21} &... &k_{n1} \\ & 1 & ... & k_{n2}\\ & & \ddots &\vdots \\ & & & 1 \end{pmatrix}$

例子：

$A=\begin{bmatrix} 1&2 &2 \\ 2&1 &2 \\ 2&2 &1 \end{bmatrix}$

$a_{1}=\begin{pmatrix} 1\\ 2\\ 2 \end{pmatrix} a_{2}=\begin{pmatrix} 2\\ 1\\ 2 \end{pmatrix} a_{3}=\begin{pmatrix} 2\\ 2\\ 1 \end{pmatrix}$

$\left\{\begin{matrix} b_{1}=a_{1}=\begin{pmatrix} 1\\ 2\\ 1 \end{pmatrix}\\ b_{2}=a_{2}-b_{1}=\begin{pmatrix} 1\\ -1\\ 1 \end{pmatrix}\\ b_{3}=a_{3}-\frac{(a_{3},b_{2})}{(b_{2},b_{2})}b_{2}-\frac{(a_{3},b_{1})}{(b_{1},b_{1})}b_{1}=\begin{pmatrix} 0.5\\ 0\\ -0.5 \end{pmatrix} \end{matrix}\right.$

对 $b_{1},b_{2},b_{3}$ 单位化

$Q=\begin{pmatrix} \frac{1}{\sqrt{6}} &\frac{1}{\sqrt{3}} &\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} &-\frac{1}{\sqrt{3}} & 0\\ \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} &-\frac{1}{\sqrt{2}} \end{pmatrix}$

$R=\begin{pmatrix} \sqrt{6} & & \\ & \sqrt{3} & \\ & & \frac{1}{\sqrt{2}} \end{pmatrix}\begin{pmatrix} 1 & 1 & \frac{7}{6}\\ &1 &\frac{1}{3} \\ & &1 \end{pmatrix}=\begin{pmatrix} \sqrt{6} &\sqrt{6} &\frac{7}{\sqrt{6}} \\ & \sqrt{6}& \frac{1}{\sqrt{3}}\\ & & \frac{1}{\sqrt{2}} \end{pmatrix}$

Givens矩阵和Givens变换：

Givens矩阵为初等旋转矩阵，由Givens矩阵确定的变换称为Givens变换，也就是初等旋转变换。

性质：

（1）Givens矩阵是正交矩阵

（2）任意可逆矩阵都可以通过左乘有限个Givens矩阵变为上三角矩阵

Householder矩阵：

Householder矩阵也叫初等反射矩阵，相当于对向量或矩阵做镜像，模值不变。

性质：

（1） $\\A^{T}=A \\A^{T}A=I$ 属于对称正交矩阵

（2） $\\A^{2}=I \\A^{-1}=A\\ detA=-1$

（3）Givens矩阵是两个Householder矩阵的乘积

（4）任意可逆矩阵都可以通过左乘有限个Householder矩阵变换为上三角矩阵

3.正规矩阵及schur分解

Schur引理：

$A\epsilon R^{n\ast n}$ 且A的特征值均为实数，则存在正交矩阵Q，使得

$Q^{T}AQ=\begin{pmatrix} \lambda _{1} &\cdots & \cdots&*\\ &\lambda _{2} &\ddots &\vdots\\ & & \ddots &\vdots \\ &&&\lambda _{n} \end{pmatrix}=Q^{-1}AQ$

任意实方阵A，正交相似于一个上三角阵，且其主对角线元素为矩阵A的特征值

Schur分解流程：

其原理是，已知 $P^{-1}AP=\Lambda$ ，其中P为满秩矩阵，其实当P为酉矩阵时，此处 $P^{-1}=P^{H}$ ，因此求酉矩阵P就相当于之前求满秩矩阵P

例子：

$A=\begin{pmatrix} 4+3i &4i &-6-2i \\ -4i &4-3i &-2-6i \\ 6+2i&-2-6i &1 \end{pmatrix}$

求酉矩阵Q，使得 $Q^{H}AQ$ 为对角矩阵

（1）求特征值对应的特征向量

a.求特征值

$|\lambda I-A|=\begin{vmatrix} \lambda -4-3i &-4i &6+2i \\ 4i & \lambda -4+3i &2+6i \\ -6-2i&2+6i & \lambda -1 \end{vmatrix}=0$

$\\ \lambda _{1}=-9i \\ \lambda _{2}= 9i \\ \lambda _{3}= 9$

当 $\lambda _{1}=-9i$ 时

$x_{1}=\begin{pmatrix} -\frac{i}{2}\\ 1\\ 1 \end{pmatrix}$

当 $\lambda _{2}=9i$ 时

$x_{2}=\begin{pmatrix} -i\\ -\frac{1}{2}\\ 1 \end{pmatrix}$

当 $\lambda _{3}=9$ 时

$x_{3}=\begin{pmatrix} i\\ 1\\ -\frac{1}{2} \end{pmatrix}$

（2）将特征向量正交标准化

$\eta _{1}=\begin{pmatrix} -\frac{i}{3}\\ \frac{2}{3}\\ \frac{2}{3} \end{pmatrix}$

$\eta _{2}=\begin{pmatrix} \frac{2i}{3}\\ -\frac{1}{3}\\ \frac{2}{3} \end{pmatrix}$

$\eta _{3}=\begin{pmatrix} \frac{2i}{3}\\ \frac{2}{3}\\ -\frac{1}{3} \end{pmatrix}$

（3） $Q=(\eta _{1},\eta _{2},\eta _{3})$

4.满秩分解

定义：若 $A\epsilon C_{r}^{m*n}$ ，如果存在 $F\epsilon C_{r}^{m*r}$ 和 $G\epsilon C_{r}^{r*n}$ ，使得 $A=FG$ ，则称其为矩阵的满秩分解。满秩分解不唯一

例子：

$A=\begin{pmatrix} 0 &0 &1 \\ 2& 1 &1 \\ 2i& i & 0 \end{pmatrix}$

$A\Rightarrow \begin{pmatrix} 1 &\frac{1}{2} &0 \\ 0& 0& 1\\ 0 &0 &0 \end{pmatrix}$

$A=\begin{pmatrix} 0&1 \\ 2 &1 \\ 2i& 0 \end{pmatrix} \begin{pmatrix} 1& \frac{1}{2} &0 \\ 0& 0& 1 \end{pmatrix}=FG$

G就是行最简型

5.奇异值分解

在特征值分解的基础上，衍生出奇异值分解，根本原理相同，只不过特征值分解对应的是 $n*n$ 阶矩阵，奇异值分解对应的是 $m*n$ 阶矩阵，不是方阵。

对于 $m*n$ 阶矩阵A， $AA^{H}$ 为 $m*m$ 阶对称矩阵（对称矩阵 $A=A^{T}$ ）， $A^{H}A$ 为 $n*n$ 阶对称矩阵，则有

$AA^{H}=P\Lambda P^{H}$

$A^{H}A=Q\Lambda Q^{H}$

P为 $AA^{H}$ 的左奇异向量，Q是 $A^{H}A$ 的右奇异向量

P和T均为酉矩阵，酉矩阵也是正交矩阵，正交矩阵对角化可写作 $A=R\Lambda R^{T}$

则 ${\color{Red} A=PS_{r} Q^{H}}$

$S_{r}$ 为A的特征值开方，称为A的奇异值

例：

$A=\begin{pmatrix} 1 &0 &1 \\ 0 & 1 &1 \\ 0&0 &0 \end{pmatrix}$

（1） $AA^{T}=V\Sigma V^{T}$

$A^{T}A=\begin{pmatrix} 2 &1 &0 \\ 1 & 2 & 0\\ 0& 0&0 \end{pmatrix}$

由于不是满秩，因此只对左上角方阵进行计算，特征值分别为 $\\ \lambda _{1}=3\\ \lambda _{2}=1$ ， $\lambda _{3}=0$

对应特征向量为：

$p_1=\begin{pmatrix} 1\\ 1\\ 0 \end{pmatrix} p_2=\begin{pmatrix} 1\\ -1\\ 0 \end{pmatrix} p_3=\begin{pmatrix} 0\\ 0\\ 1 \end{pmatrix}$

单位化后：

$U=\begin{pmatrix} \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} &0 \\ \frac{1}{\sqrt{2}} &-\frac{1}{\sqrt{2}} &0 \\ 0 & 0 & 1 \end{pmatrix}$

（2） $A^{T}A=U\Sigma U^{T}$

$A^{T}A=\begin{pmatrix} 1 &0 &1 \\ 0& 1 & 1\\ 1& 1& 2 \end{pmatrix}$

的特征值为： $\\ \lambda _{1}=3 \\\lambda _{2}=1 \\ \lambda _{3}=0$

特征向量为： $p_1=\begin{pmatrix} 1\\ 1\\ 2 \end{pmatrix} p_2=\begin{pmatrix} 1\\ -1\\ 0 \end{pmatrix} p_3=\begin{pmatrix} 1\\ 1\\ -1 \end{pmatrix}$

单位化后：

$V=\begin{pmatrix} \frac{1}{\sqrt{6}} &\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} &-\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \end{pmatrix}$ .

（3）

$\Sigma =\begin{pmatrix} 3 & & \\ & 1 & \\ & &0 \end{pmatrix}$

${\color{Red} AV=US_{r}}$

求解思路：

奇异值分解（SVD）求解过程其实异常简单，由 $A=US_{r}V^{T}$ 可以推出以下两个公式：

$\\AA^{T}=US_{r}V^{T}(US_{r}V^{T})^{T}=US_{r}V^{T}VS_{r}U^{T}=U\Lambda U^{T}\\ A^{T}A=(US_{r}V^{T})^{T}US_{r}V^{T}=VS_{r}U^{T}US_{r}V^{T}=V\Lambda V^{T}\\$

$S_{r}=\sqrt{\Lambda }$

所以奇异值分解其实很简单，把 $AA^{T}$ 和 $A^{T}A$ 当成一个方阵进行shur分解，也就是求特征值对应的标准正交基，若A是m*n阶矩阵，则 $AA^{T}$ 对应U， $A^{T}A$ 对应V的求解，并且他们的特征值相同。

6.谱分解

定义：单纯矩阵（可对角化矩阵）A，可以分解为特征值与幂等矩阵积的和，即

$A=\sum_{i=1}^{k}\lambda _{i}E_{i}$

$\lambda _{i}$ 称为A的谱值，也就是A的特征值， $E_{i}$ 称为A的谱阵

所以，谱分解，其实可以看做矩阵的特征值分解，将矩阵分解为单个特征值和单个矩阵的乘积和。

特征值分解，记为 $A=P\Lambda P^{-1}$

$P=\begin{pmatrix} \alpha _{1} \\ \alpha_{2} \\ \alpha_{3} \end{pmatrix} =\begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} &a_{32} & a_{33} \end{pmatrix}$

$P^{-1}=\begin{pmatrix} \beta _{1} &\beta _{2} & \beta _{3} \end{pmatrix} =\begin{pmatrix} b_{11} & b_{12} & b_{13} \\ b_{21} & b_{22} & b_{23} \\ b_{31} & b_{32} & b_{33} \end{pmatrix}$

$A=P\Lambda P^{-1}=\begin{pmatrix} \alpha_{1} \\ \alpha_{2} \\ \alpha_{3} \end{pmatrix} \begin{pmatrix} \lambda _{1} & & \\ &\lambda _{2} & \\ & & \lambda _{3} \end{pmatrix} \begin{pmatrix} \beta _{1}& \beta _{2}&\beta _{3} \end{pmatrix} = \lambda _{1}\alpha_{1}\beta _{1} + \lambda _{2}\alpha_{2} \beta _{2}+ \lambda _{3} \alpha_{3}\beta _{3}=\sum_{i=1}^{n}\lambda _{i}\alpha_{i} \beta _{i}$

求解思路：

（1）求特征值和特征向量

（2）将特征向量规范化，即求P和 $P^{-1}$

（3）分解P和 $P^{-1}$ 求 $\sum_{i=1}^{n}\lambda _{i}\alpha_{i} \beta _{i}$

例：

$A=\begin{pmatrix} 1 & 2 & 2\\ 2 & 1& 2\\ 2 &2 & 1 \end{pmatrix}$

特征值分别为 $\lambda _{1}=\lambda _{2}=-1$ ， $\lambda _{3}=5$

$P=\begin{pmatrix} 1 & 1 &1 \\ -1& 0& 1\\ 0& -1& 1 \end{pmatrix}$

$P^{-1}=\begin{pmatrix} \frac{1}{3} & -\frac{2}{3} &\frac{1}{3} \\ \frac{1}{3} & \frac{1}{3} &-\frac{2}{3} \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}$

$E_{1}=\begin{pmatrix} 1 & 1\\ -1 & 0\\ 0&-1 \end{pmatrix} \begin{pmatrix} \frac{1}{3}& -\frac{2}{3} & \frac{1}{3}\\ \frac{1}{3}& \frac{1}{3} & - \frac{2}{3} \end{pmatrix}=\begin{pmatrix} \frac{2}{3} &-\frac{1}{3} &-\frac{1}{3} \\ - \frac{1}{3}& \frac{2}{3} &-\frac{1}{3} \\ -\frac{1}{3}&-\frac{1}{3} & \frac{2}{3} \end{pmatrix}$

$E_{2}=\begin{pmatrix} 1\\ 1\\ 1 \end{pmatrix}\begin{pmatrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}=\begin{pmatrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3}\\ \frac{1}{3}& \frac{1}{3}& \frac{1}{3}\\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}$

$A=-1E_{1}+5E_{2}$

四、广义逆矩阵

$\\ A^{-1}AA^{-1}=A^{-1}\\ AA^{-1}A=A$

对应下面一二两公式。

设矩阵 $A\epsilon C^{m*n}$ ，若矩阵 $X\epsilon C^{n*m}$ 满足以下某个或全部

$\\ AXA=A \\ XAX=X \\ (AX)^{H}=AX\\ (XA)^{H}=XA$

则称X为A的广义逆矩阵。若4个都满足，称X为A的Penrose逆，记为 $A^{+}$

1. 满秩分解求广义逆

若 $A=FG$ ，则

$A^{+}=G^{H}(GG^{H})^{-1}(F^{H}F)^{-1}F^{H}$

因此需要先求满秩分解 $A=FG$

2.奇异值分解求广义逆

若 $A=PS_{r} Q^{H}$ ， $Q=(Q_{1},Q_{2})$ 则

$A^{+}=Q_{1}\Sigma ^{-1}Q_{1}^{H}A^{H}$

3.谱分解求广义逆

4.方程组相容

定义：存在非齐次线性方程组 $Ax=b$

若 $r(A)=r(A\vdots b)$ ，则称此线性方程组相容

5.{1}-逆

$Ax=b$

$x=A^{(1)}b+(I-A^{(1)}A)y$

6.广义逆判断方程是否有解

判断 $Ax=b$ 是否有解

若 $AA^{+}b=b$ ，则有解

五、向量与矩阵范数

$Ax=b$ ，向量x的范数表示向量的大小，矩阵A的范数表示从向量x变为向量b时变化的倍率，也就是缩放量的大小，范数是个大小度量工具。

1.向量范数

类别	公式	含义
1-范数	$\left \\| x \right \\|_{1}=\sum_{i=1}^{n}\|x_{i}\|$	x绝对值之和
2-范数	$\left \\| x \right \\|_{2}=\sqrt{\sum_{i=1}^{n}\|x_{i}\|^{2}}$	x欧氏距离
$\infty$ -范数	$\left \\| x \right \\|_{\infty }=max\|x_{i}\|$	x绝对值中最大
p-范数	$\left \\| x \right \\|_{p}={\sum_{i=1}^{n}\|x_{i}\|^{p}}^{\frac{1}{p}}$	x的p次方和开 $\frac{1}{p}$ 次方
E-范数	$\left \\| x \right \\|_{E}=\sqrt{\sum_{i=1}^{n}x_{i}^{2}}$	与2-范数差了绝对值

2.矩阵范数

类别	公式	含义
1-范数	$\left \\| A \right \\|_{1}=\underset{j}{max}\sum_{i=1}^{n}\|a_{ij}\|$	列元素绝对值之和，取最大
2-范数	$\left \\| A \right \\|_{2}=\sqrt{max(\lambda _{i})}$	$A^{T}A$ 最大特征值开方
$\infty$ -范数	$\left \\| A \right \\|_{\infty }=\underset{i}{max}\sum_{j=1}^{n}\|a_{ij}\|$	对应1-范数，行元素绝对值和最大
F-范数	$\|\|A\|\|_{F}=(\sum_{i=1}^{m}\sum_{j=1}^{n}\|a_{ij}\|^{2})^{\frac{1}{2}}$	全部元素平方和开方

3.非齐次线性方程组的解

$Ax=b$

$x=A^{(1)}b+(I-A^{(1)}A)y$

因为 $A^{+}\epsilon A^{(1)}$ ，所以

$x=A^{+}b+(I-A^{+}A)y$

若A行满秩，则：

$A^{+}=A^{H}(AA^{H})^{-1}$

若A列满秩，则：

$A^{+}=(A^{H}A)^{-1}A^{H}$

$A^{+}=G^{H}(GG^{H})^{-1}(F^{H}F)^{-1}F^{H}$

六、矩阵序列与矩阵函数

1.矩阵函数

设一元函数f(z)能展开为z的幂级数 $f(z)=\sum_{k=0}^{\infty }c_{k}z^{k}(|z|<r)$

silu $r>0$ 表示幂级数的收敛半径，当n阶矩阵A的谱半径 $\rho (A)<r$ 时，将收敛的矩阵幂级数的和 $f(z)=\sum_{k=0}^{\infty }c_{k}A^{k}$ 称为矩阵函数，记为

$f(A)=\sum_{k=0}^{\infty }c_{k}A^{k}$

z	A
$e^{z}=1+\frac{z}{1!}+\frac{z^{2}}{2!}+\frac{z^{3}}{3!}\cdots$	$e^{A}=I+\frac{A}{1!}+\frac{A^{2}}{2!}+\frac{A^{3}}{3!}\cdots$
$cos z=1-\frac{z^{2}}{2!}+\frac{z^{4}}{4!}\cdots$	$cos A=I-\frac{A^{2}}{2!}+\frac{A^{4}}{4!}\cdots$
$sin z=1-\frac{z^{3}}{3!}+\frac{z^{5}}{5!}\cdots$	$sin A=I-\frac{A^{3}}{3!}+\frac{A^{5}}{5!}\cdots$

$\sum_{k=1}^{\infty }kA^{k}=(I-A)^{-2}A$

$\sum_{k=1}^{\infty }k^{2}A^{k}=(I-A)^{-2}[(I-A)^{-1}-2I-A]$

2.矩阵函数求解

1.待定系数法

求解思路：

先求最小特征多项式 $m_{A}(\lambda )$ ，然后设待求矩阵函数为 $f(\lambda)$ ， $f(\lambda)=m_{A}( \lambda )*g(\lambda)+r(\lambda)$ ，其中 $r(\lambda)$ 为次数小于 $m_{A}(\lambda)$ 的多项式。然后依次往 $f(\lambda)$ 里面带入特征值 $\lambda_{i}$ ，若出现重根，则对 $f(\lambda)$ 求导。

例：

$A=\begin{pmatrix} 2 &0 &0 \\ 1& 1& 1\\ 1&-1 & 3 \end{pmatrix}$ ，求 $sinAt(t\epsilon R)$

$det(\lambda I-A)=(\lambda-2)^{3}$

$m(\lambda)=(\lambda-2)^{2}$

$f(\lambda)=sin\lambda t=m(\lambda)g(\lambda)+r(\lambda)=m(\lambda)g(\lambda)+a\lambda+b$

$\begin{cases} &f(2)=sin2t=2a+b \\ & f^{'}(2)=tcos2t=a \end{cases}$ 得 $\begin{cases} &a=tcos2t \\ & b=sin2t-2tcos2t \end{cases}$

$r(\lambda)=(tcos2t)\lambda+sin2t-2tcos2t$

$sinAt=tcos(2t)A+(sin2t-2tcos2t)I=\begin{pmatrix} tsin2t &0 &0 \\ tcos2t& sin2t-tcos2t & tcos2t\\ tcos2t& -tcos2t &sin2t+tcos2t \end{pmatrix}$

2.Jordan标准型法

3.矩阵微分方程

（1）齐次微分方程

$x^{'}=\frac{dx}{dt}=Ax$

$x=e^{tA}x(0)$

（2）非齐次微分方程

$x^{'}=\frac{dx}{dt}=Ax+b(t)$

$x=e^{tA}x(0)+e^{tA}\int_{t_{0}}^{t}e^{-st}b(s)ds$

例：

$A=\begin{pmatrix} 2 &0 &0 \\ 1 & 1 & 1\\ 1&-1 &3 \end{pmatrix}$

$b(t)=\begin{pmatrix} e^{2t}\\ e^{2t}\\ 0 \end{pmatrix}$

$x(0)=\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix}$

求解微分方程 $x^{'}=Ax+b(t)$ 满足x(0)的解

${\color{Blue} x=e^{tA}x(0)+e^{tA}\int_{t_{0}}^{t}e^{-st}b(s)ds=e^{tA}[x(0)+\int_{t_{0}}^{t}e^{-st}b(s)ds]}$

先求通解：

先求 $e^{tA}$

$m(\lambda)=(\lambda-2)^{2}$

$f(\lambda)=e^{t\lambda}=m(\lambda)g(\lambda)+r(\lambda)=m(\lambda)g(\lambda)+a\lambda+b$

$\begin{cases} &f(2)=e^{2t}=2a+b \\ & f^{'}(2)=te^{2t}=a \end{cases}$ 得 $\begin{cases} &a=te^{2t} \\ & b=e^{2t}-2te^{2t} \end{cases}$

$r(\lambda)=te^{2t}\lambda+e^{2t}-2te^{2t}$

$e^{tA}=te^{2t}A+(e^{2t}-2te^{2t})I$

$e^{tA}=e^{2t}\begin{pmatrix} 1 & 0&0 \\ t & 1-t& t\\ t &-t &1+t \end{pmatrix}$

$x(0)=\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix}$

x(0)就是c

$e^{tA}x(0)=e^{tA}\begin{pmatrix} -1\\ 1-2t\\ -2t \end{pmatrix}$

再求特解：

$\int_{t_{0}}^{t}e^{-st}b(s)ds=\int_{t_{0}}^{t}\begin{pmatrix} 1\\ 1\\ 0 \end{pmatrix}ds=\begin{pmatrix} t\\ t\\ 0 \end{pmatrix}$

$e^{-st}=-te^{-2t}A+(e^{-2t}+2te^{-2t})=e^{-2t}\begin{pmatrix} 1 & 0&0 \\ -t & 1+t& -t\\ -t &t &1-t \end{pmatrix}$

合并：

$x=e^{tA}[\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix} +\begin{pmatrix} t\\ t\\ 0 \end{pmatrix}]=e^{tA}\begin{pmatrix} t-1\\ 1+t\\ 0 \end{pmatrix}=e^{2t}\begin{pmatrix} 1 & 0&0 \\ t & 1-t& t\\ t &-t &1+t \end{pmatrix}\begin{pmatrix} t-1\\ 1+t\\ 0 \end{pmatrix}=e^{2t}\begin{pmatrix} t-1\\1-t \\ -2t\end{pmatrix}$

七、矩阵特征值估计

（1）行盖尔圆

每一行除对角线元素外，其他元素绝对值和为第一个盖尔圆半径的边界，圆心为对角线元素

（2）列盖尔圆

列盖尔圆和行盖尔圆原理相同

（3）盖尔圆隔离

$D=\begin{pmatrix} 1 & & \\ & 1& \\ & & n \end{pmatrix}$

$DAD^{-1}=\begin{pmatrix} & & \frac{1}{n}\\ & & \frac{1}{n}\\ n & n&1 \end{pmatrix}$

本文链接：https://blog.csdn.net/ljjjjjjjjjjj/article/details/121501293

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

hive使用适用场景_大数据入门：Hive应用场景-程序员宅基地

文章浏览阅读5.8k次。在大数据的发展当中，大数据技术生态的组件，也在不断地拓展开来，而其中的Hive组件，作为Hadoop的数据仓库工具，可以实现对Hadoop集群当中的大规模数据进行相应的数据处理。今天我们的大数据入门分享，就主要来讲讲，Hive应用场景。关于Hive，首先需要明确的一点就是，Hive并非数据库，Hive所提供的数据存储、查询和分析功能，本质上来说，并非传统数据库所提供的存储、查询、分析功能。Hive..._hive应用场景

zblog采集-织梦全自动采集插件-织梦免费采集插件_zblog 网页采集插件-程序员宅基地

文章浏览阅读496次。Zblog是由Zblog开发团队开发的一款小巧而强大的基于Asp和PHP平台的开源程序，但是插件市场上的Zblog采集插件，没有一款能打的，要么就是没有SEO文章内容处理，要么就是功能单一。很少有适合SEO站长的Zblog采集。人们都知道Zblog采集接口都是对Zblog采集不熟悉的人做的，很多人采取模拟登陆的方法进行发布文章，也有很多人直接操作数据库发布文章，然而这些都或多或少的产生各种问题，发布速度慢、文章内容未经严格过滤，导致安全性问题、不能发Tag、不能自动创建分类等。但是使用Zblog采._zblog 网页采集插件

Flink学习四：提交Flink运行job_flink定时运行job-程序员宅基地

文章浏览阅读2.4k次，点赞2次，收藏2次。restUI页面提交1.1 添加上传jar包1.2 提交任务job1.3 查看提交的任务2. 命令行提交./flink-1.9.3/bin/flink run -c com.qu.wc.StreamWordCount -p 2 FlinkTutorial-1.0-SNAPSHOT.jar3. 命令行查看正在运行的job./flink-1.9.3/bin/flink list4. 命令行查看所有job./flink-1.9.3/bin/flink list --all._flink定时运行job

STM32-LED闪烁项目总结_嵌入式stm32闪烁led实验总结-程序员宅基地

文章浏览阅读1k次，点赞2次，收藏6次。这个项目是基于STM32的LED闪烁项目，主要目的是让学习者熟悉STM32的基本操作和编程方法。在这个项目中，我们将使用STM32作为控制器，通过对GPIO口的控制实现LED灯的闪烁。这个STM32 LED闪烁的项目是一个非常简单的入门项目，但它可以帮助学习者熟悉STM32的编程方法和GPIO口的使用。在这个项目中，我们通过对GPIO口的控制实现了LED灯的闪烁。LED闪烁是STM32入门课程的基础操作之一，它旨在教学生如何使用STM32开发板控制LED灯的闪烁。_嵌入式stm32闪烁led实验总结

Debezium安装部署和将服务托管到systemctl-程序员宅基地

文章浏览阅读63次。本文介绍了安装和部署Debezium的详细步骤，并演示了如何将Debezium服务托管到systemctl以进行方便的管理。本文将详细介绍如何安装和部署Debezium，并将其服务托管到systemctl。解压缩后，将得到一个名为"debezium"的目录，其中包含Debezium的二进制文件和其他必要的资源。注意替换"ExecStart"中的"/path/to/debezium"为实际的Debezium目录路径。接下来，需要下载Debezium的压缩包，并将其解压到所需的目录。

Android 控制屏幕唤醒常亮或熄灭_android实现拿起手机亮屏-程序员宅基地

文章浏览阅读4.4k次。需求：在诗词曲文项目中，诗词整篇朗读的时候，文章没有读完会因为屏幕熄灭停止朗读。要求：在文章没有朗读完毕之前屏幕常亮，读完以后屏幕常亮关闭；1.权限配置：设置电源管理的权限。

随便推点

目标检测简介-程序员宅基地

文章浏览阅读2.3k次。目标检测简介、评估标准、经典算法_目标检测

记SQL server安装后无法连接127.0.0.1解决方法_sqlserver 127 0 01 无法连接-程序员宅基地

文章浏览阅读6.3k次，点赞4次，收藏9次。实训时需要安装SQL server2008 R所以我上网上找了一个.exe 的安装包链接：https://pan.baidu.com/s/1_FkhB8XJy3Js_rFADhdtmA提取码：ztki注：解压后1.04G安装时Microsoft需下载.NET，更新安装后会自动安装如下：点击第一个傻瓜式安装，唯一注意的是在修改路径的时候如下不可修改：到安装实例的时候就可以修改啦数据..._sqlserver 127 0 01 无法连接

js 获取对象的所有key值，用来遍历_js 遍历对象的key-程序员宅基地

文章浏览阅读7.4k次。1. Object.keys(item); 获取到了key之后就可以遍历的时候直接使用这个进行遍历所有的key跟valuevar infoItem={ name:'xiaowu', age:'18',}//的出来的keys就是[name,age]var keys=Object.keys(infoItem);2. 通常用于以下实力中 <div *ngFor="let item of keys"> <div>{{item}}.._js 遍历对象的key

粒子群算法（PSO）求解路径规划_粒子群算法路径规划-程序员宅基地

文章浏览阅读2.2w次，点赞51次，收藏310次。粒子群算法求解路径规划路径规划问题描述给定环境信息，如果该环境内有障碍物，寻求起始点到目标点的最短路径，并且路径不能与障碍物相交，如图 1.1.1 所示。1.2 粒子群算法求解1.2.1 求解思路粒子群优化算法（PSO），粒子群中的每一个粒子都代表一个问题的可能解，通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性。在路径规划中，我们将每一条路径规划为一个粒子，每个粒子群群有 n 个粒子，即有 n 条路径，同时，每个粒子又有 m 个染色体，即中间过渡点的_粒子群算法路径规划

量化评价：稳健的业绩评价指标_rar 海龟-程序员宅基地

文章浏览阅读353次。所谓稳健的评估指标，是指在评估的过程中数据的轻微变化并不会显著的影响一个统计指标。而不稳健的评估指标则相反，在对交易系统进行回测时，参数值的轻微变化会带来不稳健指标的大幅变化。对于不稳健的评估指标，任何对数据有影响的因素都会对测试结果产生过大的影响，这很容易导致数据过拟合。_rar 海龟

IAP在ARM Cortex-M3微控制器实现原理_value line devices connectivity line devices-程序员宅基地

文章浏览阅读607次，点赞2次，收藏7次。–基于STM32F103ZET6的UART通讯实现一、什么是IAP，为什么要IAPIAP即为In Application Programming(在应用中编程)，一般情况下，以STM32F10x系列芯片为主控制器的设备在出厂时就已经使用J-Link仿真器将应用代码烧录了，如果在设备使用过程中需要进行应用代码的更换、升级等操作的话，则可能需要将设备返回原厂并拆解出来再使用J-Link重新烧录代码，这就增加了很多不必要的麻烦。站在用户的角度来说，就是能让用户自己来更换设备里边的代码程序而厂家这边只需要提供给_value line devices connectivity line devices