线性代数参考文档
https://zh.d2l.ai/chapter_preliminaries/linear-algebra.html#id5
https://machine-learning-from-scratch.readthedocs.io/zh-cn/latest/%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0.html
单元矩阵
单位矩阵（Identity matrix），也称为恒等矩阵（Identity
matrix）或标准矩阵（unit
matrix），是一种特殊的方阵，其主对角线上的元素全为1，其余元素全为0。单位矩阵通常用字母
"I" 或 "E"
表示，其大小由行数（或列数）决定。单位矩阵在矩阵运算中具有类似于数字中的
1 的作用。
3阶单位矩阵示例如下： \[
\left[
\begin{matrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{matrix}
\right]
\]
满轶矩阵
若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。
既是行满秩又是列满秩则为n阶矩阵即n阶方阵（可用反证法证明，列满轶时与行满轶时矩阵的轶是同一个数值）。
行满秩矩阵就是行向量线性无关，列满秩矩阵就是列向量线性无关；所以如果是方阵,行满秩矩阵与列满秩矩阵是等价的。
矩阵的轶定义：设A是m×n矩阵，A中的最大的不为零的子行列式的阶数称为矩阵A的轶，记为r(A)。或这样定义：若存在k阶子式不为零，而任意k+1阶子式全为零（如果有的话），则k为矩阵A的轶，记作r(A)=k。
显然如果一个n阶方阵的轶为n，则可知：
r(An×n)=n <=>
|A|≠0 <=>
A可逆 \[
\text{简单举例：如下对3×3对角矩阵A的轶为3} \\
A=\left[
\begin{matrix}
1 & 0 & 0 \\
0 & 4 & 0 \\
0 & 0 & 6
\end{matrix}
\right]
\]
对称矩阵
在线性代数中，对称矩阵（英语：symmetric
matrix）指转置矩阵和自身相等方形矩阵。 \[
A^T=A
\] 对称矩阵中的右上至左下方向元素以主对角线（左上至右下）为轴进行对称。若将其写作，则对所有的i和j，
对称矩阵示例： \[
\left[
\begin{matrix}
1 & 2 & 3 \\
2 & 4 & -5 \\
3 & -5 & 6
\end{matrix}
\right]
\]
正交矩阵
在矩阵论中，正交矩阵（英语：orthogonal
matrix），又称直交矩阵，是一个方块矩阵Q，其元素为实数，而且行向量与列向量皆为正交的单位向量 （即
所有行向量两两正交，且每个行向量的模长为1；所有列向量两两正交，且每个列向量的模长为1），使得该矩阵的转置矩阵为其逆矩阵： \[
Q^T=Q^{-1}\quad \text{<=>} \quad Q^TQ=Q^{-1}Q=E\\
\] 其中，为单位矩阵。正交矩阵的行列式值必定为+1或−1，因为：
\[
1=det(E)=det(Q^TQ)=det(Q^T)det(Q)=det(Q)det(Q)=[det(Q)]^2 \quad =>
\quad def(Q)=±1
\]
正定矩阵
参考：张宇线性代数9讲第9章二次型、https://basics.sjtu.edu.cn/~yangqizhe/pdf/la2024s/slides/LALec13-handout-zh.pdf
定义
广义定义
设M是n阶方阵，如果对任何非零向量z，都有 z'Mz > 0，其中z'
表示z的转置，就称M正定矩阵。
例如：B为n阶矩阵，E为单位矩阵，a为正实数。aE+B在a充分大时，aE+B为正定矩阵。（B必须为对称阵）
狭义定义
定义描述1（来自张宇线性代数9讲第9章二次型）：n元二次型f(x1,x2,...,xn)=xTAx，对于任意的x=[x1,x2,...,xn]T≠0，均有xTAx
> 0，则称f为正定二次型，称二次型的对应矩阵A为正定矩阵。
定义描述2：一个n阶的实对称矩阵M是正定的当且仅当对于所有的非零实系数向量z，都有z'Mz>
0。其中z'表示z的转置。
一个对称矩阵 S 被称为是正定矩阵，如果其所有的特征值 λ 都满足 λ >
0。
二次型正定的充要条件
n元二次型f(x1,x2,...,xn)=xTAx
正定，<=>
对任意的x=[x1,x2,...,xn]T≠0，均有xTAx
> 0 （定义）
<=>f的正惯性指定p=n
<=>存在可逆矩阵D，使用A=DTD
<=>A与E合同
<=>A的特征值λi > 0（i=1,2,...,n）
<=>A的全部顺序主子式均大于0
二次型正定的必要条件
（1）aii >0 （i=1,2,...,n）
（可由x取特定的值来证明，如e1,e2,...,en）
（2）|A|>0 (|A|=
|DTD|=
|DT||D|=
[|D|]2> 0
恒成功，因为矩阵D是可逆的)
矩阵变换
在线性代数中，矩阵的初等行变换是指以下三种变换类型
：
交换矩阵的两行（对调i,j，两行记为ri，rj）；
以一个非零数k乘矩阵的某一行所有元素（第i行乘以k记为ri
× k）；
把矩阵的某一行所有元素乘以一个数k后加到另一行对应的元素(第j行乘以k加到第i行记为ri
+ k × rj)。 \[
A=\left[
\begin{matrix}
1 & 2 & 3 \\
0 & 4 & 5 \\
0 & 0 & 6 \\
\end{matrix} \\
\right]
，经过矩阵初等变换后，矩阵A可以转换成右侧形式，
B=\left[
\begin{matrix}
1 & 2 & 3 \\
0 & 4 & 5 \\
0 & 0 & 6 \\
\end{matrix} \\
\right]
\]