2018年2月

1.标量、向量、矩阵和张量

标量:常量

向量:一维数组

矩阵:二维数组

张量:超过二维的数组

主对角线:矩阵左上角到右下角的对角线

转置:矩阵以主对角线为轴旋转180度获得。A的转置记为$A^{\top}$

矩阵相加:只要形状相同,就能相加

2.矩阵相乘

C = AB

必要条件:A为m×n矩阵,B为n×p矩阵,C为m×p矩阵。

计算公式

C_{i,j} = \sum_kA_{i,k}B_{k,j}

这里的相乘并不是两个矩阵对应元素挨个挨个的乘积。挨个挨个的乘积被称为Hadamard乘积,记为A⊙B。

两个向量相乘则是得到点积。如上述公式的$C_{i,j}$部分,记为$x^{\top}y$

分配率

A(B + C) = AB + AC

结合律

A(BC) = (AB)C

矩阵乘积并不满足交换律(AB = BA 的情况并非总是满足)。
然而,两个向量的点积满足交换律:

x^{\top}y = y^{\top}x

矩阵乘积的转置公式:

(AB)^{\top} = B^{\top}A^{\top}

现在我们拥有足够的知识储备来理解如下方程式了。

Ax = b

A ∈ $R_{m{\times}n}$ 是一个已知矩阵,b ∈ $R_m$ 是一个已知向量,x ∈ $R_n$ 是一个我们要 求解的未知向量。
该式子可以拆解为:
$A_{1,1}x_1 + A_{1,2}x_2 + {\cdots} + A_{1,n}x_n = b_1$
$A_{2,1}x_1 + A_{2,2}x_2 + {\cdots} + A_{2,n}x_n = b_2$

···

$A_{n,1}x_1 + A_{n,2}x_2 + {\cdots} + A_{n,n}x_n = b_n$

矩阵和向量的表现形式让这种类型的方程式展现起来更加简洁紧凑。

3.单位矩阵和逆矩阵

单位矩阵:沿主对角线的元素都是 1,其他位置的元素都是 0。
如下便是一个3×3的单位矩阵:

\begin{matrix}
1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{matrix}

n阶单位矩阵$I_n$符合一个公式:

\forall x \in {\Bbb{R^n}},I_nx = x.

矩阵逆:矩阵$A$的矩阵逆记作$A^{-1}$。矩阵逆和矩阵的关系如下:

A^{-1}A = I_n.

通过矩阵逆这个工具,可以让我们求出方程$Ax = b$的解。

Ax = b
A^{-1}Ax = A^{-1}b
I_nx = A^{-1}b
x = A^{-1}b

由此可见,只需找到矩阵$A$的矩阵逆$A^{-1}$,这个方程便可以迎刃而解。

当然,这都是理论上的。首先,$A^{-1}$不一定存在。其次,即使存在,在软件程序中实际运用的时候,$A^{-1}$在数字计算机上只能表现出有限的精度,有效使用向量 b 的算法通常可以得到更精确的 x。