几种矩阵内积的定义和计算

1. Frobenius Inner Product（矩阵内积）

定义：Frobenius 内积是两个矩阵逐元素乘积的总和。

对于两个维度相同的矩阵 AAA 和 BBB，其内积定义为：

⟨A,B⟩=tr(ATB)=∑i=1m∑j=1naijbij\langle A, B \rangle = \text{tr}(A^T B) = \sum_{i=1}^{m} \sum_{j=1}^{n} a_{ij} b_{ij}⟨A,B⟩=tr(ATB)=i=1∑m​j=1∑n​aij​bij​

矩阵限制：两个矩阵 AAA 和 BBB 必须具有相同的维度 m×nm \times nm×n。

结果：内积是一个标量。

2. Dot Product（点积）

定义：点积是向量的标量乘积的延伸。

对于两个向量 u,v\mathbf{u}, \mathbf{v}u,v：

u⋅v=∑i=1nuivi\mathbf{u} \cdot \mathbf{v} = \sum_{i=1}^{n} u_i v_iu⋅v=i=1∑n​ui​vi​

矩阵情况：可以将矩阵行列展开为向量后计算点积。

如果矩阵 AAA 是 1×n1 \times n1×n 或 n×1n \times 1n×1，点积适用：

A⋅B=∑i=1naibiA \cdot B = \sum_{i=1}^{n} a_i b_iA⋅B=i=1∑n​ai​bi​

3. Kronecker Product（克罗内克积）

定义：Kronecker 积生成一个更大的矩阵。

给定矩阵 AAA 的大小为 m×nm \times nm×n，矩阵 BBB 的大小为 p×qp \times qp×q，克罗内克积定义为：

A⊗B=[a11Ba12B…a1nBa21Ba22B…a2nB⋮⋮⋱⋮am1Bam2B…amnB]

A \otimes B =

\begin{bmatrix}

a_{11}B & a_{12}B & \dots & a_{1n}B \\

a_{21}B & a_{22}B & \dots & a_{2n}B \\

\vdots & \vdots & \ddots & \vdots \\

a_{m1}B & a_{m2}B & \dots & a_{mn}B

\end{bmatrix}

A⊗B=​a11​Ba21​B⋮am1​B​a12​Ba22​B⋮am2​B​……⋱…​a1n​Ba2n​B⋮amn​B​​

结果大小：(mp)×(nq)(mp) \times (nq)(mp)×(nq)

4. Outer Product（外积）

定义：外积是两个向量生成矩阵的方法。

对于两个向量 u∈Rm\mathbf{u} \in \mathbb{R}^mu∈Rm 和 v∈Rn\mathbf{v} \in \mathbb{R}^nv∈Rn，外积为：

u⊗v=uvT=[u1v1u1v2…u1vnu2v1u2v2…u2vn⋮⋮⋱⋮umv1umv2…umvn]

\mathbf{u} \otimes \mathbf{v} = \mathbf{u} \mathbf{v}^T =

\begin{bmatrix}

u_1v_1 & u_1v_2 & \dots & u_1v_n \\

u_2v_1 & u_2v_2 & \dots & u_2v_n \\

\vdots & \vdots & \ddots & \vdots \\

u_mv_1 & u_mv_2 & \dots & u_mv_n

\end{bmatrix}

u⊗v=uvT=​u1​v1​u2​v1​⋮um​v1​​u1​v2​u2​v2​⋮um​v2​​……⋱…​u1​vn​u2​vn​⋮um​vn​​​

结果大小：m×nm \times nm×n

5. Hadamard Product（哈达玛积）

定义：Hadamard 积是两个矩阵对应元素相乘的结果。

对于两个矩阵 A,BA, BA,B：

A∘B=[a11b11a12b12…a1nb1na21b21a22b22…a2nb2n⋮⋮⋱⋮am1bm1am2bm2…amnbmn]

A \circ B = \begin{bmatrix}

a_{11}b_{11} & a_{12}b_{12} & \dots & a_{1n}b_{1n} \\

a_{21}b_{21} & a_{22}b_{22} & \dots & a_{2n}b_{2n} \\

\vdots & \vdots & \ddots & \vdots \\

a_{m1}b_{m1} & a_{m2}b_{m2} & \dots & a_{mn}b_{mn}

\end{bmatrix}

A∘B=​a11​b11​a21​b21​⋮am1​bm1​​a12​b12​a22​b22​⋮am2​bm2​​……⋱…​a1n​b1n​a2n​b2n​⋮amn​bmn​​​

矩阵限制：两个矩阵必须具有相同的维度 m×nm \times nm×n。

结果大小：m×nm \times nm×n

6 总结表

运算类型输入要求输出形式Frobenius 内积两矩阵维度相同 m×nm \times nm×n标量点积两向量长度相同 nnn标量克罗内克积两矩阵 A∈Rm×n,B∈Rp×qA \in \mathbb{R}^{m \times n}, B \in \mathbb{R}^{p \times q}A∈Rm×n,B∈Rp×q(mp)×(nq)(mp) \times (nq)(mp)×(nq) 矩阵外积两向量 u∈Rm,v∈Rn\mathbf{u} \in \mathbb{R}^m, \mathbf{v} \in \mathbb{R}^nu∈Rm,v∈Rnm×nm \times nm×n 矩阵哈达玛积两矩阵维度相同 m×nm \times nm×nm×nm \times nm×n 矩阵7 示例

以下是 Frobenius 内积、点积、Kronecker 积、外积 和 Hadamard 积 在 实数矩阵 和 复数矩阵上的具体示例：

1. Frobenius Inner Product（矩阵内积）

实数矩阵

设 A=[1234]A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}A=[13​24​]，B=[5678]B = \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix}B=[57​68​]

Frobenius 内积为：

⟨A,B⟩=∑i=12∑j=12aijbij=1⋅5+2⋅6+3⋅7+4⋅8=70

\langle A, B \rangle = \sum_{i=1}^{2} \sum_{j=1}^{2} a_{ij} b_{ij} = 1 \cdot 5 + 2 \cdot 6 + 3 \cdot 7 + 4 \cdot 8 = 70

⟨A,B⟩=i=1∑2​j=1∑2​aij​bij​=1⋅5+2⋅6+3⋅7+4⋅8=70

复数矩阵

设 A=[1+i2i4]A = \begin{bmatrix} 1+i & 2 \\ i & 4 \end{bmatrix}A=[1+ii​24​]，B=[3−i678+i]B = \begin{bmatrix} 3-i & 6 \\ 7 & 8+i \end{bmatrix}B=[3−i7​68+i​]

Frobenius 内积为：

⟨A,B⟩=∑i=12∑j=12aijbij‾

\langle A, B \rangle = \sum_{i=1}^{2} \sum_{j=1}^{2} a_{ij} \overline{b_{ij}}

⟨A,B⟩=i=1∑2​j=1∑2​aij​bij​​

即：

(1+i)(3+i)+2⋅6+i⋅7+4⋅(8−i)=(2+4i)+12+7i+(32−4i)=46+7i

(1+i)(3+i) + 2 \cdot 6 + i \cdot 7 + 4 \cdot (8-i) = (2+4i) + 12 + 7i + (32-4i) = 46 + 7i

(1+i)(3+i)+2⋅6+i⋅7+4⋅(8−i)=(2+4i)+12+7i+(32−4i)=46+7i

2. Dot Product（点积）

实数向量

设 u=[123]\mathbf{u} = \begin{bmatrix} 1 & 2 & 3 \end{bmatrix}u=[1​2​3​]，v=[456]\mathbf{v} = \begin{bmatrix} 4 & 5 & 6 \end{bmatrix}v=[4​5​6​]

点积为：

u⋅v=1⋅4+2⋅5+3⋅6=32

\mathbf{u} \cdot \mathbf{v} = 1 \cdot 4 + 2 \cdot 5 + 3 \cdot 6 = 32

u⋅v=1⋅4+2⋅5+3⋅6=32

复数向量

设 u=[1+i23i]\mathbf{u} = \begin{bmatrix} 1+i & 2 & 3i \end{bmatrix}u=[1+i​2​3i​]，v=[12+i3]\mathbf{v} = \begin{bmatrix} 1 & 2+i & 3 \end{bmatrix}v=[1​2+i​3​]

点积为：

u⋅v=(1+i)1‾+2(2+i)‾+(3i)3‾

\mathbf{u} \cdot \mathbf{v} = (1+i)\overline{1} + 2\overline{(2+i)} + (3i)\overline{3}

u⋅v=(1+i)1+2(2+i)​+(3i)3

即：

(1+i)⋅1+2⋅(2−i)+3i⋅3=1+i+4−2i+9i=5+8i

(1+i) \cdot 1 + 2 \cdot (2-i) + 3i \cdot 3 = 1+i + 4-2i + 9i = 5 + 8i

(1+i)⋅1+2⋅(2−i)+3i⋅3=1+i+4−2i+9i=5+8i

3. Kronecker Product（克罗内克积）

实数矩阵

设 A=[1234]A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}A=[13​24​]，B=[0567]B = \begin{bmatrix} 0 & 5 \\ 6 & 7 \end{bmatrix}B=[06​57​]

克罗内克积为：

A⊗B=[1B2B3B4B]=[0501067121401502018212428]

A \otimes B = \begin{bmatrix}

1B & 2B \\

3B & 4B

\end{bmatrix} =

\begin{bmatrix}

0 & 5 & 0 & 10 \\

6 & 7 & 12 & 14 \\

0 & 15 & 0 & 20 \\

18 & 21 & 24 & 28

\end{bmatrix}

A⊗B=[1B3B​2B4B​]=​06018​571521​012024​10142028​​

复数矩阵

设 A=[i234]A = \begin{bmatrix} i & 2 \\ 3 & 4 \end{bmatrix}A=[i3​24​]，B=[1ii1]B = \begin{bmatrix} 1 & i \\ i & 1 \end{bmatrix}B=[1i​i1​]

克罗内克积为：

A⊗B=[iB2B3B4B]=[i−122iii2i233i44i3i34i4]

A \otimes B = \begin{bmatrix}

iB & 2B \\

3B & 4B

\end{bmatrix} =

\begin{bmatrix}

i & -1 & 2 & 2i \\

i & i & 2i & 2 \\

3 & 3i & 4 & 4i \\

3i & 3 & 4i & 4

\end{bmatrix}

A⊗B=[iB3B​2B4B​]=​ii33i​−1i3i3​22i44i​2i24i4​​

4. Outer Product（外积）

实数向量

设 u=[123]\mathbf{u} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}u=​123​​，v=[45]\mathbf{v} = \begin{bmatrix} 4 & 5 \end{bmatrix}v=[4​5​]

外积为：

u⊗v=[1⋅41⋅52⋅42⋅53⋅43⋅5]=[458101215]

\mathbf{u} \otimes \mathbf{v} =

\begin{bmatrix}

1 \cdot 4 & 1 \cdot 5 \\

2 \cdot 4 & 2 \cdot 5 \\

3 \cdot 4 & 3 \cdot 5

\end{bmatrix} =

\begin{bmatrix}

4 & 5 \\

8 & 10 \\

12 & 15

\end{bmatrix}

u⊗v=​1⋅42⋅43⋅4​1⋅52⋅53⋅5​​=​4812​51015​​

复数向量

设 u=[1+i2]\mathbf{u} = \begin{bmatrix} 1+i \\ 2 \end{bmatrix}u=[1+i2​]，v=[34−i]\mathbf{v} = \begin{bmatrix} 3 \\ 4-i \end{bmatrix}v=[34−i​]

外积为：

u⊗v=[(1+i)⋅3(1+i)⋅(4−i)2⋅32⋅(4−i)]=[3+3i4−i+4i+168−2i]=[3+3i5+3i68−2i]

\mathbf{u} \otimes \mathbf{v} =

\begin{bmatrix}

(1+i) \cdot 3 & (1+i) \cdot (4-i) \\

2 \cdot 3 & 2 \cdot (4-i)

\end{bmatrix} =

\begin{bmatrix}

3+3i & 4-i+4i+1 \\

6 & 8-2i

\end{bmatrix} =

\begin{bmatrix}

3+3i & 5+3i \\

6 & 8-2i

\end{bmatrix}

u⊗v=[(1+i)⋅32⋅3​(1+i)⋅(4−i)2⋅(4−i)​]=[3+3i6​4−i+4i+18−2i​]=[3+3i6​5+3i8−2i​]

5. Hadamard Product（哈达玛积）

实数矩阵

设 A=[1234]A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix}A=[13​24​]，B=[5678]B = \begin{bmatrix} 5 & 6 \\ 7 & 8 \end{bmatrix}B=[57​68​]

哈达玛积为：

A∘B=[1⋅52⋅63⋅74⋅8]=[5122132]

A \circ B =

\begin{bmatrix}

1 \cdot 5 & 2 \cdot 6 \\

3 \cdot 7 & 4 \cdot 8

\end{bmatrix} =

\begin{bmatrix}

5 & 12 \\

21 & 32

\end{bmatrix}

A∘B=[1⋅53⋅7​2⋅64⋅8​]=[521​1232​]

复数矩阵

设 A=[1+i2i4]A = \begin{bmatrix} 1+i & 2 \\ i & 4 \end{bmatrix}A=[1+ii​24​]，B=[3678+i]B = \begin{bmatrix} 3 & 6 \\ 7 & 8+i \end{bmatrix}B=[37​68+i​]

哈达玛积为：

A∘B=[(1+i)⋅32⋅6i⋅74⋅(8+i)]=[3+3i127i32+4i]

A \circ B =

\begin{bmatrix}

(1+i) \cdot 3 & 2 \cdot 6 \\

i \cdot 7 & 4 \cdot (8+i)

\end{bmatrix} =

\begin{bmatrix}

3+3i & 12 \\

7i & 32+4i

\end{bmatrix}

A∘B=[(1+i)⋅3i⋅7​2⋅64⋅(8+i)​]=[3+3i7i​1232+4i​]