概述
个人认为线性代数从三个角度,或者说三个工具来阐述了线性关系,分别是:
- 向量
- 矩阵
- 空间
这三个工具有各自的一套方法,而彼此之间又存在这密切的联系,通过这些抽象出来的工具可以用来干一些实际的活,最为直接的就是解方程组,进一步衍生出来最小二乘法等等。
这一部分主要讲了三个工具的各自的一些基本方法,以及用其解方程组的一套理论。另外,由于是总结,就不按照课程的顺序,而且各点之间都有穿插。
向量(Vector)
对于向量而言,大部分与中学一致,基本的就不说了,关注重点。
线性相关性
线性相关性用于描述向量之间的关系。
之前理解有点偏差,定义的意思大概是,对于$Ax=0$,$x$若有非零解则$A$的列向量组线性相关,否则线性无关。
也就是说线性相关性是针对向量组的:
- 从代数上讲,如果向量组中任一个向量都无法被其他向量的线性组合表示,则向量组线性无关,否则线性相关。
- 从几何上讲,若某向量组线性相关,则至少存在一个向量在其余向量的线性组合所构成的空间内。
特别地,若某向量组存在零向量,则该向量组必然线性相关。
其实向量组的线性相关性是受某几个向量影响的,比如$a,b$线性无关,而$a,c$线性相关,那么$a,b,c$线性相关,而$c$是不能由$a,b$的线性表示的(因为$c$前系数为0),所以线性相关,并不意味着,向量组内任一向量都能被其他向量线性组合表示,这是之前理解上的误区。
范数,模,内积
范数是针对赋范空间,内积针对内积空间,模是指向量长度。
一般而言向量的模$|a| = \sqrt{a_1^2+a_2^2+…+a_n^2}$等于二范数,而向量内积定义为$ a·b= |a|*|b|*cos<a,b> $,这里注意一点,若取b为e,则$a·b=|a|*cos<a,b>$,此时ab内积成为了a在b上投影长度。
这些空间的定义在泛函里面介绍比较清楚,个人认为,在这一部分中,只要知道向量的范数,内积,模是如何定义的就行了。
注
对于向量而言,本部分也就这么多,这也是最为基本的,特别是线性相关性,这是后面的基础。
矩阵(Matrix)
个人认为,从某个角度上讲,向量可以看成是数的一个集合,而矩阵可以看成是向量的一个集合,以列向量为例,向量是纵向,元素是数,矩阵是横向,元素是向量。当然这只是一个角度而已,同时矩阵也可以是行向量为元素,或者就是其中的数为元素(这在课程中的应用部分有体现,比如基尔霍夫电流关系等,但个人觉得还是有点牵强,有点强行应用的意思….),无论如何,只是观察的角度不同而已,便于理解就行。
矩阵乘法
个人认为,矩阵乘法其实是一个十分巧妙的设计,将向量线性组合的方式应用在里面,然而以前只知道左行乘右列,还感觉难用…..
矩阵乘法一共有5种方式,个人认为一定一定要深刻理解的有以下两种:
- 对$Ax$,$A$为矩阵$(m*n)$,$x$为列向量$(n*1)$: $Ax$为$A$中各列向量的线性组合
-
对$xA$,$A$为矩阵$(m*n)$,$x$为行向量$(1*m)$: $xA$为$A$中各行向量的线性组合
这是对矩阵与向量的乘积而言,而矩阵和矩阵的乘积与之类似,比如$AB$,可看成$B$中的各列向量与A相乘,然后得到结果矩阵的每个列向量。
矩阵的初等变换
矩阵的初等变换分为初等列变换和初等行变换,有三种方式:
- 对调两行;
- 以数$k≠0$乘某一行的所有元素;
- 把某一行所有元素的k倍加到另一行对应的元素上去。
注意,以前以为最后一条涵盖了前两条,仔细看了下,还真不是,三种变换方式每一条都还是有用的….
其实思考一下,可以发现,以行变换为例,在几何上,变换其实就是行向量间的运算,初等变换并不会使向量组的空间发生变化(注意不能同时用行列变换,否则此时行列空间会发生变化)。
提到初等变换就有另一个概念了,初等矩阵:单位矩阵经过一次初等变换所形成的矩阵。
那么初等变换,初等矩阵有什么用呢?
个人认为,初等变换可以用来描述解方程组时的消元过程,其实,解方程组就是对增广矩阵进行多次初等行变换的过程,另外,初等矩阵可以用来描述初等变换的过程,因为初等矩阵左乘某矩阵,等效于对该矩阵进行同样的初等变换,这样以来就可以用矩阵乘法来描述消元过程了。
既然为了能够描述整个消元过程,我们是不是可以将所有的消元矩阵相乘,得到一个最终的矩阵,然后这个矩阵与原矩阵相乘便得到阶梯矩阵呢?对,但这存在一个问题,就是消元矩阵之间相乘,需要做多次乘法,而且所得到的矩阵与原先消元矩阵不容易观察出关系,但是,如果我们用消元矩阵的逆矩阵,便在运算上有很大的简便性,而且也便于观察消元过程,这既是矩阵的LU分解 (下三角,上三角)。
其实吧,这个LU分解,个人觉得也就形式好看,由于真正计算用的并不多,但好歹也是一种分解方式,还是得知道。
另外初等行变换,可求得矩阵的逆,对于矩阵的逆,需要记住,$A^{-1}A = AA^{-1} = I$ ,显然矩阵应该是方阵。
矩阵的秩
矩阵的秩是一个核心概念,秩分为行秩和列秩,分别是指线性无关行、列向量的极大数目。并且行秩等于列秩,对于这个概念问题又有很多了…
首先来看,求解秩的方法:
一般是通过初等行变换,消元得到阶梯矩阵,然后主列数便等于列(行)秩。
来看问题:
- 为什么主列数等于列秩?
- 阶梯矩阵的空间与原矩阵的空间是否一样?
- 为什么行列秩相等?
先看问题1,主列是通过行变换得到的,也就是说,
若原矩阵为[a b c],变换后的矩阵为[a’ b’ c’],根据初等行变换有,
若Aa’+Bb’+Cc’=0,则Aa+Bb+Cc=0 (用行变换一试便知),二者互为充要条件。也就表明,若变换后的某列向量组线性相关,则原矩阵的对应列向量组也线性相关,无关同理可证(可反证)。
有了这个结论后,就可以发现,阶梯矩阵,很明显主列是线性无关的,而且主列肯定可以线性组合得到自由列(free column),所以主列数就是矩阵的列向量组中极大线性无关向量数,即列秩。再延伸一下,可以发现上面的结论中A、B、C未改变的,也就意味着,零空间是不变的,其实也很简单,方程消元过程是不会改变解空间的。
再看问题2,问题事实上是问行变换对各个空间的影响:
- 行空间:行变换在几何上是行向量之间的运算,所以是不会改变行空间的;
- 列空间:行变换改变了列向量,显然列空间是会变化的,比如,阶梯矩阵可能有大量的零行,而原矩阵在该行所在的维度是有值的,这样显然列空间变化了,再比如,行变换允许交换两行,这显然改变了列空间;
- 零空间:方程消元是不会改变解空间的,故不变化;
- 左零空间:简单来看,左零空间和列空间是正交补,所以左零空间也会变化;
再看问题3,其实仔细观察下阶梯矩阵的形状,可以发现,所留下来的行是线性无关的,而线性相关的行已然被消为全零行,故所留下来的行就是极大线性无关行向量组,所以行秩等于主元数,等于主列数,等于列秩。
向量空间(Vector Space)
书上说,线性空间与向量空间等价,个人认为其实不大好,应该说向量空间是元素为向量的线性空间,这样应该理解起来应该要容易一点。
线性空间有8条公理,其实个人认为最为关键的为以下两点:
- 若v ∈ V,w ∈ V, 则 v + w ∈ V,即元素加法闭合;
- 若v ∈ V,则 mv ∈ V,即元素数乘闭合;
此时的V就为线性空间。注意一点,线性空间显然应该包含0元素(因为0数乘向量,为0向量),这一点可用来否定一些集合是线性空间。
基(Basis),维数(Dimention)
只要给出了基,那么这个空间就唯一确定了,也就是说一组基生成了一个空间,基满足两个条件:
- 空间中所有的向量都可以被基向量的线性组合表示;
- 基中的向量是线性无关的;
基中的向量数便称为空间的维数。
注意几个问题:
一组基确定一个空间,而生成同一个空间却有无数组基。
四个基本子空间
列空间(Column Space)
列空间是矩阵所有列向量的线性组合所构成的空间,那么列空间的基是什么呢?
显然是主列是一组基,因为,自由列可被主列的线性组合表示,所以所有列向量的线性组合等价于主列的线性组合(带入式中,很明显可得)。
所以列空间的维数等于主列数,即列向量所构成矩阵的秩,r。
零空间(Null Space)
零空间是$Ax=0$中的解空间,这就有个问题了,为什么解构成了一个空间呢?
其实可以简单套入空间的定义,试验一下:
- mx(m为系数)是Ax=0的解;
- 若$Ax_1=0,Ax_2=0$,则$A(x1+x2)=0$,故$(x_1+x_2)$为$Ax=0$的解;
故解在数乘,加法上闭合,所以解形成空间。零空间中的向量其本质上,是A矩阵的列向量线性相关的系数所构成的向量。
关于求解零空间的基,先说求解方法,就是选取一自由列,置其余自由列系数为0,然后让主列与之线性相关,求得系数,得到一个解向量,依次进行,便得到一组零空间的解向量。可以发现,这种方式所得到的基在各个系数所在的维度上是不同的,其实就是每个向量仅有它在某维上有分量,类似于阶梯性质,所以很容易知道,各个向量是线性无关的。
那么又有一个问题,这组向量能否生成整个解空间呢?或者问,如何证明这组向量就是解空间的基呢?这是一个很有意思的问题,思索了许久呀…
我们设向量p为任意解向量,且p在自由列的系数不全为零(若全为零,由于主列线性无关,则p就只能为零向量),设用之前得到的解向量组按照p对自由列的系数合成一个向量q,那么需要证明p=q。
假设$p \neq q$,但由于都是方程组的解,二者的差(线性组合)必然也是方程组的解,设p-q=v,则v对自由列的系数为零,而主列的系数不全为零(两个向量不等),这样主列的线性组合等于了零,这与主列线性无关不符,故v=0,p=q,也即是p向量能被之前的线性无关解向量组所表示,所以之前的线性无关解向量组能够表示解空间内任意向量,即该组向量为解空间的基(线性无关早就满足了)。
所以零空间的维数等于自由列数(n-r)。
行空间(Row Space)
行空间与列空间对应,就是所有行向量的线性组合所得到的空间。观察消元过程所得到的阶梯矩阵,显然所留下来的行是线性无关的,而且相关的行已被消为全零行。
所以行空间的一组基为阶梯矩阵的不为全零的行向量组,维数等于主元数。
左零空间(Left Null Space)
$A^Tx=0$ -> $(A^Tx)^T$=0 -> $x^TA$=0,所以称为左零空间,其实可以按照$A^T$的零空间来看,用的不多,知道其与列空间互为正交补,维数为m-r,就差不多了….
$Ax=b$
三个工具的基本方法讲完了,看看一个运用,就是解非齐次线性方程组。
求解方法:增广矩阵化成阶梯矩阵,找到特解(Special Solution),然后加上零空间,就构成了全部解。
两个问题:
- 为什么这种方式求得的向量是解向量?
- 这个向量的集合包含了所有解向量吗?
首先,$Ax_0=b,Ax=0$,二者相加$A(x_0+x)=b$,回答了问题一。
再看,设p为方程的解,则$Ap=b$,又$Ax_0=b$,二者相减有$A(p-x_0)=0,p-x_0$在零空间内,故p可表示为$x+x_0$,所以这个向量的集合就是所有解向量的集合。
后记
总算把第一部分课上讲的大概总结完了,肯定还有不少遗漏,以后再补充吧,不过应该还是把精华的部分都总结到了吧….
2016.12.8
关于向量线性相关的理解之前有些偏差,现在已经纠正过来了
2016.12.11
增加了用LaTex公式标注,另外也修正了关于向量部分的范数,内积,模的一些理解。
2017.1.22