Linear algebraebra


Vectors and spaces


Vector intro for linear algebra

$$ Vector= \underbrace {\underbrace{magnitude}_{\cfrac{5mph}{speed \to scalor}} +\underbrace{direction}_{\cfrac{east}{}}} _{veocity \to vector} $$

ベクトルの表現 $$ \vec{v}=(5,0) =\left[ \begin{matrix} 5 \\ 0 \\ \end{matrix} \right] \qquad \vec{a} =\left[ \begin{matrix} 4 \\ 3 \\ \end{matrix} \right] $$

Adding vectors (加算)

$$ \vec{a} =\left[ \begin{matrix} 6 \\ -2 \\ \end{matrix} \right] \qquad \vec{b} =\left[ \begin{matrix} -4 \\ 4 \\ \end{matrix} \right] $$ $$ \vec{a}+\vec{b} =\left[ \begin{matrix} 2 \\ 2 \\ \end{matrix} \right] $$


Multiplying a vector by a scalar (乗算)

$$ \vec{a} =\left[ \begin{matrix} 2 \\ 1 \\ \end{matrix} \right] \qquad 3\vec{a} =3\left[ \begin{matrix} 2 \\ 1 \\ \end{matrix} \right] =\left[ \begin{matrix} 3 \cdot 2 \\ 3 \cdot 1 \\ \end{matrix} \right] =\left[ \begin{matrix} 6 \\ 3 \\ \end{matrix} \right] $$ $$ -1\vec{a} =\left[ \begin{matrix} -2 \\ -1 \\ \end{matrix} \right] $$

Unit vector notation

$$ \vec{v} =\left[ \begin{matrix} 2 \\ 3 \\ \end{matrix} \right] $$ 単位ベクトル $$ \hat{\imath} =\left[ \begin{matrix} 1 \\ 0 \\ \end{matrix} \right] \qquad \hat{\jmath} =\left[ \begin{matrix} 0 \\ 1 \\ \end{matrix} \right] $$ $$\vec{v}を単位ベクトルで表すと\qquad \vec{v}=2\hat{\imath}+3\hat{\jmath}$$ $$ \vec{b}=-\hat{\imath} + 4\hat{\jmath} $$ $$ \vec{v}+\vec{b}=(2-1)\hat{\imath}+(3+4)\hat{\jmath}=\hat{\imath}+7\hat{\jmath} $$

unit vector

大きさが1のベクトルを単位ベクトルといいます
これを\(\hat{u}\) と表し \(||\vec{u}||=1\)
\(\vec{a}=(3,4)\) の単位べくとルを求める $$||\vec{a}|| = \sqrt{3^2+4^2}=\sqrt{25}=5$$ $$\hat{u}=\frac{\vec{a}}{||\vec{a}||} =\frac{1}{5}(3,4)=(\frac{3}{5},\frac{4}{5})$$


Parametric representations of lines

線をパラメータ形式で表します

ベクトルを定義します $$ \vec{V}= \left[ \begin{matrix} 2 \\ 1 \\ \end{matrix} \right] $$
すべての\(\vec{V}\)の集合を\(c\)を実数の定数として表すと $$S=\{ c\vec{V} \mid c \in \Bbb{R}\}$$ $$c=2 \text{ ならば } c\vec{V} =2\left[ \begin{matrix} 2 \\ 1 \\ \end{matrix} \right] =\left[ \begin{matrix} 4 \\ 2 \\ \end{matrix} \right] $$

Sを位置ベクトルの集合とすると、傾き1/2 で原点を通る直線となる

点\((2,4)\) を通る、上記の直線と並行な直線を考える $$ \vec{x}= \left[ \begin{matrix} 2 \\ 4 \\ \end{matrix} \right] $$
この直線は \(c\vec{V}\) に \(\vec{x}\) を加えたものです $$L=\{ \vec{x}+t\vec{V} \mid t \in \Bbb{R} \}$$ 直線を表すのに代数では \(y=mx+b\) がありますが、 この式は2次元のときしか使えません
ベクトルでのの定義は、直線を一般化したもので、次元の拡張にも対応します

2つのベクトルを定義します $$ \vec{a}= \left[ \begin{matrix} 2 \\ 1 \\ \end{matrix} \right] \qquad \vec{b}= \left[ \begin{matrix} 0 \\ 3 \\ \end{matrix} \right] $$ $$\vec{b}-\vec{a}= \left[ \begin{matrix} -2 \\ 2 \\ \end{matrix} \right] $$
$$t(\vec{b}-\vec{a}) \mid t \in \Bbb{R} \text{ は、原点を通る直線を表す}$$ $$\vec{b}と\vec{a}\text{ を位置ベクトルとすると2点を通る直線は}$$ $$L=\{\vec{b}+t(\vec{b}-\vec{a})\mid t \in \Bbb{R}\}$$ または $$L=\{\vec{a}+t(\vec{b}-\vec{a})\mid t \in \Bbb{R}\}$$ $$これは\quad t(\vec{b}-\vec{a})を \vec{b} または \vec{a} 分 平行移動したもの$$ $$L= \left[ \begin{matrix} 0 \\ 3 \\ \end{matrix} \right] + t \left[ \begin{matrix} -2 \\ 2 \\ \end{matrix} \right] \mid t \in \Bbb{R} $$ $$ L_{i}= \left[ \begin{matrix} x軸 \\ y軸 \\ \end{matrix} \right] $$ $$x=-2t$$ $$y=2t+3$$

それでは2点が3次元にあるとします、2点のベクトルは $$ \vec{p}_{1}= \left[ \begin{matrix} -1 \\ 2 \\ 7 \\ \end{matrix} \right] \qquad \vec{p}_{2}= \left[ \begin{matrix} 0 \\ 3 \\ 4 \\ \end{matrix} \right] $$ $$ \Bbb{R}^3 \text{ で、この2点を通る線の式(線の集合は)}$$ $$L=\{ \vec{p}_{1}+t(\vec{p}_{1}-\vec{p}_{2}) \mid t \in \Bbb{R}^3 \} $$ $$ \vec{p}_{1}-\vec{p}_{2}= \left[ \begin{matrix} -1 \\ -1 \\ 3 \\ \end{matrix} \right] $$ $$ L=\{ \left[ \begin{matrix} -1 \\ 2 \\ 7 \\ \end{matrix} \right] + t \left[ \begin{matrix} -1 \\ -1 \\ 3 \\ \end{matrix} \right] \mid t \in \Bbb{R}^3 \} $$ $$x=-t-1$$ $$y=-t+2$$ $$z=3t+7$$ パラメータでの表現は、もっと多くの次元にも対応できます


Linear combinations and span


Linear combination(線型結合) とは

ベクトルの線形結合は

いくつかのベクトルがあります $$v_{1},v_{2},v_{3}, \cdots ,v_{n} \in \Bbb{R}$$ この加算を意味します
各ベクトルにはスカラー値(実数)倍されています $$c_{1}v_{1}+c_{2}v_{2}+c_{3}v_{3}+ \cdots +c_{n}v_{n} \mid c \in \Bbb{R}$$

ベクトルを定義します $$ \vec{a}= \left[ \begin{matrix} 1 \\ 2 \\ \end{matrix} \right] \qquad \vec{b}= \left[ \begin{matrix} 0 \\ 3 \\ \end{matrix} \right] $$ 定数が 0 のとき $$ 0\vec{a}+0\vec{b}= \left[ \begin{matrix} 0 \\ 0 \\ \end{matrix} \right] = \large{0} \quad \text{0 ベクトル} $$ 次の場合 $$ 3\vec{a}+(-2)\vec{b}= \left[ \begin{matrix} 3 \\ 0 \\ \end{matrix} \right] $$ 定数は様々な値をとり続けることができます。
これが線型結合です
つまり多くの\(\vec{a}\) と \(\vec{b}\)の線型結合があります
3つ目のベクトル $$ \vec{c}= \left[ \begin{matrix} 7 \\ 2 \\ \end{matrix} \right] $$ があり、これを \(8\vec{c}\)として、加えることができます $$3\vec{a}+(-2)\vec{b}+ 8\vec{c}$$

グラフに描いてみましょう





$$ c_{1}\vec{a}+c_{2}\vec{b} \text{ で、2次元平面上のすべての点を表すことができます} $$ この2つのベクトルと定数で表すことのできる空間をベクトル空間(span) といいます。 $$Span(\vec{a},\vec{b})=\Bbb{R}^2$$

次の2つのベクトルの場合を見ましょう $$ \vec{a}= \left[ \begin{matrix} 2 \\ 2 \\ \end{matrix} \right] \qquad \vec{b}= \left[ \begin{matrix} -2 \\ -2 \\ \end{matrix} \right] $$

$$ c_{1}\vec{a}+c_{2}\vec{b} \text{ 今回のベクトル空間は1本の線上です、平面全体を表していません} $$ 2つのベクトルが同一線上にある場合には、面全体を表すことはできません。
また 0ベクトルも面全体を表せません

$$Span(v_{1},v_{2},v_{3},\cdots,v_{n})= \{c_{1}v_{1}+c_{2}v_{2}+c_{3}v_{3}+\cdots+c_{n}v_{n}\} \mid c_{i} \in \Bbb{R}^{n} \quad 1 \ge i \ge n $$


Vector dot and cross products


Vector dot product and vector length

Dot Product (ドット積)

$$ \vec{a}= \left[ \begin{matrix} a_{1} \\ a_{2} \\ \vdots \\ a_{n} \\ \end{matrix} \right] \qquad \vec{b}= \left[ \begin{matrix} b_{1} \\ b_{2} \\ \vdots \\ b_{n} \\ \end{matrix} \right] \qquad \vec{a} \cdot \vec{b} = a_{1}b_{1} + a_{2}b_{2} + \cdots + a_{n}b_{n} $$ 例 $$ \left[ \begin{matrix} 2 \\ 5 \\ \end{matrix} \right] \cdot \left[ \begin{matrix} 3 \\ 7 \\ \end{matrix} \right] = 2 \cdot 3 + 5 \cdot 7 = 6 + 35 = 41 $$
Length (ベクトル長) $$ \vec{a}= \left[ \begin{matrix} a_{1} \\ a_{2} \\ \vdots \\ a_{n} \\ \end{matrix} \right] \qquad \lVert \vec{a} \rVert = \sqrt{a_{1}^2+a_{2}^2+ \cdots + a_{n}^2} $$ $$ \vec{a} \cdot \vec{a} = a_{1}^2+a_{2}^2+ \cdots + a_{n}^2 \qquad \lVert \vec{a} \rVert ^2 = \vec{a} \cdot \vec{a} $$

Proving vector dot product properties

$$ \vec{v}= \left[ \begin{matrix} v_{1} \\ v_{2} \\ \vdots \\ v_{n} \\ \end{matrix} \right] \qquad \vec{w}= \left[ \begin{matrix} w_{1} \\ w_{2} \\ \vdots \\ w_{n} \\ \end{matrix} \right] \qquad \vec{x}= \left[ \begin{matrix} x_{1} \\ x_{2} \\ \vdots \\ x_{3} \\ \end{matrix} \right] $$
$$ \vec{v} \cdot \vec{w} = \vec{w} \cdot \vec{v}$$
$$ \vec{v} \cdot \vec{w} = v_{1}w_{1}+v_{2}w_{2}+ \cdots +v_{n}w_{n} $$ $$ \vec{w} \cdot \vec{v} = w_{1}v_{1}+w_{2}v_{2}+ \cdots +w_{n}v_{n} $$ $$ v_{1}w_{1}=w_{1}v_{1} \qquad v_{1}\text{ と } w_{1} \text{入れ替え可能(commutative)です} $$
$$ (\vec{v} + \vec{w}) \cdot \vec{x} = \vec{v} \cdot \vec{x} + \vec{w} \cdot \vec{x}$$
$$ \vec{v} + \vec{w} = \left[ \begin{matrix} v_{1} + w_{1} \\ v_{2} + w_{2} \\ \vdots \\ v_{n} + w_{n} \\ \end{matrix} \right] $$ $$ (\vec{v} + \vec{w}) \cdot \vec{x} = \left[ \begin{matrix} v_{1} + w_{1} \\ v_{2} + w_{2} \\ \vdots \\ v_{n} + w_{n} \\ \end{matrix} \right] \cdot \left[ \begin{matrix} x_{1} \\ x_{2} \\ \vdots \\ x_{3} \\ \end{matrix} \right] $$ $$ \begin{aligned} = (v_{1} + w_{1})x_{1} + (v_{2} + w_{2})x_{2} \cdots (v_{n} + w_{n})x_{n} \end{aligned} $$ $$ \vec{v} \cdot \vec{x} + \vec{w} \cdot \vec{x} =v_{1}x_{1}+v_{2}x_{2}+ \cdots v_{n}x_{n} + w_{1}x_{1}+w_{2}x_{2}+ \cdots w_{n}x_{n} $$ $$ = (v_{1} + w_{1})x_{1} + (v_{2} + w_{2})x_{2} \cdots (v_{n} + w_{n})x_{n} $$
$$ c\vec{v} \cdot \vec{w} = c(\vec{v} \cdot \vec{w})$$

Proof of the Cauchy-Schwarz inequality (コーシー=シュワルツの不等式)

$$ \text{0で無い2つのベクトル } \vec{x},\vec{y} \in \Bbb{R}^n \text{ ならば} $$ $$ \lvert \vec{x} \cdot \vec{y} \rvert \le \lVert \vec{x} \rVert \lVert \vec{y} \rVert $$ $$ \lvert \vec{x} \cdot \vec{y} \rvert = \lVert \vec{x} \rVert \lVert \vec{y} \rVert \iff \vec{x}=c\vec{y} $$
証明
関数を定義します $$ p(t)=\lVert t\vec{y}-\vec{x} \rVert ^2 \ge 0 \qquad \text{ここであるベクトルの長さを定義します} \quad \lVert{\vec{v}} \rVert = \sqrt{v_{1}^2+v_{2}^2+ \cdots +v_{n}^2} \ge 0$$ $$\qquad \lVert \vec{v} \rVert ^2 = \vec{v} \cdot \vec{v}$$ $$ =(t\vec{y}-\vec{x}) \cdot (t\vec{y}-\vec{x}) $$ $$ =t\vec{y} \cdot t\vec{y} - t\vec{y} \cdot \vec{x} -\vec{x} \cdot t\vec{y} -1\vec{x} \cdot -1\vec{x} $$ $$ =(\vec{y}\cdot \vec{y})t^2 -2(\vec{x}\cdot\vec{y})t + \vec{x}\cdot\vec{x} \ge 0 $$ $$ \text{ここで } \vec{y}\cdot \vec{y}=a \quad 2(\vec{x}\cdot\vec{y})=b \quad \vec{x}\cdot\vec{x} \text{ として式を書き換えます} $$ $$ p(t)=at^2 -bt +c \ge 0 $$ $$ p(\frac{b}{2a})=a(\frac{b}{2a})^2-b\frac{b}{2a}+c \ge 0 $$ $$ \frac{b^2}{4a}-\frac{b^2}{2a} + c \ge 0 $$ $$ \frac{-b^2}{4a} + c \ge 0 \to c \ge \frac{b^2}{4a} \to 4ac \ge b^2 $$ $$ 4(\lVert \vec{y} \rVert^2 \lVert \vec{x} \rVert^2) \ge (2(\vec{x}\cdot\vec{y})^2 $$ $$ \lVert \vec{y} \rVert^2 \lVert \vec{x} \rVert^2 \ge (\vec{x}\cdot\vec{y})^2 \Rightarrow \lVert \vec{x} \rVert \lVert \vec{y} \rVert \ge \lvert \vec{x}\cdot\vec{y}\rvert $$ $$ \vec{x}=c\vec{y} $$ $$ \lvert \vec{x}\cdot\vec{y}\rvert = \lvert c\vec{y}\cdot \vec{y} \rVert = \lvert c \rvert \lvert \vec{y}\cdot \vec{y} \rVert = \lvert c \rvert \lVert \vec{y} \rVert^2 = \lvert c \rvert \lVert \vec{y} \rVert \lVert \vec{y} \rVert = \lVert c \vec{y} \rVert \lVert \vec{y} \rVert = \lVert \vec{x} \rVert \lVert \vec{y} \rVert $$

Vector triangle inequality

Defining the angle between vectors

Defining a plane in R3 with a point and normal vector

Cross product introduction