내적공간과 공분산

실벡터공간 $V$가 있을 때, 내적공간 $(V,\langle\cdot,\ast\rangle)$은 $V$에 추가적인 구조 $\langle\cdot,\ast\rangle:V\times V\to\mathbb{R}$가 주어진 것으로 다음 세 조건을 만족하는 공간이다:

1. $\langle x, x\rangle\geq0$ for all $x\in V$, $\langle x,x\rangle=0$ if and only if (iff) $x=0$.
2. $\langle x,y\rangle=\langle y,x\rangle$ for all $x,y\in V$.
3. $\langle ax+z,y\rangle = a\langle x,y\rangle + \langle z,y\rangle$

우리가 잘 아는 내적인 $\langle x,y\rangle = x_1y_1+\cdots+x_ny_n$이 위 조건을 만족하는 것은 자명하다. 위 정의는 내적을 일반화한 것으로 이해할 수 있다.

그럼 공분산의 정의를 살펴보자.

$$ \text{Cov}(X,Y):=\mathbb{E}[(X-\mu_X)(Y-\mu_Y)] $$

공분산의 정의를 통해 공분산이 다음 세 조건을 만족하는 것을 쉽게 확인할 수 있다:

1. $\text{Cov}(X,X)=\text{Var}(X)\geq0$ for all random variable (r.v) $X$, $\text{Cov}(X)=0$ iff $X=\text{constant}$ almost everywhere (a.e.).
2. $\text{Cov}(X,Y)=\text{Cov}(Y,X)$.
3. $\text{Cov}(aX+Z,Y)=a\text{Cov}(X,Y)+\text{Cov}(Z,Y)$.

증명이 필요없을 정도이다. 즉, 공분산은 내적의 세 정의를 만족한다. 따라서 우리는 공분산을 랜덤 벡터 사이의 내적으로 바라볼 수 있게 된다.

세계관을 만들기 위해서, 먼저 다음과 같은 정의를 한다.

Definition (Origin Operator)

Expectation operator $\mathbb{E}[\cdot]$을 origin operator이라고 부르기로 하자.

Definition (Origination)

Expectation이 존재하는 random variable $X$에 대해서, $\overline{X}:=X-\mathbb{E}[X]$를 origination이라고 부르자. $\overline{X}$를 orginated random variable이라고 부르자.

Remark 1.

Bar notation은 매우 유용하다. 예를 들어, $\overline{X}+\overline{Y}=\overline{X+Y}$와 $r\cdot\overline{X}=\overline{r\cdot X}$등이 성립하기 때문이다.