[신호처리] Mean Squared Error(MSE)에 대한 고찰

서론

MSE^{평균제곱오차}가 세상에 나온지는 50년이 훌쩍 넘었는데, 정말 다양한 분야에 걸쳐서 정량적인 성능 지표로 널리 사용되어 왔다. 특히, 신호처리 분야에서는 신호의 품질^Quality과 Fidelity를 평가함에 있어서 standard criterion으로 자리매김한지 오래다. 최근 딥 러닝^{Deep Learning} 시대에 오면서, 수치적인 최적화 문제에도 쓰이는데, MSE를 Loss function으로 사용하여 Gradient Decent 알고리즘으로 minimize하는데 쓰이는걸 많이 볼 수 있다. 성능지표 뿐만 아니라 최적화 문제로도 쓰이는 이 MSE 대체 무엇일까? 다음 물음에 답해보자.

• 왜 이렇게 인기가 많은가?
• 정말 잘 작동하는가?
• 언제 MSE를 쓰면 안될까?
• MSE의 대안은 없을까?

MSE가 뭐지?

신호의 Fidelity를 측정하는 척도로써의 MSE에 대해서 생각해보자. 우선, 신호의 Fidelity 척도란, 두 신호 간의 유사도^Similarity 또는 오차^Error/왜곡^Distortion을 정량적인 점수로 비교를 하는 것이다. 주로 깨끗한 원본 신호와 왜곡되거나 잡음이 낀 신호 사이를 비교하게 된다.

• 아래와 같이 유한한 길이의 두 이산신호^{Discrete signal}를 가정해보자.

\[\textbf{x} = \{x_i |i=1,2,3,...,N \}\] \[\textbf{y} = \{y_i |i=1,2,3,...,N \}\]

$N$은 신호의 샘플 개수를 말하고, $x_i$와$y_i$는 각각 $x$,$y$의 $i$번째 신호 샘플을 말한다.

• 원 신호와 왜곡된 신호 사이의 차이를 MSE로 나타낸다.

\[\text{MSE(x,y)}=\frac{1}{N} \sum_{i=1}^{N}(x_i-y_i)^2\]

이 때, $x_i -y_i$는 Error signal로 $e_i$로 나타내기도 한다.

• $\ell_p$ norm은 MSE의 일반적인 형태이다. \(d_p(\text{x,y}) = \left( \sum_{i=1}^{N}|e_i|^p \right)^{1/p}\)

왜 우리는 MSE를 사랑하는가?

• MSE가 인기 있는 데에는 다 이유가 있다.

[1] Simple

• 일단 간단하다. Parameter^매개변수가 없고 계산 리소스가 적다.
• 또한, 각 샘플들은 서로 독립적이여서 각 샘플별로만 sqared error를 계산하기 때문에 memoryless하다.

[2] $\ell_p$ norm 종류는 $\mathbb{R}^N$에서 유효한 거리^Distance이다.

• 다음 간단한 조건들을 만족하고, 일관되고 직접적인 유사도 해석이 가능하다.
  1. Non-negativity: $d_p(\text{x,y})\ge 0$
  2. Identity: $d_p(\text{x,y}) = 0 \text{\ \ i.f.f\ x=y}$
  3. Symmetry: $d_p(\text{x,y}) = d_p(\text{y,x})$
  4. Triangular Inequality: $d_p(\text{x,z}) \le d_p(\text{x,y})+d_p(\text{y,z})$
• 특히, $p=2$인 경우, $N$차원의 유클리드 공간에서의 거리를 측정하는 척도이다.

Reference

• Z. Wang and A. C. Bovik, “Mean squared error: Love it or leave it? A new look at Signal Fidelity Measures,” in IEEE Signal Processing Magazine, vol. 26, no. 1, pp. 98-117, Jan. 2009.