..

Reproducing Hilbert Space and Representer Theorem

리츠 표현 정리의 결과로 어제 오늘 공부한 내용을 정리해본다. 정리라기보다 일종의 intuition 갈무리에 가까움. 훨씬 좋은 설명은 영어 위키피디아나

https://lee-jaejoon.github.io/stat-rkhs/

요기서.

  • Result of Riesz Representation Theorem

리츠 표현 정리의 주요 결과는 힐버트 스페이스의 linear bounded functional의 특정 값에 대해 그걸 input과의 내적으로 표현하는 unique한 Hilbert space의 원소가 있다(input을 h로, unique한 원소를 h0이라 하자. 둘 다 힐버트 스페이스의 원소들임)고 풀어 정리할 수 있다. 또 증명 과정에서, dual basis를 표기하는 게 가능하다면(무한 차원에서도 되긴 하는 것 같다), h0이 dual basis에 의해 표기되는 걸 확인할 수 있음

  • Reproducing Kernel

Scalar x에 대한 Linear functional을 매우 trivial한 evaluational functional L_x로 잡자. 이 때 Hilbert space는 실함수공간(복소함수일 때도 되긴 할텐데 이 땐 conjugacy때문에 dual 표기가 달라질 거다 - 즉 inner product의 symmetry 표기가 좀 다르게 되는 거 빼곤 다 똑같음)으로 잡는다. 다시 리츠 표현정리를 표기하면 L_x(h) = <h, h0> = h(x)로 표기할 수 있는데.. x라는 포인트에 h_0이 unique하니깐 h0을 K_x로 표기하자. 그리고 다른 임의의 point y를 생각하고 이 때 K_y를 생각해보면.. 결론적으로 L_x(K_y) = <K_y, K_x> = <K_x, K_y> = L_y(K_x) 라는 결과를 체크할 수 있으며 이 때 아예 <K_x, K_y>를 K(x,y)라는 reproducing kernel이라고 정의하자. 여기서 체크해야할 포인트는 두 개가 있을텐데 1. 그럼 K_x들은 각각 어떻게 생김? 2. Kernel의 form은 구체적으로 어떻게 생김? 이 될텐데 1.은 아까 리츠표현 정리의 결과로서 주어지는 unique한 h0은 corresponding functional의 dual basis에 따라 정리되는 걸 복기해보고.. 근데 이 functional들은 evaluational function들로 trivial하게 정의됐으므로 구체적인 form은 대상이 되는 functional Hilbert space의 basis에 따라갈 것.

  1. kernel의 form은 마찬가지로 Hilbert space에 정의된 내적에 따라간다.
  • Representer Theorem

좀 더 구체적인 얘기를 해보자. 두 가지 대상을 일단 정의하자: loss function L에 대해 V(f) = \sum^n L(y_i, f(x_i))로 정의하고 그리고 penalized term \lambda ||f||_H를 정의하자. 우리가 하고 싶은 건 결국 V(f)와 penalizing term의 sum을 최소화하는 함수 f의 발견. 특정 reproducing kernel K에 대해 K_x_1, .. K_x_n으로 span된 함수 공간을 생각해보자. 그리고 f(x_i) = 0인 함수들을 모아놓은 공간 2를 생각해보자. 매우 straightforward한 결과는 두번째 공간의 임의의 원소 f에 대해 f(x_i) = L_x_i(f) = <f, K_x_i > = 0이라는 것이고 그래서 두번째 공간이 첫번째 공간에 orthogonal하며 두 공간의 sum이 Hilbert space를 구성한다는 것. 이 때 Hilbert space는 무한차원일 수 있음. 임의의 f \in H의 decomposition의 결과로서 주어지는 첫번째 공간의 원소들을 f_0이라 부르면 마지막으로 다음과 같은 전개를 얻을 수 있는데: V(f) + ||f|| = V(f_0) + ||f_0^orthogonal|| + ||f_0|| \leq V(f_0) + ||f_0|| (\lambda는 생략함)

그래서.. 결과적으론 (무한 차원일 수 있는) 힐베르트 공간을 최소화하는 원소는 kernel spanned 함수 공간의 원소이어야 한다는 점이 Representer Theorem의 결과

  • Some Thoughts

    1. 무한차원에 대한 argument가 이것만으로 충분한지 모르겠음.
    2. 위까지의 설명에서 어떤 kernel이 좋냐?는 건 아직 해명되지 않은 것 같음. 즉 kernel에 따라 corresponding하는 bound가 있을텐데 얘네의 대소관계도 있지 않냐? 하는 것 - 이건 내 이해가 잘못되었을 수도
    3. Further Reading들로는 two-sample kernel based tests인 Maximum Mean Discrepancy에 대해 생각 중.

이제 채점하러 가자..

Comments