research notes(3) + 주저리

• 주저리

새로운 조건들로 새로운 증명을 했고 하루종일 옮기고 메일 보냈다. 레이텍에 옮기는 작업을 끝까지 미루는 편인데 옮기는 일 자체는 꽤 좋아하지만, 그러나 옮기면서 실수들이 발견되면 연구하는 흐름이 끊겨버리기 때문에 그 전에 최대한 실수들이 있다면 바로잡고 옮기려고 하는 편이다. 오늘도 옮기다가 애매한 거 하나 발견해서 다시 작업하고.. 그리고 메일 보낼 때쯤 내가 작업한 거 요약하다가 결과의 범위가 너무 좁은 거 아닌가.. 하는 생각을 하게 됨.

결과 1, 2가 있는데 i.i.d.일 때는 1과 2 모두 완전하게 충족됐던 결과가 있다. 근데 상황을 더 복잡하게 바꾸고 보니까 2는 대충 예전처럼 되는 거 같은데 1은 2/3 정도만 되는 것 같다고 느꼈다. 이 포인트로 또 까일 수 있겠다는 생각이 들었지만.. 까이면 또 하지 뭐 ㅎㅎ;

• Notes

오늘의 연구노트에서는 며칠간 떠올렸던 짧은 잡상들과 최근의 technical tool에 대해 요약해보려고 한다.. 먼저 후자부터.

• Coupling from Bradley 1983 and Peligrad 2002

커플링 트릭이란 -며칠째 계속 언급중인 느낌인데-, 원래의 dependent 샘플의 asymptotic에 대해 작업하기가 어려울 때 그걸 independent한 애와 잘 묶어서 먼저 걔네한테 작업한 담에, 원래 애와의 거리가 ‘무시할만큼 작다’는 걸 보이는 테크닉이다. 이 중 Peligrad와 Bradley의 페이퍼에 나온 테크닉을 -현재까지는- 주로 사용했는데, 이 둘은 fundamentally 다르다기보다 뭐랄까 사용하는 상황이 좀 다르다고 느꼈다.

어떤 느낌이냐면, integrable + Lipschitz functional의 표현이 있다면 마르코프 부등식에 의해서 Peligrad는 우리가 원하는 결과에 대한 확률수렴의 의미에서의 보장을 준다. 근데 Lipschitz functional의 클라스는 생각보다 좁고..(예를 들어 sample variance도 square function이 Lipschitz가 아니기 때문에 얘도 안됨) 그래도 그걸 좀 약화할 수 없을까 할 때 떠올리는 게 P-Lipschitz이고 그 상황에서 쓰는 게 Bradley coupling이라는 생각을 했다.

아직 커플링이라는 도구에 대해서 내가 익숙하지 않아서 예민함이 부족한데, 차후에 -이 도구를 계속 쓰게 된다면- 제대로 구별 짓고 싶은 부분들이 있다: (1) 어떤 커플링이 더 근본적인가? 어떤 커플링이 moment condition이라든지 하는 것들을 덜 요구하는가? (2) 커플링을 어쨌든 나는 도구로서 쓰는건데, 그런 점에서 커플링을 위해 사용하는 환경적 조건들(예를 들어 커널 펑션에 대한 P-Lipschitz)들이 더 근본적인건가, 아니면 커플링 그 자체가 더 근본적인건가?

이런 부분들을 좀 더 가다듬어야겠다는 생각..

• 자의식과 시스템오류

강한 자의식은 보기에도 본인에게도 좋지 않은데, 자의식이라는 걸 일종의 ‘자기지시’라고 본다면.. 러셀부터 괴델까지 혹은 그 이후 내가 모르는 맥락에서까지 대각화라든지 자기지시라는 것들이 일으키는 신비한 오류들이 있는데, 그런 것들이 결국 인간 의식을 시스템으로 볼 때 자의식에 대응할 수 있지 않을까 그런 생각을 했다..

• GAN과 DML

최소한 올해초까지는 GAN이 머신러닝 프레임 중 대세였던 걸로 알고 있다. 내가 대충 이해하기로는 GAN은 품질이 별로인 아웃풋(이미지라든지)를 생성하는 경쟁 모델을 만들어서 원래 모델과 경쟁을 시키는 그런 구조로 아는데, 이것과 DML에 있어서의 semi-parametric outline? viewpoint?가 어떻게 다른지 그게 좀 궁금했던 것 같다. 그러니까 GAN에서 경쟁 모델이 생성하는 품질이 별로인 애들을 일종의 nuisance parameter들로부터 주로 생성된 semi-parametric space의 원소들이라고 볼 수는 없는건지? 그런 점에서 GAN이 경쟁모델을 통해 더 강력해진다는 건 일종의 semi-parametric efficiency와는 관련이 없는건지?

그러나 내가 보기엔 -적어도 내가 대충 이해한 구도 상에서는- 당장 두 개가 동치라거나 그렇지는 않은 것 같다. GAN의 경쟁 모델이라고 해도 그건 원래 최적화 모델과 같은 parameter space에 있는 것 같이 보이고 만약 그렇지 않더라도 유한차원에 있기 때문에.. asymptotic에 대한 이야기를 더 하면 모르겠지만 당장 동치가 아니지 않을까? 그런 생각이 방금 들었음.

• LLM

머신러닝을 내가 직접 연구한다면 LLM쪽으로 해보고 싶다는 생각이 있는데 여러 재밌는 페이퍼도 있고 오늘 발견한 재밌어보이는 -무척 최신의!- 페이퍼를 공유한다:

Zhang et al. Preprint(아마 올해 뉴립스에 내서 리뷰중이거나 아니면 억셉된듯). Large Language Models Are Semi-parametric Reinforcement Learning Agents.