research notes(2) - some general interests these days
요새 관심이 가는 논문 혹은 토픽들을 공유해놓는다. 24년 7월 기준 내 눈에 들어오는 것들. 근데 여기서 ‘관심이 가는’이라는 뜻은 당장 내 연구에 엄청 직접적으로 관련이 있지는 않지만, 무척 재밌어보이는 토픽들을 말한다. 연구에 직접 쓰이는 레퍼런스들은 여기 적지 말고 바로바로 익혀서 써먹어야하므로..
-
- Park et al. Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space(preprint in arXiv)
나온지 정말 얼마 안된(진짜 유월 27일쯤 나온듯) 페이펀데 abstract만 보고 매우 흥미가 갔다. 내가 이해하기론, 생성형 AI모델을 고려할 때 얘가 갑자기, 만든 사람들도 예측하지 못하는 성능을 보여줄 때가 있는데 그런 부분들을 포함한 일종의 learning dynamics에 대한 형식화를 시도한 것 같다. Concept Space, Concept Signal 그리고 그에 따라오는 Hidden Capabilities라는 개념들을 -수학적으로- 형식화하려고 하는 듯함.
이런 형식화 자체도, 이런 형식화를 통해 ‘좋은’ 모델에 대한 또 다른 기준이 주어질 수 있을 것이기 때문에(예를 들어 당장은 퍼포먼스가 안좋아도 뭐랄까 더 창의적인 모델을 구분할 수 있는 기준을 줄 수도 있달까)매우 흥미롭지만, 무엇보다도 매우 일반적인 인공지능의 문제와 관련되어 보여서 그렇다.
(여기부터 컴공알못의 주절거림임 주의) 내가 생각하기에 튜링의 위대한 점은 지능이란 무엇인가? 인식이란 무엇인가? 그리고 또 인간다움은 무엇인가? 라는 문제들을 인공지능의 문제로 바꿔놓았다는 데 있다. 즉 그것들을 모두가 동의하는 개념을 정의하려는 대신 어떻게 하면 인간과 구별할 수 없는 기계를 구현할 수 있을까라는 방향으로 문제를 바꿔놓았다는 것. 그런 점에서 특정한 종류의 반복적인 일 혹은 암기 뿐 아니라 어떤 갑작스러운 창의성이라고 할까, 갑작스러운 행동 혹은 갑작스러운 능력의 향상 그런 게 만약 인간다움을 결정하는 큰 기준이 된다면 어쩌면.. learning model에 대한 이런 정식화 그 중에서도 특히 모델의 hidden capabilities라는 개념이 넓은 의미에서 인간다움과 관련될 수 있지 않을까 하는 것.
너무 거창한가? 근데 이런 게 또 내 분야 아닌 논문을 읽는 재미 아니겠나.. 논문 저자들도 물리학과 뇌과학과 전자공학 등등이 묶여서 쓴 논문인데 머. 여튼.. 언젠가 스터디에서 발제를 해봐야겠다.
- about sample splitting
계속 염두에 두는 문제가 있는데 ‘efficient permutation test’를, permutation의 절대 숫자를 줄이거나 혹은 의미 있는 permutation만을 가려서 할 수 없나 그런 관점에서 구현해보는 거다. 나아가서 그런 permutation test를 통해서 permutation test가 주로 쓰이는 literature지만 그걸 약간 피해가려고 하는 시도들(최근 ‘permutation-free tests’를 다루는 페이퍼)에 대한 permutation test 관점에서의 대안을 제시하고 싶음.
그런 점에서 발견한 레퍼런스가 있는데 이게 data rank의 p에 대한 일종의 projection trick을 쓰고 있어서 high dimensional에는 확장이 안된다. 논문에서는 디스커션으로 sparsity 가정을 넣어보면 될 거 같다고 말하긴 하는데..
여기까지가 내 당장의 motivation들이고 - 일반적으로 이쪽 업계에서는 - 위에 잠깐 언급한 permutation-free test에서도 그렇고 dml에서도 그렇고 - sample splitting이 무척 신비로운 도구로 느껴진다. 그러니까 뭔가 안풀릴 때 sample splitting을 해보면 문제가 풀릴 때가 많음. 그래서 뭔가, 내가 처한 상황에서도 n이랑 p랑 같이 발산하는데 당장 n을 반으로 각각 쪼개는 미친 짓을 해도 근데 그게 혹시 뭔가 엄청 놀라운 결과로 이어지지 않을까? 그런 가느다란 생각같은 게 있다.
이런 걸 위해서 일단 샘플 스플릿팅을 핵심 도구로 쓴 논문들을 좀 제대로 읽어볼 생각 당장 연구실 저~ 옆에 앉은 친구도 최근에 그걸로 논문을 냈으니 좀 읽어보고 얘기 좀 해야지..