파라미터 튜닝

·3 mins

지금은 전혀 다른 종류의 일을 하게 되었지만, 대학원을 다닐 때에는 로봇과 AI에 관한 주제로 연구를 했었다. 물론 졸업 이후 배운 지식을 쓰지 않아 지금은 기억조차 흐릿하다. 하지만 당시에 공부했던 내용 중 지금까지도, 그리고 아마 평생 내 생각의 틀을 형성하게 되는 것들이 몇 가지 있다. 그 중 하나는 최적화(Optimization)에 관한 것이다.

위키 에서 알려주는 것 처럼 일반적인 최적화 문제는 복잡한 수식으로 표현된다. 굳이 어려운 수학 공식을 사용하지 않더라도, 우리가 살면서 겪는 대분의 문제들은 최적화 문제로 표현될 수 있다. 커리어, 투자와 결혼에 이르기까지, 우리에게는 주어진 조건(돈, 시간, 관계 등)이 있고, 그 안에서 우리가 정한 목적 함수(행복, 자산, 쾌락 등)를 최대화해야 하는 문제를 풀고 있다. 어떻게 조건과 목적함수를 정의하냐의 차이가 있을 뿐, 기업과 사회 조직의 문제도 마찬가지로 모두 최적화 문제로 표현될 수 있다. 이 최적화 문제에서 우리가 구해야 하는 변수는 목적 함수를 최대화하기 위한 우리의 다음 행동이다.

거의 대부분의 최적화 문제를 푸는 데 있어서 가장 중요한 메타 파라미터 중 하나는 시간에 따른 감쇠(Decay) 비중을 어느 정도로 책정하느냐에 있다. 경제학이나 강화학습에서는 할인율(Discount)로 표현하기도 한다. 미래에 얻는 보상이 목적함수에 얼마나 큰 영향을 끼치는가. 좀 더 쉬운 말로 하자면, 얼마나 장기적인 혹은 단기적인 시각으로 문제를 바라보느냐의 차이에 있다.

앞서 말한 최적화 문제를 푸는 과정이 수학적으로 또는 수치해석적인 방법으로 구해지는 이론적인 과정이라면, 시스템과 상황에 따라 서로 다른 목적 함수의 파라미터 값을 조정하는 건 예술의 영역이다. 로봇의 경로 탐색 문제를 예시로 들자면, 단순히 감쇠 요인을 매우 낮게 (장기적인 시각으로) 설정하면 단기적으로 도전적인 태스크에 맞닥뜨렸을 때 극복하지 못 하고 실패할 확률이 높다. 지나치게 감쇠 요인을 높게 설정하면 (단기적인 시각으로) 지나치게 높은 반응성으로 인해 불안정한 모습을 보이며 발산한다. 언제나 그렇듯 정답은 그 사이 어딘가, 중도에 있다.

서론이 복잡하고 길었지만, 많은 사람들을 만나면서 그들 모두 제 각기 다른 시간에 대한 파라미터를 가지고 있다고 느낀다. 앞서 언급한 것 처럼 얼마나 긴 시각으로 바라봐야 하는 지에 정답은 없다고 다시금 느낀다. 성향과 상황에 따른 차이가 있을 뿐이며, 이를 조정하는 것은 에술의 영역일 것이다.

여태껏 크고 작은 실수를 겪으며 오히려 지금은 단기적인 시각과 성과 지향적인 관점의 중요성을 많이 느낀다. 아니 오히려, 장기적인 성과를 위해서는 단순히 미래의 기댓값만을 보고 있는 게 아니라 지금 당장의 난관을 극복하는 데 더 큰 비중을 둬야 하는 것이라고 할 수 있겠다. 위 로봇 경로 탐색 문제에서 언급했듯이, 단순히 장기적인 시각으로 설정하는 값이 장기적으로 최선이 아닐 수 있으며, 단기적인 시각이 반드시 장기적인 결과를 거두지 못 하는 것도 아니다. 오히려 행동은 정보를 유인해 우리를 다음 스텝으로 이끌고, 단기적인 임팩트가 복리 효과를 일으켜 장기적으로 해자를 만들어 낸다.

나는 여지껏 스스로의 인생과 일을 계획하는 데 있어서 장기적인 시각을 가지고자 노력했던 것 같다. 어떻게 하면 궁극적으로 최선의 결과를 얻을 수 있는지 고민했고, 상대적으로 당장의 성과를 거두는 것에는 비교적 취약했다. 그 기저에는 언제나 현재보다 더 앞에 더 나은 결과가 있을 것이라는 기대감, 자신이 현재 최고의 상태가 아니라는 방어 기제가 깔려있었다. 냉정하게 말해서 단기적인 성과를 거두기 어려운 능력의 부재에 대한 변명도 어느 정도 포함되었으리라.

어찌보면 당연한 교훈으로 보일 지라도, 주변을 둘러보면 특히나 어리고 능력 있는 이들에게 자주 접할 수 있는 유형이다. 스스로의 능력을 높게 평가하는 만큼, 이들은 어떤 옵션을 선택하는 데 있어서 기회 비용을 과대 계상하는 경향이 있다. 결국 이리 저리 기회를 재보거나, 가장 위험이 낮은 차선책을 고르는 데 그치게 되는 경우를 자주 접한다.

최근 Story의 Jason Zhao가 그의 짧은 글에서 비슷한 의미의 글을 전했다. 물리학 법칙에는 모두 동일한 단위로 표현되지만, 실제 삶에서 잠재적 에너지 보다는 운동 에너지가 더 큰 가치를 갖는다. 지금 내가 하는 일과 거두는 성과, 그것이 결국 나의 최선이다. ‘하면 하지’보다 스스로에게 위험한 마음가짐은 없으리라.

이를 조금 더 일찍 알았다면 좋았겠지만, 여태껏 설정해 왔던 파라미터에 튜닝이 필요한 때이다.