활용보다 탐험

탐험- 활용 딜레마 상황에서 의도적으로 탐험(exploration) 비중을 높이고 활용(exploitation)의 비중을 낮추기.

알고리즘

보통은 다음과 같은 상황에 탐험을 많이 하는 게 좋다:

• 시도 횟수가 많이 남은 경우
• 불확실성이 큰 경우 (아직 탐험을 충분히 해보지 않아서, 또는 상황이 빠르게 바뀌어서)

그렇지 않은 상황이라면 활용을 많이 하는 게 좋다.

단, 위 행동의 주체가 인간이라면 다음과 같은 점을 좀 고려하여 탐험의 비중을 의도적으로 높이는 게 좋다고 생각한다.

보수화 경향

사람은 나이를 먹을수록 경험이 많아진다. 특히 젊은 시절에 공부를 열심히 했다면 더욱 머리에 든 게 많을 것. 머리에 든 게 많아질수록 “세상에 새로울 게 없다”는 생각에 빠져들기 쉽다. 게다가 성격심리학에 따르면 인간은 원래 나이가 들수록 안정을 추구하는 경향이 증가한다고도 한다(이는 좋은 MAB 알고리즘이다. “horizon”이 다가올수록 exploration 비중을 낮추는 게 좋다).

이런 경향이 합쳐져서 사람이 점점 “보수화”된다. 이는 곧 시간이 지날수록 탐험을 덜 하려는 경향이 자연스럽게 증가한다는 뜻이다.

경로의존성

항상 그렇지는 않지만, 활용의 비중을 높인다는 것은 상대적으로 시스템 2를 적게 쓴다는 뜻이기도 하다. 습관 형성은 효율을 높이지만 경로의존성을 만든다.

머리를 계속 써야 40대 즈음 시작되는 인지 저하를 막거나 늦출 수 있다. 탐험의 비중이 줄어들고 활용을 많이 하기 시작하면 습관처럼 점점 더 그 방향으로의 의존성이 생기며 돌이키기가 쉽지 않게 된다.

기대수명과 건강수명의 증가

인간의 기대 수명은 계속 증가하고 있고 식습관 개선 등으로 건강 수명도 크게 증가할 가능성이 있다는 점(일부 연구자는 인간의 수명이 140세까지 늘어날 수 있다고 주장. 예: Lifespan: Why We Age - and Why We Don’t Have To)을 생각하면 의도적으로 탐색 비중을 늘릴 필요가 있다.

점점 빠르게 변하는 세상

세상이 빠르게 변할수록 탐색의 비중을 높이는 게 효율적인 학습 알고리즘이라는 점도 고려해야 한다. 분야에 따라 다르겠지만, 지금은 세상이 빠르게 변하는 시기다. 의도적으로 탐색 비중을 늘릴 필요가 있다.