Conditions for intuitive expertise: A failure to disagree

HB(Heuristics and biases) 학파의 Daniel Kahneman과 NDM(Naturalistic decision making) 학파의 Gary Klein이 함께 쓴 기념비적 논문. 전문적 직관(Skilled intuition)이 어떤 상황에서 발달하는지, 또 어떤 상황에서 발달하지 못하는지.

Abstract

Two Perspectives

Origins of the Naturalistic Decision Making Approach

• 1940년대 체스마스터들에 대한 연구에서 시작. 마스터들은 최적의 수를 빠르게 생각하는 반면 일반적 플레이어는 최적의 수를 고려조차 못함. 마스터들은 대략 5만-10만 개의 상황을 즉각적으로 인식하고 최적의 수를 바로 상기. 이를 위해서는 십년 이상의 연습이 필요. 이러한 연구를 바탕으로 NDM 학파는 전문적 직관을 기억된 패턴의 재인recogntion으로 정의
• NDM 학파의 핵심 목표는 “직관”을 규정하는 것. CTA cognitive task analysis 방법 등을 활용.

Origins of the Heuristics and Biases Approach

• 1950년대 의학 분야에서 인간의 판단 vs. 통계모형을 비교한 연구에서 시작. 인간이 통계 모형보다 오판을 더 빈번하게 함. 이를 체계적 오류systematic error에서 기인하는 것으로 판단.
• Tversky & Kahneman 1971을 비롯한 다양한 연구에 따르면, 통계학 교괴서를 쓴 학자 등 저명한 전문가들도 다양한 현실 상황에서 부정확한 통계적 추론을 하였음. —> 기거렌쩌 ecological intelligence가 발휘되려면 그럴 수 있는 상황에서 문제 풀이가 되어야.
• 이후 여러 분야에서 일관되고 다양한 직관 오류 사례들이 연구됨.

Contrasts Between the Naturalistic Decision Making and Heuristics and Biases Approaches

Stance Regarding Expertise and Decision Algorithms

• 관찰한 사실 자체에 대해서는 이견이 없음. 전문가의 직관적 판단이 때론 놀랍도록 잘 맞고, 때론 크게 잘못됨.
• 다만 전문적 직관의 효용성에 대한 판단에 차이가 있음. HB는 전문적 직관을 못믿을 이유에 집중, NDM은 성공적 전문적 직관에 집중.

Field vs. Laboratory

• HB 학파는 대체로 실험실에서의 통제 실험을 중시.
• NDM 학파는 CTA나 현장 관찰 등의 방법을 중시.

The Definition of Expertise

• NDM 학파: 해당 분야의 동료들로부터 최고 수준이라고 평가받는 사람들이 전문가 (조작적 정의)
• HB 학파: 최고 수준의 통계모형 또는 알고리즘과 비교하여 어느 정도의 퍼포먼스를 보이는지를 기준으로 판단.

Source of Intuition

Skilled Intuition as Recognition

• System 1 (automatic) vs. System 2 (controlled, effortful) operation 구분이 중요.
• 두 학파 모두 System 1에 집중. NDM 학파는 숙련을 통해 System 1이 향상되는 사례, HB 학파는 System 1의 오류 사례에 집중.

Imperfect Intuition vs. Professional Intuitions

• 환경의 정규성
• 의도적 수련

Conclusions

직관을 믿을 수 있는 상황은?

• 직관을 신뢰할 수 있는 상황(Gary Klein 등 naturalistic decision making 학파가 집중하던 부분)이 있고, 그렇지 않은 상황(Daniel Kahneman 등 heuristics and bias 학파가 집중하던 부분)이 있다.
• 전문적 직관이 발달한 사람이라도 스스로의 판단 근거를 의식하지 못하는 경우가 많다(즉 종종 무의식적으로 올바른 판단을 내린다). 전문적 직관이 발달하지 않은 사람은 더욱 그러할 가능성이 높다(즉 종종 무의식적으로 부적절한 판단을 내리면서 스스로 잘했다고 여긴다).
• 진정한 전문가true experts는 자신이 무언가를 모를 때 그 사실을 잘 알아차린다. 비전문가(스스로 전문가라고 믿는 사람 중에도 비전문가가 있음)는 이걸 잘 못한다. 주관적 확신의 정도와 실제 전문성 사이에는 별 관련이 없다.
• 직관적 판단을 신뢰할 수 있는지 여부를 판단하려면, 판단자가 판단을 내린 환경 및 판단자가 환경의 정규성regularities으로부터 학습해올 기회가 있었는지 여부를 살펴보아야 한다.
• 객관적으로 식별 가능한 단서들과 이어지는 사건 사이의 관련성, 또는 단서들과 이어지는 행동의 결과들 사이에 안정적인 관련성이 있는 과업 환경은 높은 유효성high-validity을 지닌다. 의학 및 소방 분야가 대표적. 유효성이 낮은 대표적 상황은 개발 주가에 대한 예측 또는 정치적 사건에 대한 장기적 예측 등.
• 유효성과 불확실성은 양립가능하다. 몇몇 상황은 유효성과 불확실성이 둘 다 높다. 예를 들면 포커 게임 또는 전쟁 상황. 불확실성이 높지만 최선의 전략이 성공 가능성을 상당히 높일 수 있음.
• 유효성이 높은 환경은 전문적 직관이 발달하기 위한 필요조건. 또다른 필요조건은 빠르고 명확한 피드백이 주어지는 상황에서의 오랜 훈련(Deliberate practice)을 통해 환경을 충분히 학습하기. 충분한 재능sufficient talent이 있는 개인이 유효한 단서와 양질의 피드백을 제공하는 환경에 놓이면 전문적 직관이 발달.
• 정규성이 없거나 예측불가능한 환경에서는 진정한 전문성이 발달할 수 없음에도 불구하고, 몇몇 사람들은 가끔 우연에 의해 성공적인 판단을 내리기도 한다. 이러한 “운좋은” 개인들은 착각에 빠져 스스로 과신하게 됨. 금융 업계에 이러한 사례가 많음.
• 과신을 범하는 또다른 범주는 한 분야의 전문가가 다른 비전문 분야에 대한 판단을 내리는 경우. 예: 회사가 상업적으로 성공할지 여부를 잘 판단할 수 있는 전문가라 하더라도 그 회사의 주가가 저평가되었는지 여부를 잘 판단하리라 볼 수는 없음. 전문성이 어디까지 적용될 수 있는지 전문가 자신도, 이를 지켜보는 사람도 판단하기가 쉽지 않음.
• 유효성이 낮은 환경에 존재하는 약한 수준의 정규성을 활용하는 알고리즘을 개발하면 간혹 인간보다 나은 판단을 내릴 수 있음(HB). 하지만 그러한 알고리즘으로 인간의 판단을 대체하고자 하면 상당한 저항이 있을 수 있으며 원치 않는 부작용side effects이 있을 수 있음(NDM).