신호와 소음: 예측에 대한 근본적인 의문들

"신호와 소음"은 "슈퍼 예측"에서도 언급되었고 또한 미국 선거 예측으로 유명한 네이트 실버의 책이다. 책이 크게 4개의 섹션으로 나뉘어 있다. 첫 번째 섹션인 '예측에 대한 근본적인 의문들'에서는 여러 사례들을 통해서 예측에 관해 이야기를 한다.

 

1장 '경제: 경제 붕괴, 왜 전문가들은 예상하지 못하는가'에서는 리먼 브라더스를 시작으로 한 경제 붕괴에 대한 이야기이다. 많은 이들이 이 사건을 블랙 스완이라고 한다. 하지만, 이 사건을 배경으로 하는 영화 '빅 쇼트'에서도 나오지만, 여러 조짐이 시장에서 보였다. 책에서도 주택가격 폭락은 블랙 스완이 아니고, 모두 알고 있지만, 이야기 하지 않고 큰 문제를 가리키는 '방 안에 들어와 있는 거대한 코끼리'였다고 이야기 한다.

 

특히 이 장에서는 위험과 불확실성에 대해서 구분하여 설명한다. 위험은 가격을 설정할 수 있다. 측정할 수 있는 위험의 예에는 포커에서 하나가 틀린 스트레이트가 완성될 확률은 정확히 1/11이라고 한다. 반면에 불확실성은 측정하기 어려운 위험이다. 불확실성에 대한 예측은 100배 빗나갈 수도 있고, 1000배 빗나갈 수도 있다. 저자는 위험은 자유시장 경제의 바퀴에 윤활유를 칠하지만, 불확실성은 바퀴를 갉아 멈춰 서게 한다고 이야기 한다.

 

특히, 시장 경제에서 탐욕과 공포는 변덕스럽다고 이야기 한다. 이 둘은 시장의 균형을 만들지만, 또 둘 사이의 균형은 언제든 흔들릴 수 있다고 이야기 한다. 탐욕 과잉은 거품 그리고, 공포 과잉은 공황을 만들어낸다고 설명한다.

 

빅 쇼트 영화에도 나왔지만, 역사적으로 일어나지 않았다고 그것이 일어나지 않을 것이라 믿는 것은 문제가 있다. 부동산은 안전하다고 믿는 것은 문제가 있다는 것이다. 또한, 여유 마진이 없는 경우 조금만 잘못되어도 겉잡을 수 없다는 것이다. 또한 빅 쇼트 영화에서 계속 나오는 것이 자산의 평가가 구조적인 문제로 계속해서 잘못되고 있었다는 것이다. 즉, 표본 외 상황이 발생하고 그에 대한 대비가 되어 있지 않은 상태에서 위기가 왔던 것이라 볼 수 있다.

 

2장에서는 네이트 실버가 유명해진 선거 결과를 예측 하는 것에 대한 이야기를 한다. 여기서는 "슈퍼 예측"의 테틀록의 그 이전 연구인 '전문가의 정치적 판단(Expert Political Judgement EPJ)'를 언급한다. 특별히 여기서 인용한 부분은 전문가들의 경우 하나같이 동전을 던져 판단을 내릴 때보다 낫지 못했다라는 매우 공격적인 비판이다. 그러면서, 예측을 하는 사람들을 고슴도치와 여우 두 부류로 나눠서 설명한다. 그러면서, 여우는 경험에서 예측을 업데이트 하면서 정확도가 높아진다. 반면, 고슴도치는 자기 편견의 강화 가능성이 더 높아져서 정확도가 더 나빠진다고 설명한다. 즉, 우리는 분석 작업에서 어느 한쪽을 응원하는 마음은 접어두고, 여우의 접근 방법으로 우리가 다루는 사실 그 자체에 접근할 필요가 있다고 주장한다.

 

예측하는데 도움이 될 수 있는 여우의 원칙은 다음과 같다고 설명한다.

1. '확률적으로 생각하라'라는 것이다. 즉, 결과가 일어날 가능성을 범위로 제시하는 것이다. 이 것은 실제 현실에서의 불확실성을 가장 정직하게 표현하는 것이라 볼 수 있다.

2. 날마다 새로운 예측을 하라는 것이다. 상황은 계속해서 달라질 수 있다. 그리고, 옛날의 예측이 잘못된 것이 분명하다면 어제의 예측이 매달릴 이유는 없기 때문이기도 하다.

3. 집단지성을 활용하라는 것이다. 책에서는 집단 예측이 개인 예측보다 10~25% 정확하다고 언급한다.

 

저자는 예측 작업을 할때 양적인 접근을 좀더 선호한다. 그러면서, 객관적이라는 것이 계량적(Quantitive)와 동의어로 사용한다고 이야기 한다. 또한, 객관적이라는 것을 개인적 편향과 편견 너머에 있는 진리를 바라본다는 뜻이라고 이야기 하고 있다. 이렇게 하기 위해서 계량적으로 측정하는 것도 편견을 배재하는데 도움이 될 수 있다고 생각한다.

 

'예측에 대한 근본적인 의문들' 섹션의 마지막 3장에서는 "야구: 야구경기는 왜 모든 '예측'의 모델이 되는가'이다. 제목에서도 알 수 있듯이, 야구에서의 예측에 관한 것이고 이것은 영화 '머니볼'로도 알려진 머니볼에 대해서 이야기 하고, 최근에 한국에서도 유명했던 드라마 '스토브 리그'도 생각하게 하는 챕터였다.

 

저자는 좋은 야구 예측 시스템은 다음 세가지 기본 사항을 갖추어야 한다고 이야기 하면서, 아래와 같이 설명한다.

1. 각 선수의 통계 자료가 갖는 맥락의 의미 설명하기

2. 실력과 운을 분리하기

3. 노화곡선(선수가 나이와 성적의 관계) 이해하기

 

우선 야구 선수에 대한 예측을 이야기 한다. 즉, 한 선수가 언제까지 좋은 성적을 내며 뛸 수 있을까가 중요한 질문일 수 있다. 사실 야구 선수의 실력은 고정된 게 아니라 끊임없이 변한다. 바로 여기 예측가의 도전과제가 있다고 저자는 이야기 한다. 이론적인 노화곡선은 '평균적으로 볼때만'매끄러운 곡선 모양이다. 선수는 신인에서 시작하여 스물 일곱살에 절정기를 맞고 떨어지기 시작한다. 그러나 실재로 선수 개개인의 측면에서 보면 노화는 선수마다 다른 속도로 진행된다. 또한, 지독할 정도로 소음이 많다.

 

머니볼적이 측면에서 이 예측을 활용해야 하는 사람들이 스카우터일 것이다. 하지만, 머니볼이 처음에는 성공했을지 모르지만 통계학자들이 계속적으로 성공을 한 것이 아니다. 스카우터들도 혼합 방식의 접근법을 사용하는 것이다. 즉, 보이지 않는 요소들도 고려하는 것이다.

 

책에서는 정신적 도구 상자(mental toolbox)라고 소개하는 어떤 선수가 메이저리그에서 성공할 것으로 예측하는데 도움이 된다고 그가 믿는 지적/심리적 능력 다섯 가지를 소개한다.

(1) 준비성과 노동 윤리 : 날마다 프로답게 프로 수준의 기량을 펼쳐야 한다. 일정한 량의 훈련을 반드시 해야한다.

(2) 집중과 초점 : 선수가 경기중에 취하는 태도와 관련이 있다.

(3) 경쟁심과 자신감 : 실패의 두려움을 극복할 정도로 더 높은 성공을 거두고야 말겠다는 바람과 각오가 있는가

(4) 스트레스 관리와 겸손 :

(5) 적응력과 학습 능력 : 새로운 정보를 얼마나 성공적으로 처리하는가? 조언에 귀를 기울이는가? 변화에 어떻게 대응하는가?

 

책에서는 머니볼이 죽었다고 이야기 한다. 죽었다고 이야기 하기에는 과장된 느낌이 있다. 이미 모든 사람들이 그것을 채용하고 있기 때문이다. 만일 그것을 채용하지 않았다면 다 뒷쳐졌을 것이다. 어찌 보면 머니볼만 보던 사람들은 다른 사람들이 하고 있는 유용한 것을 놓치기 때문에 도리어 뒷쳐질 수도 있다. 그렇다면 진정한 머니볼은 죽었을지 모른다. 좋은 발상을 했다더라도 금방 다른 사람들이 달려 들어 그걸 베끼고 그들 자신을 제쳐 버리기 때문이다.

 

최근에 보고 있는 미드 Foundation의 대사가 생각이 난다. “You can't save yourselves, but you can save your legacy.”

참고 문헌

[1] 네이트 실버 저/이경식 역, '신호와 소음 미래는 어떻게 당신 손에 잡히는가,' 2014년 07월 11일