Split View: 잘 결정하는 법 — 좋은 결정과 좋은 결과는 다릅니다

잘 결정하는 법 — 좋은 결정과 좋은 결과는 다릅니다

들어가며 — 1야드를 남기고 던진 패스

2015년 슈퍼볼 마지막 순간, 시애틀 시호크스는 상대 1야드 라인에서 26초를 남겨 두고 있었습니다. 감독 피트 캐럴은 러닝백에게 공을 주는 대신 패스를 지시했고, 그 공은 인터셉트됐습니다. 다음 날 아침 미국 언론은 그 선택을 슈퍼볼 역사상 최악의 콜이라고 불렀습니다.

인지심리학 박사과정을 중단하고 프로 포커 선수가 됐던 애니 듀크(Annie Duke)는 이 장면에서 다른 질문을 던집니다. 만약 그 패스가 터치다운으로 연결됐다면, 같은 신문이 같은 선택을 뭐라고 불렀을까요. 듀크가 인용한 집계로는 그 상황에서 패스가 인터셉트될 확률은 2% 남짓이었습니다. 캐럴은 98% 쪽에 걸었고, 2%가 나왔습니다. 결정은 그대로인데 평가만 뒤집힌 것입니다.

마인드셋 시리즈의 이번 편은 결정에 관한 이야기입니다. 다만 무엇을 선택해야 하는지에 대한 조언은 없습니다. 그건 각자의 상황에 달린 문제니까요. 대신 선택을 만들어 내는 절차를 다룹니다. 절차는 반복되고, 반복되는 것만 개선할 수 있기 때문입니다.

리절팅 — 결과로 결정을 채점하는 습관

듀크는 2004년 월드시리즈 오브 포커에서 우승 팔찌를 땄고, 같은 해 챔피언들만 모인 토너먼트에서도 우승했습니다. 20년 가까이 테이블에 앉아 배운 것 하나가 이것이라고 말합니다. 좋은 결정이 돈을 잃고 나쁜 결정이 돈을 따는 밤은 얼마든지 있다는 것.

그래서 듀크는 결과의 질로 결정의 질을 판단하는 습관에 리절팅(resulting)이라는 이름을 붙였습니다. 체스에는 운이 없습니다. 말은 전부 판 위에 보이고, 진 쪽은 자기가 어디서 틀렸는지 원리적으로 찾아낼 수 있습니다. 포커는 다릅니다. 상대의 카드는 보이지 않고 마지막 한 장은 무작위로 뒤집힙니다. 게임이론을 만든 존 폰 노이만이 현실을 체스가 아니라 포커에 비유한 이유가 여기 있습니다. 우리가 내리는 거의 모든 결정은 정보가 가려져 있고 운이 섞인 판 위에서 이루어집니다.

여기에 사후 편향이 얹힙니다. 바루크 피시호프(Baruch Fischhoff)가 1975년에 보인 대로, 사람은 결과를 알고 난 뒤 자신이 원래 그럴 줄 알았다고 기억을 고쳐 씁니다. 결과를 모르던 시점의 자기 예측을 스스로 복원하지 못하는 것입니다. 회고가 학습이 아니라 자책이나 정당화로 끝나는 이유입니다.

리절팅의 진짜 비용은 학습이 멈춘다는 데 있습니다. 운 좋게 성공한 결정에서는 운을 실력으로 착각해 나쁜 절차를 강화하고, 운 나쁘게 실패한 결정에서는 멀쩡한 절차까지 통째로 폐기합니다. 그래서 첫 번째 질문은 늘 같아야 합니다. 결과가 나빴는가, 아니면 결정이 나빴는가. 둘은 자주 겹치지만 같은 말이 아닙니다.

일방통행 문과 양방향 문

두 번째로 필요한 것은 분류입니다. 제프 베이조스는 2015년 주주서한에서 결정을 두 종류로 나눴습니다. 되돌릴 수 없는 일방통행 문과, 마음에 들지 않으면 다시 걸어 나올 수 있는 양방향 문입니다. 그리고 조직이 커질수록 양방향 문에까지 일방통행 문의 절차를 적용하게 되고, 그 결과가 느림과 혁신 중단이라고 지적했습니다.

이 분류가 유용한 이유는 정답을 알려 주기 때문이 아니라 어느 결정에 얼마나 시간을 쓸지를 정해 주기 때문입니다. 이어진 2016년 서한에서 베이조스는 원하는 정보의 70% 정도가 모이면 결정하라고 덧붙였습니다. 90%를 기다리면 대개 늦고, 되돌릴 수 있는 결정이라면 빨리 틀리고 빨리 고치는 편이 총비용이 낮기 때문입니다.

구분	양방향 문	일방통행 문
되돌리기	며칠에서 몇 주면 원상 복구	사실상 불가능하거나 비용이 매우 큼
예시	새 도구 도입, 가격 실험, 회의 형식 변경, 이사	회사 매각, 공개 발표, 이민, 인간관계를 끊는 일
적정 정보량	원하는 정보의 70% 수준	모을 수 있는 만큼, 반대 의견까지
속도	빠르게, 소수가	느리게, 여러 관점을 거쳐
흔한 실패	과도한 검토로 기회를 놓침	속도에 취해 문을 통과해 버림

실무에서 이 표의 가치는 상단이 아니라 하단에 있습니다. 우리가 실제로 괴로워하는 결정의 대부분은 양방향 문인데, 일방통행 문처럼 다루고 있기 때문에 괴로운 것입니다. 새 프레임워크를 써 볼지, 이 스터디에 참여할지, 저 사람에게 먼저 연락할지. 되돌리는 비용을 구체적으로 계산해 보면 대개 몇 시간에서 몇 주 사이입니다. 그렇다면 고민에 두 달을 쓰는 것 자체가 손해입니다.

미루는 것도 결정입니다

세 번째는 가장 자주 놓치는 지점입니다. 결정을 보류하는 것은 중립이 아닙니다. 그것은 현재 상태를 한 번 더 선택하는 일이고, 값이 붙습니다. 이직을 여섯 달 미루는 것은 아직 정하지 않은 상태가 아니라 지금 회사를 여섯 달 더 다니기로 정한 상태입니다.

경제학자 윌리엄 사무엘슨과 리처드 젝하우저는 1988년 연구에서 현상 유지 편향을 보였습니다. 똑같은 선택지라도 그것이 현재 상태로 제시되면 선택률이 뚜렷하게 올라간다는 것입니다. 여기에 일라나 리토프와 조너선 배런이 정리한 누락 편향이 겹칩니다. 사람은 행동해서 생긴 나쁜 결과를 가만히 있어서 생긴 같은 크기의 나쁜 결과보다 훨씬 무겁게 평가합니다. 그래서 후회를 피하려는 마음이 우리를 자꾸 정지 상태로 밀어 넣습니다.

바닥에는 손실 회피가 깔려 있습니다. 같은 크기의 이득보다 손실이 심리적으로 더 크게 느껴진다는 전망 이론의 발견은, 새로운 선택지의 이득보다 잃을 것을 먼저 보게 만듭니다. 보류가 안전해 보이는 것은 보류의 비용만 장부에 적히지 않기 때문입니다.

그래서 실무적인 처방은 단순합니다. 미루기로 했다면 그것도 결정으로 적습니다. 언제까지 미루는지, 무엇이 확인되면 다시 꺼내는지를 함께 적습니다. 기한 없는 보류만 금지하면, 우리가 결정을 미루면서 치르는 비용의 절반은 사라집니다.

도구 셋 — 10/10/10, 사전 부검, 기준 먼저

첫째, 10/10/10. 저널리스트 수지 웰치가 제안한 이 질문은 하나의 선택을 세 개의 시간 창에서 봅니다. 10분 뒤에 나는 어떻게 느낄까, 10개월 뒤에는, 10년 뒤에는. 눈앞의 감정이 결정의 무게를 왜곡할 때 특히 유용합니다. 대니얼 길버트와 티머시 윌슨의 정서 예측 연구가 반복해서 보여 준 것은, 우리가 사건의 정서적 충격이 얼마나 강할지는 그럭저럭 맞히지만 얼마나 오래갈지는 크게 과대평가한다는 사실입니다. 테뉴어 심사에서 탈락한 교수들은 오래도록 불행할 것이라 예상했지만 실제 회복은 훨씬 빨랐습니다. 10년 창을 열어 보는 것은 이 과대평가를 눈앞에서 교정하는 일입니다.

둘째, 사전 부검. 심리학자 게리 클라인(Gary Klein)이 제안한 방식입니다. 실행 직전에 팀을 모아 이렇게 말합니다. 1년이 지났고, 이 계획은 완전히 실패했습니다. 이제 각자 그 이유를 적어 주세요. 순서가 핵심입니다. 실패를 사실로 전제하면 반대 의견이 배신이 아니라 과제가 됩니다. 클라인이 근거로 든 것은 미첼, 러소, 페닝턴의 1989년 연구입니다. 사건이 이미 일어났다고 가정하고 설명하게 했더니 원인을 구체적으로 짚어내는 능력이 30% 높아졌습니다.

셋째, 기준을 먼저 정하고 선택지를 봅니다. 순서를 뒤집으면 대개 이런 일이 벌어집니다. 마음에 드는 선택지가 먼저 생기고, 그 뒤로 들어오는 정보가 그 선택지에 유리하게 해석됩니다. 제이 에드워드 러소 연구팀은 이 현상을 사전 왜곡이라 부르며, 선호가 정해진 순간부터 새 증거가 체계적으로 기울어 읽힌다는 것을 실험으로 보였습니다. 채용에서 구조화 면접이 자유 면접보다 나은 이유도 같습니다. 무엇을 볼지 미리 정해 두기 때문입니다. 다만 여기엔 정직한 단서가 필요합니다. 오래 인용되던 구조화 면접의 예측력 수치는 2022년 재분석에서 상당히 낮아졌습니다. 순서는 유지됐지만 크기는 줄었습니다.

세 도구는 모두 같은 일을 합니다. 결정의 순간에 즉흥적으로 하던 판단을 미리 만들어 둔 절차로 옮기는 것. 시스템 편에서 다룬 실행 의도와 구조가 같습니다.

정보를 더 모아도 나아지지 않는 지점

허버트 사이먼은 1950년대에 인간이 최선을 계산하는 존재가 아니라 충분히 좋은 것에서 멈추는 존재라고 보고, 그 전략에 만족화라는 이름을 붙였습니다. 기준을 먼저 정하고 그 기준을 넘는 첫 선택지에서 멈추는 방식입니다. 반대편은 극대화입니다. 모든 선택지를 확인하기 전에는 멈출 수 없는 방식이지요.

극대화가 늘 손해라는 뜻은 아닙니다. 시나 아이엔가 연구팀이 졸업을 앞둔 학생들을 추적한 2006년 연구에서, 극대화 성향이 강한 학생들은 평균 20% 높은 초봉을 받았습니다. 그런데 자기 직장에 대한 만족도는 더 낮았습니다. 더 좋은 결과를 얻고 더 적게 만족한 것입니다. 확인하지 못한 선택지가 계속 남아 있기 때문입니다.

여기서 흔히 인용되는 배리 슈워츠의 선택의 역설은 조심해서 다뤄야 합니다. 아이엔가와 레퍼의 잼 실험은 24종을 진열했을 때보다 6종을 진열했을 때 구매율이 훨씬 높았다는 결과로 유명하지만, 이후 재현이 잘 되지 않았습니다. 셰이베헨네 연구팀이 50개 실험을 종합한 2010년 메타분석에서 선택지 과부하의 평균 효과는 사실상 0에 가까웠습니다. 선택지가 많으면 무조건 나빠진다는 명제는 근거가 약하고, 남는 것은 더 조심스러운 결론입니다. 멈출 기준이 없을 때 선택지의 수가 사람을 지치게 만든다는 것.

그러니 실무적인 규칙은 이렇습니다. 탐색을 시작하기 전에 멈출 조건을 적어 둡니다. 후보 다섯 개까지만 본다, 목요일 저녁까지만 알아본다, 이 세 조건을 넘으면 그 자리에서 정한다. 앞에서 본 베이조스의 70% 기준도 같은 장치입니다.

마지막으로 계기판을 하나 더 봅니다. 몸입니다. 판단은 두뇌의 상태에 얹혀 있고, 그 상태는 생각보다 크게 흔들립니다. 반 동언 연구팀의 실험에서 2주간 하루 6시간만 잔 사람들의 인지 수행은 계속 떨어졌는데, 정작 본인들이 느끼는 졸림은 거의 늘지 않았습니다. 수면 부채 편에서 자세히 다룬 이 어긋남이 위험한 이유는 명확합니다. 자기가 흐려졌다는 사실 자체를 감지하지 못하니까요.

이른바 결정 피로에 대해서는 유보가 필요합니다. 이스라엘 가석방 심사에서 승인율이 세션 초반 65% 수준에서 후반에 거의 0까지 떨어졌다는 2011년 연구는 유명하지만, 사건 배치가 무작위가 아니었을 가능성이 곧바로 제기됐고 지금도 논쟁 중입니다. 효과의 크기는 불확실하지만 방향은 상식과 어긋나지 않습니다. 되돌릴 수 없는 결정을 자정과 공복과 격한 대화 직후에 내리지 않는 것, 그 정도면 충분합니다.

결정 일지 — 나중에 채점할 수 있게 남겨 두기

앞의 도구들이 결정의 품질을 높이는 것이라면, 마지막 하나는 그 품질을 측정 가능하게 만듭니다. 필립 테틀록이 20년에 걸쳐 전문가 수백 명의 예측 수만 건을 채점한 연구가 보여 준 것은, 예측을 기록하지 않는 한 전문성은 자기 실력을 알 수 없다는 사실이었습니다. 반대로 이후 굿 저지먼트 프로젝트에서는 예측을 확률로 적고 결과로 채점하는 훈련만으로 정확도가 눈에 띄게 올라갔습니다.

결정 일지는 이 원리를 개인 크기로 줄인 것입니다. 결정을 내린 날, 다음 다섯 줄을 적습니다.

무엇을 정했는가 — 한 문장으로.
왜 그렇게 정했는가 — 근거 두세 개.
무엇을 기대하는가 — 가능하면 시점과 숫자로. 3개월 안에 이 지표가 이만큼.
확신은 몇 퍼센트인가 — 70%인지 95%인지 적어 둡니다.
무엇이 틀렸다면 이 결정이 틀린 것인가 — 사전 부검에서 나온 실패 시나리오 한 줄.

핵심은 5번과 4번입니다. 반증 조건이 적혀 있으면 나중에 자기 합리화가 어렵고, 확신도가 적혀 있으면 잘 맞힌 것과 운 좋게 맞힌 것을 구분할 수 있습니다. 그리고 3개월 뒤 다시 펼쳐 볼 때, 우리가 채점하는 대상은 결과가 아니라 그때 사용할 수 있었던 정보에 비춘 판단입니다. 결정 일지는 사후 편향에 오염되지 않은 원본을 남기는 유일한 방법입니다.

이번 주에 할 수 있는 것은 이 정도입니다. 지금 붙들고 있는 고민 하나를 골라 양방향 문인지 일방통행 문인지 적습니다. 양방향 문이면 이번 주 안에 기한을 정하고 실행합니다. 일방통행 문이면 사전 부검 한 장을 쓰고, 결정 일지 다섯 줄을 남긴 뒤 하룻밤 자고 다시 봅니다.

마치며 — 확률을 다루는 사람의 태도

잘 결정하는 사람은 자주 맞히는 사람이 아닙니다. 자기가 어떤 확률에 걸고 있는지 알고, 그 사실을 결과가 나온 뒤에도 잊지 않는 사람입니다.

이 태도는 마음도 조금 편하게 만듭니다. 우리는 결과를 통제할 수 없습니다. 통제할 수 있는 것은 결정 시점의 절차뿐입니다. 그렇다면 잘못된 결과가 나왔을 때 물어야 할 것은 내가 왜 이렇게 어리석은가가 아니라, 그때 쓸 수 있었던 정보로 다시 돌아가도 같은 선택을 할 것인가입니다. 같은 선택을 하겠다면 그 결정은 나쁘지 않았습니다. 다만 2%가 나왔을 뿐입니다.

물론 절차를 지켜도 판은 계속 흔들릴 것입니다. 그래도 여러 판을 거치는 동안, 절차를 가진 사람과 결과에 휘둘리는 사람 사이에는 되돌리기 어려운 차이가 생깁니다. 캐럴의 패스를 다시 떠올려 볼 만한 이유도 그것입니다. 그날의 결과는 하나였지만, 그 결정이 나온 절차는 시즌 내내 반복됐을 테니까요.

How to Decide Well — A Good Decision and a Good Outcome Are Not the Same Thing

Introduction — The Pass Thrown from the One-Yard Line

In the final moments of the 2015 Super Bowl, the Seattle Seahawks stood at their opponent's one-yard line with twenty-six seconds on the clock. Instead of handing the ball to his running back, head coach Pete Carroll called a pass. The ball was intercepted. The next morning the American press called it the worst play call in Super Bowl history.

Annie Duke, who left a doctoral program in cognitive psychology to become a professional poker player, asks a different question about that moment. If the same pass had gone for a touchdown, what would the same newspapers have called the same choice? By the tallies Duke cites, the chance of an interception in that situation was somewhere around 2%. Carroll bet on the 98%, and the 2% came up. The decision never changed. Only the verdict flipped.

This installment of the mindset series is about decisions. It contains no advice about what you should choose, because that depends entirely on your own situation. What it deals with instead is the procedure that produces a choice. Procedures repeat, and only what repeats can be improved.

Resulting — The Habit of Grading Decisions by Outcomes

Duke won a World Series of Poker bracelet in 2004 and, the same year, won a tournament open only to former champions. Nearly twenty years at the table taught her one thing above all: there will be plenty of nights when a good decision loses money and a bad one wins it.

So Duke gave a name to the habit of judging the quality of a decision by the quality of its result. She called it resulting. Chess has no luck in it. Every piece sits visible on the board, and the losing side can, in principle, find exactly where it went wrong. Poker is different. The opponent's cards are hidden and the last card turns over at random. That is why John von Neumann, who built game theory, took poker rather than chess as his model of real life. Nearly every decision we make happens on a board where the information is hidden and luck is mixed in.

Hindsight bias sits on top of this. As Baruch Fischhoff showed in 1975, once people learn an outcome they rewrite their own memory so that they knew it all along. They cannot reconstruct the prediction they actually held before the result came in. That is why looking back so often ends in self-blame or self-justification rather than learning.

The real cost of resulting is that learning stops. When a decision succeeds by luck, we mistake luck for skill and reinforce a bad procedure. When a decision fails by luck, we throw out a perfectly sound procedure along with it. So the first question should always be the same. Was the outcome bad, or was the decision bad? The two overlap often, but they are not the same statement.

One-Way Doors and Two-Way Doors

The second thing you need is a classification. In his 2015 shareholder letter, Jeff Bezos split decisions into two kinds: one-way doors you cannot walk back through, and two-way doors you can walk back out of if you do not like what you find. He added that as an organization grows it starts applying one-way-door process to two-way-door decisions, and that the result is slowness and the end of invention.

This classification is useful not because it hands you the right answer but because it settles how much time to spend on which decision. In the letter that followed in 2016, Bezos added that you should decide once you have gathered about 70% of the information you wish you had. Waiting for 90% usually means being late, and for a reversible decision, being wrong quickly and fixing it quickly carries the lower total cost.

Category	Two-way door	One-way door
Reversibility	Undone in days or weeks	Effectively impossible, or very costly
Examples	Adopting a new tool, a pricing experiment, changing a meeting format, moving house	Selling the company, a public announcement, emigrating, cutting off a relationship
Information needed	Around 70% of what you want	As much as you can gather, dissent included
Speed	Fast, decided by a few	Slow, run past several perspectives
Common failure	Missing the chance through excessive review	Walking through the door drunk on speed

In practice the value of this table lies in its bottom half, not its top. Most of the decisions that actually torment us are two-way doors, and they torment us precisely because we are handling them as if they were one-way doors. Whether to try the new framework, whether to join that study group, whether to reach out to that person first. Calculate the cost of reversal concretely and it usually lands somewhere between a few hours and a few weeks. In which case spending two months agonizing is itself the loss.

Postponing Is Also a Decision

The third point is the one most often missed. Holding a decision is not neutral. It is choosing the current state one more time, and it carries a price. Putting off a job change for six months is not a state of having-not-yet-decided. It is a decision to stay at the current company for six more months.

The economists William Samuelson and Richard Zeckhauser demonstrated status quo bias in a 1988 study. Present the very same option as the current state and the rate at which people pick it rises markedly. Layered on top of that is omission bias, as documented by Ilana Ritov and Jonathan Baron. People weigh a bad outcome produced by acting far more heavily than a bad outcome of the same size produced by sitting still. So the wish to avoid regret keeps pushing us toward stillness.

Underneath it all lies loss aversion. The finding of prospect theory, that a loss feels psychologically larger than a gain of the same size, makes us see what a new option might cost us before we see what it might give. Deferral looks safe only because the cost of deferral is the one item never entered in the ledger.

The practical prescription is therefore simple. If you decide to postpone, write that down as a decision too. Write down until when, and what has to become clear before you take it up again. Ban open-ended deferral alone and half the price we pay for putting decisions off disappears.

Three Tools — 10/10/10, the Premortem, Criteria First

First, 10/10/10. This question, proposed by the journalist Suzy Welch, looks at a single choice through three windows of time. How will I feel about this in ten minutes, in ten months, in ten years? It is especially useful when a present emotion is distorting the weight of a decision. What the affective forecasting research of Daniel Gilbert and Timothy Wilson showed again and again is that we are roughly accurate about how strong the emotional impact of an event will be and badly wrong about how long it will last. Professors denied tenure expected to be unhappy for a long time; their actual recovery was far quicker. Opening the ten-year window is a way of correcting that overestimate on the spot.

Second, the premortem. This is the method proposed by the psychologist Gary Klein. Just before execution you gather the team and say this: a year has passed, and this plan has failed completely. Now each of you write down why. The order is the whole point. Once failure is treated as a fact, dissent becomes an assignment rather than a betrayal. The evidence Klein cited is a 1989 study by Mitchell, Russo and Pennington. When people were asked to explain an event as though it had already happened, their ability to name concrete causes rose by 30%.

Third, set the criteria before you look at the options. Reverse that order and here is what usually happens. A favorite option appears first, and every piece of information that arrives afterward gets read in its favor. The research team of J. Edward Russo called this predecisional distortion and showed experimentally that from the moment a preference forms, new evidence is read with a systematic tilt. It is the same reason structured interviews beat unstructured ones in hiring: what to look at is settled in advance. One honest footnote belongs here, though. The long-quoted figure for the predictive power of structured interviews dropped considerably in a 2022 reanalysis. The ordering held. The size shrank.

All three tools do the same job. They move judgment that used to be improvised at the moment of decision into a procedure built ahead of time. It is structurally identical to the implementation intentions covered in the piece on systems.

The Point Where More Information Stops Helping

In the 1950s Herbert Simon argued that human beings are not creatures that compute the best option but creatures that stop at one that is good enough, and he named that strategy satisficing. You set a threshold first and stop at the first option that clears it. The opposite pole is maximizing, where you cannot stop until you have checked every option.

That does not mean maximizing always costs you. In a 2006 study in which the team of Sheena Iyengar followed students into the job market, the students with strong maximizing tendencies took starting salaries about 20% higher on average. And yet they were less satisfied with the jobs they took. Better outcomes, less contentment, because the options they never checked are still out there.

The paradox of choice from Barry Schwartz, so often invoked here, has to be handled carefully. The jam experiment by Iyengar and Lepper is famous for finding that a display of 6 varieties produced far more purchases than a display of 24, but it has replicated poorly since. In a 2010 meta-analysis pooling 50 experiments, the team of Scheibehenne found the average effect of choice overload to be essentially zero. The claim that more options are always worse rests on weak evidence, and what remains is a more careful conclusion: with no criterion for stopping, the sheer number of options is what wears a person down.

So the practical rule reads like this. Before you start searching, write down the condition under which you will stop. I will look at no more than five candidates. I will research until Thursday evening. If these three conditions are met, I decide on the spot. The 70% threshold from Bezos above is the same device.

One more gauge deserves a glance: the body. Judgment rides on the state of the brain, and that state swings more than we think. In the experiments run by the team of Van Dongen, people who slept only six hours a night for two weeks kept declining on cognitive tasks while their own sense of sleepiness barely rose at all. The reason this mismatch, covered in detail in the piece on sleep debt, is dangerous is obvious. You cannot detect the very fact that you have dulled.

So-called decision fatigue calls for a reservation. The 2011 study reporting that approval rates in Israeli parole hearings fell from around 65% early in a session to near zero by the end is famous, but the possibility that cases were not ordered at random was raised almost immediately and is still being argued. The size of the effect is uncertain, though the direction is not at odds with common sense. Do not make irreversible decisions at midnight, on an empty stomach, or right after a heated conversation. That much is enough.

The Decision Journal — Leaving Something You Can Grade Later

If the tools above raise the quality of a decision, this last one makes that quality measurable. What the twenty-year project of Philip Tetlock, scoring tens of thousands of forecasts from hundreds of experts, showed is that unless predictions are recorded, expertise cannot know its own accuracy. Conversely, in the Good Judgment Project that followed, simply training people to state forecasts as probabilities and score them against outcomes visibly improved accuracy.

The decision journal shrinks that principle to personal scale. On the day you decide, write these five lines.

What did I decide — in one sentence.
Why did I decide it that way — two or three reasons.
What do I expect — with a date and a number if possible. This metric, this much, within three months.
How confident am I — write down whether it is 70% or 95%.
What would have to be wrong for this decision to be wrong — one line of the failure scenario from your premortem.

Lines five and four are the heart of it. With a falsification condition written down, self-justification later is hard, and with a confidence level written down, you can tell being right from being lucky. And when you open it again three months later, what you are grading is not the outcome but the judgment measured against the information available at the time. A decision journal is the only way to preserve an original that hindsight bias has not contaminated.

That is about as much as you can do this week. Take one dilemma you are currently holding and write down whether it is a two-way door or a one-way door. If it is a two-way door, set a deadline within the week and act. If it is a one-way door, write a single page of premortem, leave the five lines of a decision journal, sleep on it, and look again.

Closing — The Posture of Someone Who Works in Probabilities

A person who decides well is not a person who is often right. It is a person who knows which probability they are betting on and does not forget that fact once the result is in.

This posture also makes life a little easier. We cannot control outcomes. The only thing we can control is the procedure at the moment of decision. Which means that when a result turns out badly, the question to ask is not why am I such a fool but whether, sent back to the information available at the time, you would make the same choice again. If you would, the decision was not a bad one. The 2% simply came up.

Of course the board will keep shaking, procedure or no procedure. But over many hands a difference opens between the person with a procedure and the person tossed around by results, and it is hard to reverse. That is reason enough to look at the pass Carroll called one more time. The outcome that day was a single event, but the procedure that produced the decision had been repeating all season.