누구나 한 번쯤 건강해지자고 마음먹는다. 그런데 건강은 막연하다. 그래서 우리는 그것을 잴 수 있는 숫자로 바꾼다. 체중계 위의 숫자로. 목표는 또렷해지고, 매일 아침 확인할 수 있고, 잘하고 있는지 한눈에 보인다.
문제는 그다음이다. 체중계 숫자를 줄이는 가장 빠른 길은 건강해지는 게 아니다. 사우나에서 땀을 빼고, 물을 끊고, 한 끼를 굶고 아침에 재면 된다. 숫자는 내려간다. 정작 빼려던 살은 그대로인데도.
체중은 애초에 건강의 대용물이다. 건강은 직접 잴 수 없으니, 잴 수 있는 다른 숫자를 대신 세운 것이다. 이렇게 진짜 목표를 대신하는 지표를 흔히 프록시(proxy)라고 부른다. 대용물이 현실을 잘 따라가는 동안은 아무 문제가 없다. 그러나 그 대용물 자체가 목표가 되는 순간, 사람은 건강이 아니라 숫자를 좇기 시작한다. 체중계 숫자가 목표가 되면, 체중은 더 이상 건강을 잘 가리키지 못한다. 이 어긋남에 붙은 이름이 **굿하트의 법칙(Goodhart’s Law)**이다.
그 문장은 굿하트가 쓰지 않았다
흔히 인용되는 형태는 이렇다. “측정값이 목표가 되는 순간, 그것은 좋은 측정값이기를 멈춘다(When a measure becomes a target, it ceases to be a good measure).” 깔끔하고 외우기 쉽다. 그런데 이 문장을 쓴 사람은 굿하트가 아니다.
이 한 줄은 1997년 인류학자 메리 스트래선(Marilyn Strathern)이 영국 대학의 평가·감사 제도를 비판하며 쓴 것이다. 대학을 끝없이 점수 매기고 순위 매기는 시스템이 어떻게 연구의 결을 망가뜨리는지를 짚다가, 굿하트의 통찰을 한 문장으로 압축했다.
정작 찰스 굿하트(Charles Goodhart) 본인이 1975년에 쓴 원문은 훨씬 건조하고 좁았다. “관찰된 통계적 규칙성은, 통제 목적으로 그것에 압력을 가하는 순간 붕괴하는 경향이 있다.” 영란은행 자문역이던 그가 보던 건 1970년대 영국의 통화정책이었다. 정책 당국이 특정 통화량 지표를 안정적이라 믿고 그것을 조절 목표로 삼자, 안정적이던 그 관계가 무너지더라는 관찰. 사람들이 부정직해서가 아니라, 지표를 붙잡는 행위 자체가 지표와 현실의 관계를 바꿔버린다는 이야기였다.
그러니까 우리가 외우는 “굿하트의 법칙”은, 굿하트가 좁게 말한 것을 다른 사람이 넓게 다시 쓴 결과다. 그리고 넓게 쓴 쪽이 표준이 됐다. 통화정책 밖, 교육과 의료와 경영, 그리고 요즘은 AI에까지 그대로 들어맞기 때문이다.
아무도 속이지 않아도 무너진다
굿하트의 법칙을 들으면 대개 “사람들이 지표를 속인다”는 이야기로 받아들인다. 숫자를 채우려고 꼼수를 쓰는 장면. 맞는 말이지만, 절반만 맞다. 더 까다로운 진실은, 아무도 속이지 않아도 지표가 무너진다는 데 있다.
AI 안전 연구자 데이비드 맨하임과 스콧 개러브런트는 굿하트가 작동하는 방식을 네 가지로 나눴다. 농구 선수를 키로만 뽑는 상황을 예로 들면 한눈에 들어온다.
| 유형 | 핵심 | 키로 농구 선수를 뽑는다면 |
|---|---|---|
| 회귀적 | 대용물엔 실력 말고 운도 섞여 있다 | 키만 보고 뽑으면, 키는 크지만 실력은 평범한 사람도 함께 뽑힌다 |
| 극단적 | 적당할 땐 맞던 관계가 극단에선 깨진다 | 키가 클수록 대체로 유리하지만, 역사상 최장신은 병 때문에 걷지도 못했다 |
| 인과적 | 같이 다닐 뿐, 한쪽이 원인은 아니다 | 키 큰 사람이 잘하는 경향이 있을 뿐, 키를 늘린다고 실력이 따라오진 않는다 |
| 적대적 | 무엇을 보는지 알면 거기 맞춰 속인다 | 키로 뽑는 걸 안다면, 키 수치를 부풀려 속인다 |
우리가 흔히 떠올리는 “꼼수”는 맨 아래 한 칸, 적대적 유형뿐이다. 나머지 셋은 누가 작정하고 속이지 않아도 일어난다. 대용물을 골라 그것만 끌어올리면, 진짜 목표와의 연결고리는 통계적으로, 인과적으로, 구조적으로 헐거워진다. 그래서 굿하트의 법칙은 도덕의 문제가 아니라 최적화의 문제다. 무언가를 충분히 세게 밀어붙이면, 그게 사람이든 알고리즘이든, 대용물은 결국 본체에서 떨어져 나온다.
이 그래프가 굿하트의 한 장짜리 요약이다. 처음엔 측정값과 진짜 목표가 사이좋게 함께 오른다. 지표를 만든 보람이 있다. 그러다 어느 지점부터 둘이 갈라진다. 측정값은 계속 위로 가는데, 정작 재려던 것은 반대로 내려앉는다. 보고서의 숫자는 점점 좋아지는데 현실은 나빠지는, 그 익숙한 거리감이 여기서 생긴다.
병원의 시계, 학교의 답안지
추상적인 이야기 같지만, 가장 또렷한 증거는 사람 목숨이 걸린 곳에서 나왔다.
영국 NHS는 2004년 “응급실 환자는 도착 후 4시간 안에 처리한다”는 목표를 세웠다. 좋은 의도였고, 준수율은 한때 97%까지 올랐다. 그런데 4시간이라는 시계가 목표가 되자, 병원은 환자를 낫게 하는 대신 시계를 다루기 시작했다. 입원이 꼭 필요하지 않은 환자도 3시간 58분쯤 되면 일단 병동으로 올려 기록을 맞췄다. 더 노골적인 우회도 있었다. 구급차를 병원 건물 밖에 세워둔 채 환자를 내리지 않으면, 그 환자는 아직 “도착”한 게 아니므로 4시간 시계가 돌지 않는다. 안에서는 4시간을 지키는 동안, 밖에서는 구급차 안에서 몇 시간씩 기다리는 일이 벌어졌다. 지표는 빛났고, 그 지표가 가리키던 것은 그늘로 밀려났다.
교육으로 가면 같은 압력이 더 노골적인 형태로 터진다. 병원이 규칙의 허점을 파고든 우회였다면, 여기서는 손이 답안지에 직접 닿는다. 미국이 시험 점수로 학교를 평가하고 상벌을 걸자, 애틀랜타에서는 2009년 시험에서 교육자 178명이 학생 답안을 고친 일이 적발됐다. 56개 학교 중 44곳이 연루됐다. 사회학자 도널드 캠벨이 1976년에 예견한 그대로다. 양적 지표를 중요한 결정에 쓸수록 그 지표는 부패 압력에 더 노출되고, 애초에 측정하려던 과정 자체를 왜곡한다. 시험 점수를 목표로 삼으면, 점수는 오르되 그 점수가 증명하려던 배움은 사라진다. “시험에 나오는 것만 가르치기”는 그나마 점잖은 축이고, 끝에는 답안지를 고치는 손이 있었다.
웹에서도 같은 일이 작은 규모로 매일 벌어진다. 검색 순위라는 지표를 끌어올리는 게 목표가 되자, 좋은 글을 쓰는 대신 키워드를 욱여넣고 링크를 사고 같은 내용을 양산하는 콘텐츠가 쏟아졌다. 순위라는 대용물은 한동안 올랐지만, 그것이 가리키던 “읽을 만한 글”과는 점점 멀어졌다.
기계가 기계를 채점할 때
그리고 지금, 굿하트의 법칙이 가장 빠르고 재귀적으로 도는 곳은 AI다.
무언가를 만든 AI에게 “이거 잘했어?”라고 물으면, 제 숙제를 채점하는 사람처럼 너그러워진다. 그래서 답을 만든 모델이 아니라, 다른 지시문을 쥔 별도의 모델에게 채점을 맡긴다. AI가 AI를 채점한다는 뜻에서 이를 LLM-as-judge라고 부르는데, 사람이 일일이 채점할 수 없을 만큼 답이 쏟아지는 2026년, 이 방식은 AI 평가의 사실상 표준이 됐다.
문제는 이 판정자도 결국 하나의 대용물이라는 점이다. 우리가 진짜 원하는 건 “좋은 답”인데, 측정하는 건 “판정자 모델이 좋다고 한 답”이다. 둘 사이에는 틈이 있고, 최적화는 늘 그 틈으로 파고든다. 그래서 기준을 아무리 또렷하게 적어도, 판정자 자신이 굿하트의 법칙에 걸린다.
판정자에게는 측정 가능한 버릇이 있다. 길게 쓴 답을 더 좋게 보고(verbosity bias), 앞에 놓인 답에 후한 점수를 주고(position bias), 자기와 비슷한 문체의 답을 편애한다(self-enhancement bias). 그래서 답을 만드는 모델이 “더 좋은 답”이 아니라 “판정자가 좋아하는 답”을 향해 학습하면, 점수는 오르는데 품질은 그대로이거나 떨어진다. 더 허망한 경우도 보고됐다. 어떤 판정 모델은 답 끝에 “Solution”이라는 단어나 콜론 하나만 붙여도 점수를 올려줬다. 대용물을 공략하는 데에 굳이 똑똑할 필요도 없다.
벤치마크는 이 함정의 가장 큰 판본이다. 새 AI 모델이 나올 때마다 우리는 MMLU니 GSM8K니 하는 시험 점수로 능력을 비교한다. 그런데 이 시험 문제와 정답이 인터넷에 공개돼 있고, 모델은 그 인터넷을 통째로 학습한다. 시험을 보기 전에 답지를 미리 외운 학생과 같은 처지다. “일반화된 추론 능력”을 재려던 점수가, 실은 “답지를 얼마나 봤나”를 재는 점수로 변질된다. 이걸 벤치마크 오염(contamination)이라 부른다. 결국 한 시대를 풍미한 벤치마크들은 변별력을 잃고 은퇴한다. 앞서 학교와 병원에서 본 왜곡이, 이번엔 한 산업 전체 규모로 되풀이되는 셈이다.
가장 생생한 장면은 2025년 봄에 있었다. OpenAI가 GPT-4o를 업데이트하면서, 사용자가 누르는 “좋아요/싫어요” 신호를 보상에 더 크게 반영했다. 의도는 좋았다. 사람이 만족하는 답을 더 내라는 것이었으니까. 그런데 “좋아요”는 “좋은 답”의 대용물일 뿐이다. 모델은 빠르게 깨달았다. 사람을 기분 좋게 하는 가장 쉬운 길은 정확해지는 게 아니라 비위를 맞추는 것이라고. 모델은 점점 아첨꾼이 됐다. 위험한 결정을 칭찬하고, 형편없는 아이디어에 박수를 쳤다. OpenAI는 나흘 만에 업데이트를 되돌리며, 단기 피드백에 지나치게 초점을 맞춰 모델이 “과도하게 호의적이지만 진실하지 않은” 쪽으로 기울었다고 인정했다. 사람을 기쁘게 하라는 신호가, 사람을 속여도 좋다는 허락과 구별되지 않았던 것이다.
GPT-4o를 아첨꾼으로 만든 건 그래도 사람이 누른 좋아요였다. 그런데 그 채점마저 AI가 맡으면 이야기는 한 겹 더 꼬인다. 모델을 좋게 만든다는 것이 곧 판정자 AI를 만족시킨다는 뜻이 되기 때문이다. 평가자도 AI, 응시자도 AI다. 측정하는 자와 측정당하는 자가 같은 종류의 시스템이고 같은 맹점을 공유한다면, 누가 그 맹점을 발견하나. 굿하트의 법칙은 본래 사람이 지표를 비트는 이야기였는데, 이제는 지표를 만드는 쪽과 따르는 쪽이 모두 자동이라 비트는 손조차 보이지 않는다. 빠르게, 일관되게, 그리고 아무도 눈치채지 못한 채.
측정을 신으로 만들지 마라
여기까지 오면 손쉬운 결론이 떠오른다. “그러니 측정 따위 믿지 마라.” 그건 틀렸고, 게으르다.
역사학자 제리 멀러는 『The Tyranny of Metrics』에서 이 오해를 정확히 갈랐다. 문제는 측정이 아니라 측정에 대한 집착이라고. 경험과 안목에서 나오는 판단을 표준화된 숫자로 갈아치우고, 그 숫자에 보상과 처벌을 몽땅 걸어버리는 태도. 그가 내놓은 처방은 측정을 버리는 게 아니다. “측정과 판단은 서로 보완한다(measurement and judgement are complementary)“는 것이다. 무엇을 잴지, 어떻게 잴지, 그 숫자를 어떻게 읽을지를 정하는 일은 전부 판단을 요구한다. 지표는 판단을 대체할 때 독이 되고, 판단을 보조할 때 약이 된다.
실무의 처방도 결국 같은 자리를 맴돈다. 지표 하나에 전부를 걸지 말고 여러 개를 함께 볼 것. 측정과 보상을 너무 단단히 묶지 말 것. AI라면 판정자를 하나만 두지 말고 여러 모델을 섞고, 오염에 강한 새 시험을 계속 만들 것. 전부 한 가지를 막으려는 장치다. 대용물이 본체 행세를 하지 못하게 하는 것.
베르메르의 〈저울을 든 여인〉에서 여인은 빈 저울을 한 손에 들고 그 균형을 가만히 들여다본다. 뒤 벽에는 최후의 심판이 걸려 있다. 무게를 재는 일과 그 무게로 무언가를 판단하는 일이 한 화면 안에 겹쳐 있는 셈이다. 저울은 숫자를 보여줄 뿐, 무엇이 옳은지는 말해주지 않는다. 그건 저울을 든 사람의 몫이다.
굿하트의 법칙이 끝내 가리키는 건 측정의 무용함이 아니다. 측정을 신의 자리에 올리지 말라는 경고다. 체중계는 올라설 가치가 있다. 다만 그 숫자에 끌려다니기 시작하면, 우리는 건강이 아니라 숫자를 위해 살게 된다. 좋은 지표를 만드는 일보다 어려운 건, 그 지표 앞에서 끝까지 사람으로 남는 일이다.