수학의 아름다움 — 무한, 소수, 그리고 우주의 언어

• 들어가며 — 외계인에게 보낼 첫 인사
• 1부. 소수 — 수의 원자들
  • 더 쪼갤 수 없는 수
  • 끝이 없다는 우아한 증명
  • 소수를 걸러내는 체
  • 여전히 풀리지 않은 수수께끼
• 2부. 무한 — 셀 수 있는 무한과 셀 수 없는 무한
  • 무한에도 크기가 있을까
  • 무한 호텔이라는 사고 실험
  • 더 큰 무한
• 3부. 수학의 언어 — 기호는 어떻게 생겨났나
• 4부. 황금비와 피보나치 — 자연 속의 수
  • 토끼에서 시작된 수열
  • 아름다움의 비율?
• 5부. 기하학 — 발견과 발명 사이의 시험장
  • 평행선에서 시작된 의심
  • 다른 기하가 가능하다는 발견
• 6부. 확률 — 직관이 가장 잘 속는 곳
  • 생일이 겹칠 확률
  • 직관과 증명의 거리
• 7부. 오일러 항등식 — 가장 아름다운 한 줄
• 8부. 피타고라스 정리 — 눈으로 보는 증명
• 9부. 대칭 — 변해도 변하지 않는 것
• 10부. 증명의 아름다움 — 의심할 수 없는 진리
• 11부. 수학은 발견인가 발명인가
• 12부. 수의 확장 — 0과 음수, 그리고 무리수
• 13부. 일상 속의 수학
  • 핵심 용어 정리
• 마치며 — 우주의 언어를 배운다는 것
  • 생각할 거리
• 참고 자료

들어가며 — 외계인에게 보낼 첫 인사

만약 멀리 떨어진 별에 사는 지적인 존재에게 메시지를 보낸다면, 첫마디로 무엇을 보내야 할까요? 한국어도 영어도 그들에게는 의미가 없을 것입니다. 시도, 음악도, 그림도 해석이 갈릴 수 있습니다.

20세기에 실제로 이 질문을 진지하게 고민한 과학자들은 한 가지 답에 도달했습니다. 수학을 보내자는 것이었습니다. 2 더하기 2는 4라는 사실, 소수의 목록, 원의 둘레와 지름의 비율. 이런 것들은 지구에서나 안드로메다에서나 똑같을 것이라고 그들은 믿었습니다. 우리가 자연수를 발명한 것이 아니라 발견했다면, 우주 어디에 사는 누구든 같은 것을 발견했을 테니까요.

수학의 가장 신비로운 점이 바로 여기 있습니다. 수학은 인간의 언어 중 하나처럼 보이면서도, 어쩐지 인간보다 먼저 존재했던 것처럼 느껴집니다. 이 글에서는 수학이 품은 몇 가지 아름다움을 함께 거닐어 보려 합니다. 소수의 신비에서 시작해, 무한의 여러 크기를 지나, 가장 아름답다고 불리는 한 줄의 등식에 이르기까지. 그리고 마지막에는 오래된 물음 하나를 마주하게 될 것입니다. 수학은 발견인가, 발명인가.

본격적인 이야기에 앞서, 우리가 거닐 풍경의 지도를 한 장 펼쳐 봅니다. 수학의 아름다움은 어느 한 시대에 완성된 것이 아니라, 수천 년에 걸쳐 여러 문명이 한 조각씩 보태며 자라난 것입니다. 아래는 이 글에서 만나게 될 인물과 발상이 역사 속 어디쯤에 놓이는지를 아주 거칠게 그린 시간표입니다.

[수학의 아름다움 — 거친 시간표]

  기원전 약 300년   유클리드        소수의 무한함을 증명
  기원전 약 250년   에라토스테네스   소수를 걸러내는 체를 고안
  13세기            피보나치        토끼 문제에서 수열을 소개
  17세기            데카르트·페르마  좌표와 기하를 잇다
  18세기            오일러          가장 아름다운 등식을 남김
  19세기            가우스·리만      비유클리드 기하의 문을 열다
  19세기 말         칸토어          무한에 크기가 있음을 증명
  20세기            현대 수학       미해결 문제와 응용으로 확장

이 시간표가 보여주는 것은, 수학이 한 사람의 머리에서 단숨에 솟아난 것이 아니라 긴 대화처럼 이어져 왔다는 사실입니다. 유클리드가 던진 질문에 2천 년 뒤의 수학자가 답하고, 그 답이 다시 새로운 질문을 낳습니다. 이제 그 대화의 첫 장면, 소수의 세계로 들어가 봅니다.

1부. 소수 — 수의 원자들

더 쪼갤 수 없는 수

2, 3, 5, 7, 11, 13... 이 수들에는 공통점이 있습니다. 1과 자기 자신으로만 나누어지고, 그 외의 어떤 수로도 깔끔하게 나누어지지 않습니다. 이런 수를 소수라 부릅니다. 반대로 4는 2 곱하기 2로, 6은 2 곱하기 3으로 쪼개집니다.

소수가 특별한 이유는 모든 자연수의 재료가 되기 때문입니다. 어떤 자연수든 소수들의 곱으로 단 한 가지 방법으로 쪼갤 수 있습니다. 12는 2 곱하기 2 곱하기 3입니다. 다른 방법은 없습니다. 그래서 소수는 흔히 "수의 원자"라 불립니다. 물질을 쪼개고 쪼개면 원자에 이르듯, 수를 곱셈의 관점에서 쪼개고 쪼개면 소수에 이릅니다.

끝이 없다는 우아한 증명

소수는 무한히 많을까요, 아니면 어느 지점에서 끝날까요? 이 질문에 대한 답은 2천 년도 더 전에 나왔습니다. 고대 그리스의 수학자 유클리드가 남긴 증명은 오늘날에도 수학의 아름다움을 이야기할 때 가장 먼저 꼽히는 보석입니다.

그의 논증은 이렇게 흘러갑니다. 만약 소수가 유한하다면, 그것들을 모두 모아 늘어놓을 수 있을 것입니다. 이제 그 모든 소수를 곱한 다음 1을 더한 새로운 수를 생각해 봅니다. 이 새 수는 우리가 가진 어떤 소수로 나누어도 항상 1이 남습니다. 그렇다면 이 수는 그 자체가 소수이거나, 목록에 없던 또 다른 소수를 약수로 가져야 합니다. 어느 쪽이든 "모든 소수를 모았다"는 가정과 모순됩니다. 따라서 소수는 끝이 없습니다.

이 증명의 아름다움은 단순함에 있습니다. 칠판 한쪽에 다 적을 수 있는 짧은 논증으로, "무한"이라는 거대한 사실을 손에 쥐여 줍니다. 수학자들은 이런 종류의 논증을 "귀류법", 즉 반대를 가정해 모순을 끌어내는 방법이라 부릅니다.

[유클리드 논증의 뼈대]

  가정: 소수가 유한하다 → p1, p2, ..., pn 이 전부
  새 수 N = (p1 × p2 × ... × pn) + 1
  N을 어떤 pi로 나눠도 나머지 1
  → N은 새 소수이거나 새 소수를 약수로 가짐
  → "전부 모았다"는 가정과 모순
  결론: 소수는 무한히 많다

소수를 걸러내는 체

소수가 무한히 많다는 것은 알았지만, 그렇다면 어떤 수가 소수인지 어떻게 가려낼 수 있을까요? 가장 오래되고 직관적인 방법은 유클리드와 비슷한 시대를 살았던 에라토스테네스가 고안한 "체"입니다. 방법은 손으로 따라 해 볼 수 있을 만큼 간단합니다. 먼저 2부터 어떤 수까지를 죽 적어 놓습니다. 그다음 가장 작은 소수인 2를 남기고, 2의 배수를 모두 지웁니다. 다음으로 살아남은 가장 작은 수인 3을 남기고, 3의 배수를 지웁니다. 이렇게 차례로 거르고 나면, 마지막까지 지워지지 않고 살아남은 수들이 바로 소수입니다.

[에라토스테네스의 체 — 2부터 20까지]

  처음:   2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20
  2의 배수 지움 → 4 6 8 10 12 14 16 18 20 사라짐
  3의 배수 지움 → 9 15 사라짐
  5의 배수 지움 → 이미 다 지워짐
  살아남음: 2  3  5  7  11  13  17  19

이 단순한 절차가 흥미로운 까닭은, 곱셈이라는 "만드는" 연산만으로 소수라는 "더 못 만드는" 수를 거꾸로 찾아낸다는 데 있습니다. 무엇을 만들 수 없는지를 통해 무엇이 가장 기본인지를 드러내는 셈입니다.

여전히 풀리지 않은 수수께끼

흥미롭게도 소수는 2천 년이 넘는 연구에도 여전히 비밀을 다 내주지 않았습니다. 소수들은 수직선 위에서 불규칙하게 흩어진 듯 보이지만, 그 분포에는 묘한 규칙성도 숨어 있습니다. "쌍둥이 소수", 즉 11과 13처럼 2만큼 떨어진 소수 쌍이 무한히 많은지는 아직 아무도 확실히 알지 못합니다. 단순해 보이는 질문이 수백 년째 미해결로 남아 있다는 사실 자체가 소수의 깊이를 말해 줍니다. 한편 소수의 이런 까다로운 성질은 오늘날 인터넷 보안과 암호 기술의 바탕이 되기도 합니다.

미해결로 남은 소수의 수수께끼는 쌍둥이 소수만이 아닙니다. 몇 가지를 더 들여다보면, 가장 단순한 질문이 가장 깊은 심연으로 이어진다는 사실을 실감하게 됩니다.

• 골드바흐의 추측: 2보다 큰 모든 짝수는 두 소수의 합으로 쓸 수 있다는 추측입니다. 4는 2 더하기 2, 10은 3 더하기 7, 100은 3 더하기 97. 수없이 많은 짝수에서 확인되었지만, 모든 짝수에 대해 참이라는 증명은 아직 없습니다.
• 소수의 분포: 큰 수로 갈수록 소수는 점점 드물어집니다. 그 드물어지는 속도에는 놀랍도록 정확한 규칙이 있는데, 그 규칙의 가장 깊은 비밀은 19세기 수학자 리만이 던진 한 가지 추측과 맞닿아 있으며, 이는 오늘날 수학에서 가장 유명한 미해결 문제로 꼽힙니다.
• 소수 사막: 소수가 한 개도 없이 길게 이어지는 구간을 얼마든지 길게 만들 수 있다는 사실은 증명되어 있습니다. 즉 소수는 어디서나 빽빽하지도, 어디서나 드물지도 않습니다.

이처럼 소수는 가장 익숙한 수이면서도 가장 낯선 수입니다. 초등학생도 정의를 이해하지만, 인류 최고의 수학자들도 그 깊은 곳에서는 여전히 길을 찾고 있습니다.

2부. 무한 — 셀 수 있는 무한과 셀 수 없는 무한

무한에도 크기가 있을까

"무한"이라는 말을 들으면 우리는 흔히 "끝없이 큰 하나"를 떠올립니다. 그런데 19세기 후반, 독일의 수학자 게오르크 칸토어는 충격적인 생각을 제시했습니다. 무한에도 서로 다른 크기가 있다는 것이었습니다.

먼저 셀 수 있는 무한을 봅시다. 자연수 1, 2, 3, ...은 무한히 많습니다. 짝수 2, 4, 6, ...도 무한히 많습니다. 얼핏 짝수가 자연수의 절반일 것 같지만, 칸토어는 둘을 일대일로 짝지을 수 있음을 보였습니다. 1은 2와, 2는 4와, 3은 6과... 이렇게 빠짐없이 짝이 맞습니다. 짝이 완벽하게 맞으면 두 집합의 크기는 같습니다. 부분이 전체와 같은 크기일 수 있다는 이 역설은 무한의 첫 번째 놀라움입니다.

무한 호텔이라는 사고 실험

이 역설을 더 생생하게 보여주는 유명한 이야기가 있습니다. 방이 무한히 많은 어떤 호텔을 상상해 봅니다. 1번 방, 2번 방, 3번 방... 끝없이 이어지고, 그 모든 방이 손님으로 가득 차 있습니다. 보통의 호텔이라면 빈방이 없으니 더는 손님을 받을 수 없습니다. 그런데 이 무한 호텔은 다릅니다.

새 손님 한 명이 도착했다고 합시다. 지배인은 모든 손님에게 한 칸씩 옆방으로 옮겨 달라고 부탁합니다. 1번 방 손님은 2번 방으로, 2번 방 손님은 3번 방으로, 이렇게 모두가 다음 번호 방으로 옮깁니다. 그러면 1번 방이 비고, 새 손님이 그 방에 들어갑니다. 가득 찬 호텔이 새 손님을 받은 것입니다. 한 명이 아니라 무한히 많은 새 손님이 와도 비슷한 방법으로 자리를 마련할 수 있습니다.

[무한 호텔 — 새 손님 한 명 받기]

  처음:   1→손님A  2→손님B  3→손님C  ...
  부탁:   각 손님은 (자기 방 번호 + 1) 방으로 이동
  결과:   1→비었음  2→손님A  3→손님B  ...
  새 손님이 1번 방으로 들어감

이 이야기가 우스꽝스럽게 느껴진다면, 그것이 바로 무한이 우리의 일상적 직관과 얼마나 다른지를 보여주는 신호입니다. 유한한 세계에서 "가득 찼다"는 말은 "더 받을 수 없다"는 뜻이지만, 무한의 세계에서는 그렇지 않습니다. 무한을 다룬다는 것은 이렇게 익숙한 상식을 잠시 내려놓고, 정의와 논리만을 믿고 따라가는 일입니다.

더 큰 무한

그렇다면 모든 무한은 같은 크기일까요? 여기서 칸토어의 진짜 천재성이 빛납니다. 그는 0과 1 사이의 실수, 즉 0.1, 0.1415..., 0.333... 같은 모든 소수를 자연수와 짝지으려는 시도가 반드시 실패함을 증명했습니다.

그의 논증은 "대각선 논법"이라 불립니다. 누군가 0과 1 사이의 모든 실수를 빠짐없이 목록으로 적었다고 주장한다고 합시다. 칸토어는 그 목록의 첫 번째 수의 첫째 자리, 두 번째 수의 둘째 자리, 세 번째 수의 셋째 자리... 를 따라 대각선으로 내려가며 각 숫자를 일부러 다른 숫자로 바꾼 새 수를 만듭니다. 이 새 수는 목록의 어떤 수와도 적어도 한 자리에서 다릅니다. 따라서 목록에 없습니다. "모두 적었다"는 주장은 무너집니다.

결론은 놀랍습니다. 실수의 무한은 자연수의 무한보다 "더 큽니다". 무한에도 위계가 있는 것입니다. 칸토어의 이 발견은 처음에는 격렬한 반발을 샀지만, 오늘날 현대 수학의 토대 중 하나로 자리 잡았습니다.

[대각선 논법의 직관]

  주장된 목록:
    1번:  0. (a) b  c  d ...
    2번:  0.  e (f) g  h ...
    3번:  0.  i  j (k) l ...
        ...
  대각선 숫자 (a, f, k, ...)를 모두 다른 값으로 바꾸면
  → 목록의 어떤 줄과도 다른 새 수가 만들어짐
  → 그러므로 목록은 결코 완전하지 않다

3부. 수학의 언어 — 기호는 어떻게 생겨났나

수학이 지금처럼 간결하고 강력해진 데에는 한 가지 숨은 영웅이 있습니다. 바로 기호입니다. 오늘날 우리는 더하기, 빼기, 같다 같은 기호를 너무나 당연하게 쓰지만, 이것들은 모두 누군가가 어느 시점에 발명한 것입니다. 그 이전의 수학자들은 우리가 한 줄로 적는 식을 긴 문장으로 풀어 써야 했습니다.

예컨대 "어떤 수에 셋을 더하면 일곱이 된다"를 옛 수학자들은 말 그대로 문장으로 적었습니다. 오늘날이라면 짧은 기호 몇 개로 끝낼 일입니다. 더하기와 빼기 기호는 15세기 무렵 유럽의 상인과 수학자들 사이에서 자리를 잡았고, 같다 기호는 16세기에 한 수학자가 "이보다 더 같은 것은 없다"는 뜻으로 길이가 같은 평행선 두 개를 골라 쓰면서 시작되었다고 전해집니다.

[같은 뜻, 다른 시대의 표기]

  말로 적던 시대:
    "미지의 수에 삼을 더한 것이 칠과 같다"

  기호가 생긴 뒤:
    (미지의 수) + 3 = 7

  → 같은 생각이지만, 기호 덕분에 한눈에 들어온다

기호의 힘은 단지 짧게 줄이는 데 있지 않습니다. 좋은 기호는 생각 자체를 바꿉니다. 복잡한 관계를 한눈에 보이게 만들고, 손이 거의 자동으로 식을 변형하도록 돕습니다. 한 철학자는 좋은 표기법을 두고 "절반의 사고를 대신해 주는 도구"라고 말하기도 했습니다. 우리가 종이 위에서 식을 이리저리 옮기며 답에 다가갈 때, 사실은 잘 설계된 기호의 안내를 받고 있는 셈입니다.

이 대목에서 앞서 미뤄 둔 물음이 슬며시 고개를 듭니다. 더하기 기호나 같다 기호는 분명히 인간의 발명품입니다. 그러나 그 기호가 가리키는 "더한다", "같다"라는 관계 자체도 발명일까요, 아니면 발견일까요? 기호와 그 기호가 가리키는 것 사이의 이 미묘한 거리야말로, 글의 끝에서 만날 큰 물음의 작은 예고편입니다.

4부. 황금비와 피보나치 — 자연 속의 수

토끼에서 시작된 수열

13세기 이탈리아의 수학자 레오나르도 피보나치는 토끼의 번식을 단순화한 문제를 다루다 한 수열을 소개했습니다. 1, 1, 2, 3, 5, 8, 13, 21, 34... 규칙은 단순합니다. 바로 앞의 두 수를 더하면 다음 수가 됩니다. 1 더하기 1은 2, 2 더하기 1은 3, 3 더하기 2는 5.

이 수열의 마법은 이웃한 두 수의 비율에서 나타납니다. 수열을 따라 내려가며 큰 수를 그 앞의 수로 나누면, 그 비율이 점점 어떤 특정한 값에 가까워집니다. 대략 1.618...이라는 수인데, 이를 황금비라 부릅니다.

아름다움의 비율?

황금비는 오랫동안 예술과 건축에서 "조화로운 비율"로 이야기되어 왔습니다. 다만 여기서 균형 잡힌 태도가 필요합니다. 고대 건축물이나 명화가 의도적으로 황금비로 설계되었다는 주장 중 상당수는 후대에 끼워 맞춘 해석이거나 과장인 경우가 많습니다. 황금비가 미적으로 특별히 우월하다는 것도 과학적으로 단정하기 어렵습니다.

그러나 자연에서 피보나치 수가 자주 나타나는 것은 분명한 사실입니다. 해바라기 씨앗의 나선, 솔방울의 비늘, 어떤 식물 잎이 줄기에 배열되는 각도 등에서 피보나치 수가 관찰됩니다. 이것은 신비한 우연이라기보다, 씨앗이나 잎을 가장 빈틈없이 배치하려는 성장 과정에서 자연스럽게 떠오르는 효율적인 해법이라는 설명이 설득력을 얻고 있습니다. 자연은 미를 추구한 것이 아니라 효율을 추구했고, 그 결과 우리가 아름답다 느끼는 패턴이 나타난 것일지 모릅니다.

5부. 기하학 — 발견과 발명 사이의 시험장

평행선에서 시작된 의심

수학이 발견인가 발명인가라는 물음을 가장 극적으로 보여준 무대가 기하학입니다. 유클리드는 기하학을 몇 개의 명백해 보이는 출발점, 곧 공리 위에 세웠습니다. 그중 대부분은 누구도 의심하지 않을 만큼 자명해 보였습니다. 두 점을 잇는 직선은 하나뿐이다, 같은 식으로 말입니다.

그런데 단 하나, "평행선 공리"라 불리는 명제는 어쩐지 다른 것들보다 복잡하고 덜 자명해 보였습니다. 거칠게 말하면, 한 직선 밖의 한 점을 지나면서 그 직선과 결코 만나지 않는 직선은 정확히 하나뿐이라는 내용입니다. 수많은 수학자가 2천 년 동안 이 공리를 더 단순한 것들로부터 끌어내려 애썼습니다. 그러나 모두 실패했습니다.

다른 기하가 가능하다는 발견

19세기에 이르러 몇몇 수학자가 대담한 시도를 했습니다. 평행선 공리를 일부러 바꿔 보면 어떻게 될까. 만약 모순이 튀어나온다면, 원래 공리가 옳다는 간접 증명이 될 것입니다. 그런데 놀랍게도 모순은 나오지 않았습니다. 대신, 완전히 일관되면서도 우리에게 낯선 새로운 기하학들이 모습을 드러냈습니다.

이런 기하학을 비유클리드 기하학이라 부릅니다. 그 세계에서는 삼각형 세 각의 합이 180도가 아닐 수도 있고, 평행선이 여러 개일 수도, 아예 없을 수도 있습니다. 처음에는 순전히 추상적인 호기심의 산물처럼 보였습니다. 그런데 한참 뒤, 아인슈타인이 중력을 설명하면서 우주의 공간 자체가 휘어 있다는 그림을 제시했을 때, 바로 이 비유클리드 기하학이 그 언어가 되어 주었습니다.

여기서 발견과 발명의 긴장이 선명해집니다. 평행선 공리를 바꾸겠다는 결정은 분명히 인간의 자유로운 선택, 곧 발명처럼 보입니다. 그러나 그렇게 만든 새 기하가 일관되는지 아닌지는 인간이 정할 수 없습니다. 그것은 발견되어야 하는 사실입니다. 더 나아가, 그 추상적 기하가 실제 우주의 모양과 맞아떨어진다는 사실은 누구도 의도하지 않은 발견이었습니다. 기하학은 발명의 자유와 발견의 필연이 한자리에서 만나는 시험장인 셈입니다.

[하나의 점, 여러 개의 기하]

  유클리드:     평행선이 정확히 하나 → 평평한 면
  쌍곡 기하:    평행선이 여러 개   → 안장처럼 휜 면
  타원 기하:    평행선이 없음      → 공처럼 둥근 면

  세 경우 모두 내부적으로 모순이 없다

6부. 확률 — 직관이 가장 잘 속는 곳

수학의 아름다움이 늘 우아한 등식이나 거대한 무한에만 있는 것은 아닙니다. 때로 그것은 우리의 직관이 얼마나 쉽게 어긋나는지를 드러내는, 조금은 짓궂은 형태로 찾아옵니다. 확률이 바로 그런 분야입니다.

생일이 겹칠 확률

질문 하나를 던져 봅니다. 한 방에 사람이 몇 명쯤 모이면, 그중 두 사람의 생일이 같을 가능성이 절반을 넘어설까요? 1년은 365일이니 직관적으로는 꽤 많은 사람이 필요할 것 같습니다. 100명? 180명? 그런데 실제 답은 23명입니다. 23명만 모여도 생일이 겹치는 두 사람이 있을 확률이 절반을 넘습니다.

직관이 어긋나는 까닭은, 우리가 무심코 "나와 생일이 같은 사람"을 떠올리기 때문입니다. 그러나 문제가 묻는 것은 "누구든 두 사람"의 생일이 겹칠 가능성입니다. 23명이 있으면 두 사람을 짝짓는 경우의 수가 무려 253가지나 됩니다. 짝의 수가 이렇게 빠르게 늘어나기 때문에, 그중 적어도 한 쌍이 겹칠 확률은 우리가 느끼는 것보다 훨씬 빨리 커집니다.

[생일 문제 — 직관 대 계산]

  직관:  "365일이나 되니 많은 사람이 필요하겠지"
  계산:  23명 → 겹칠 확률 약 50%
         50명 → 겹칠 확률 약 97%
  열쇠:  "나와 같은 날"이 아니라 "임의의 두 사람"
         23명 사이의 짝 = 253가지

직관과 증명의 거리

생일 문제가 가르쳐 주는 교훈은 단순합니다. 느낌은 출발점일 뿐, 결론이 될 수 없다는 것입니다. 확률의 세계에서 우리의 본능은 자주 길을 잃습니다. 도박꾼이 "이번에는 나올 차례"라고 믿는 것도, 드문 사건이 한 번 일어나면 큰 의미를 부여하는 것도 모두 이런 어긋남의 사례입니다. 수학이 아름다운 한 가지 이유는, 바로 이 지점에서 차가운 계산이 뜨거운 직관을 바로잡아 준다는 데 있습니다. 그리고 그 교정의 결과가 종종 직관보다 더 놀랍다는 것, 그것이 또 하나의 아름다움입니다.

7부. 오일러 항등식 — 가장 아름다운 한 줄

수학자들에게 "가장 아름다운 식"을 꼽으라면 자주 등장하는 것이 18세기의 위대한 수학자 레온하르트 오일러의 이름이 붙은 한 줄의 등식입니다. 이 글은 수식을 펜스 안에 적는 규칙을 따르므로, 그 모습을 아래에 조심스레 옮겨 봅니다.

오일러 항등식 (말로 풀어 쓴 형태)

  e 의 (i 곱하기 파이) 제곱에 1을 더하면 0이 된다.

  여기서
    e   : 자연로그의 밑, 약 2.718 (성장·복리의 수)
    i   : 제곱하면 -1이 되는 허수단위
    파이 : 원주율, 약 3.14159 (원의 수)
    1, 0 : 산술의 출발점이 되는 두 수

이 한 줄이 왜 그토록 칭송받을까요? 서로 전혀 다른 세계에서 태어난 다섯 개의 기본 상수가, 마치 약속이라도 한 듯 하나의 식 안에서 만나기 때문입니다. e는 성장과 복리의 세계에서, 파이는 원과 기하의 세계에서, i는 상상의 수에서, 그리고 0과 1은 가장 기초적인 산술에서 옵니다. 이들이 단 한 줄에서 정확히 0이라는 결과로 맞물린다는 사실은, 많은 수학자에게 우주가 어떤 깊은 질서로 짜여 있다는 느낌을 줍니다.

물론 "아름답다"는 느낌은 주관적입니다. 그러나 이렇게 멀리 떨어진 개념들이 예기치 않게 연결되는 순간, 수학자들이 공통적으로 경험하는 일종의 전율이 있습니다. 그것은 새로운 풍경을 발견한 등반가의 감정과도 닮았습니다.

8부. 피타고라스 정리 — 눈으로 보는 증명

수학의 아름다움을 이야기하면서 피타고라스 정리를 빼놓을 수는 없습니다. 직각삼각형에서 빗변을 한 변으로 하는 정사각형의 넓이는, 나머지 두 변을 각각 한 변으로 하는 두 정사각형의 넓이를 더한 것과 같다. 이 한 문장은 2천 5백 년이 넘는 세월 동안 수많은 사람을 매혹해 왔고, 알려진 증명만 수백 가지에 이릅니다.

이 정리가 특별히 사랑받는 까닭 하나는, 말이나 기호가 아니라 그림만으로도 그 참됨을 느낄 수 있다는 데 있습니다. 같은 크기의 정사각형 두 개를 준비하고, 그 안에 똑같은 직각삼각형 네 개를 서로 다른 방식으로 놓아 봅니다. 한쪽에서는 삼각형들이 남긴 빈 공간이 빗변 위의 한 정사각형이 되고, 다른 쪽에서는 두 변 위의 두 정사각형이 됩니다. 큰 정사각형도 같고 그 안의 삼각형 네 개도 같으니, 남은 빈 공간의 넓이도 같아야 합니다. 이렇게 말없이, 거의 손짓만으로 증명이 끝납니다.

[조각을 옮겨 보는 증명의 직관]

  같은 크기의 큰 정사각형 두 개를 준비
  각각에 똑같은 직각삼각형 네 개를 다르게 배치

  배치 A: 빈 공간 = 빗변 위의 정사각형 하나
  배치 B: 빈 공간 = 두 변 위의 정사각형 둘

  큰 정사각형도 같고 삼각형 넷도 같으므로
  → 빈 공간의 넓이도 같다
  → 빗변의 제곱 = 두 변의 제곱의 합

말없는 그림이 엄밀한 논증과 같은 확신을 줄 수 있다는 사실은, 증명이 반드시 기호의 행렬일 필요는 없음을 일깨워 줍니다. 좋은 그림은 그 자체로 하나의 논증이 될 수 있습니다. 더 흥미로운 것은, 이 단순한 정리가 앞서 만난 거리와 좌표, 그리고 나아가 공간이 휘어 있을 수 있다는 비유클리드 기하의 출발점과도 깊이 연결된다는 점입니다. 가장 익숙한 직각삼각형 하나가, 우주의 모양을 묻는 질문으로까지 이어집니다.

9부. 대칭 — 변해도 변하지 않는 것

수학자들이 아름다움을 느끼는 또 하나의 자리는 대칭입니다. 흔히 대칭이라 하면 좌우가 같은 나비의 날개나 눈송이를 떠올립니다. 그러나 수학에서 대칭은 더 넓은 뜻을 가집니다. 어떤 대상에 무언가 변화를 주었는데도 본질이 그대로일 때, 우리는 거기에 대칭이 있다고 말합니다.

정사각형을 생각해 봅시다. 90도 돌려도, 180도 돌려도, 또 거울에 비추듯 뒤집어도, 정사각형은 처음과 똑같아 보입니다. 이렇게 "모양을 그대로 두는 변화"를 모아 보면, 그것들이 자기들끼리 잘 짜인 규칙을 이룬다는 사실을 알게 됩니다. 두 변화를 잇따라 행한 결과도 여전히 모양을 그대로 두는 변화이고, 모든 변화에는 그것을 되돌리는 짝이 있습니다. 이렇게 변화들이 이루는 구조를 수학에서는 군이라 부릅니다.

[정사각형을 그대로 두는 변화들]

  회전: 0도, 90도, 180도, 270도
  뒤집기: 가로축·세로축·두 대각선 기준

  이 변화들을 이어 붙여도
  → 여전히 정사각형을 그대로 두는 변화가 된다
  → 변화들이 닫힌 하나의 구조(군)를 이룬다

이 발상이 강력한 까닭은, 대칭의 언어가 수학을 넘어 자연의 가장 깊은 법칙으로까지 뻗어 나가기 때문입니다. 물리학에서는 어떤 대칭이 있을 때마다 그에 대응하는 보존 법칙이 따라 나온다는 사실이 알려져 있습니다. 시간을 옮겨도 물리 법칙이 그대로라는 대칭에서 에너지 보존이, 공간을 옮겨도 그대로라는 대칭에서 운동량 보존이 나옵니다. 결정의 규칙적인 배열, 입자들의 분류, 심지어 우주의 기본 힘을 이해하는 일까지, 그 바탕에는 "변해도 변하지 않는 것"을 찾는 대칭의 수학이 깔려 있습니다. 아름답게 보이는 것이 동시에 가장 근본적인 것이기도 하다는 점에서, 대칭은 수학적 아름다움의 한 정점입니다.

10부. 증명의 아름다움 — 의심할 수 없는 진리

수학이 다른 학문과 결정적으로 다른 점은 증명에 있습니다. 과학은 실험과 관찰로 가설을 뒷받침하지만, 새로운 증거가 나오면 결론이 바뀔 수 있습니다. 그러나 한번 엄밀하게 증명된 수학 정리는, 적절한 전제 아래에서 영원히 참입니다. 피타고라스의 정리는 2천 년이 지나도 여전히 참이고, 1만 년 뒤에도 참일 것입니다.

좋은 증명에는 미학이 있습니다. 같은 정리라도 길고 복잡한 증명이 있는가 하면, 한눈에 핵심을 보여주는 짧고 우아한 증명이 있습니다. 수학자들은 후자를 두고 흔히 "그 책에서 나온 증명"이라고 농담처럼 말합니다. 마치 어딘가에 가장 완벽한 증명들만 모아 둔 이상적인 책이 있고, 운 좋은 수학자가 그 한 쪽을 엿본 것처럼 말입니다.

증명의 아름다움은 단지 짧음에 있지 않습니다. 전혀 관계없어 보이던 두 개념을 잇거나, 복잡한 문제를 갑자기 단순한 관점으로 바꾸어 풀어내는 데 있습니다. 좋은 증명을 읽고 난 뒤의 느낌은, 잘 짜인 추리소설의 마지막 장을 덮을 때의 "아, 그래서 그랬구나" 하는 후련함과 닮아 있습니다.

11부. 수학은 발견인가 발명인가

이제 우리는 처음에 미뤄 두었던 큰 물음 앞에 섰습니다. 수학은 인간이 만들어낸 것일까요, 아니면 원래 존재하던 것을 인간이 발견한 것일까요? 이 질문에는 정답이 정해져 있지 않으며, 철학자와 수학자들이 오래도록 토론해 온 주제입니다. 양쪽의 관점을 공정하게 살펴봅시다.

• 발견이라는 관점(플라톤주의): 소수는 인간이 있기 전에도 소수였고, 원주율은 누가 계산하든 같은 값입니다. 수학적 진리는 우리의 마음 바깥에, 마치 미지의 대륙처럼 존재하고, 수학자는 그것을 탐험하는 사람이라는 견해입니다. "우주가 수학의 언어로 쓰여 있다"는 표현이 이 입장과 어울립니다.

• 발명이라는 관점: 수학은 인간이 세계를 다루기 위해 만든 정교한 언어이자 규칙의 체계라는 견해입니다. 우리가 공리(출발점이 되는 약속)를 정하고 그로부터 결과를 끌어내는 것이므로, 수학은 체스의 규칙처럼 인간의 창작물에 가깝다는 것입니다.

• 그 중간의 관점: 기본 개념은 발견에 가깝지만, 그것을 표현하는 기호와 체계는 발명에 가깝다고 보는 절충적 시각도 있습니다.

흥미로운 점은, 물리학자들이 종종 마주하는 한 가지 미스터리입니다. 순수한 호기심에서 만들어진 추상적인 수학이, 수십 년 또는 수백 년 뒤에 자연 현상을 설명하는 데 놀랍도록 딱 들어맞는 경우가 많다는 것입니다. 한 물리학자는 이를 두고 "수학이 자연과학에서 보이는 불합리할 만큼의 효과"라고 표현했습니다. 왜 인간 머릿속의 추상이 별과 원자의 움직임과 들어맞는지, 이 자체가 아직 깊은 수수께끼입니다.

앞서 만난 기하학 이야기는 이 물음에 좋은 시금석이 됩니다. 비유클리드 기하학은 처음에 어떤 쓸모도 없는 순수한 발명처럼 보였지만, 수십 년 뒤 우주의 실제 모양을 설명하는 도구로 발견되었습니다. 발명이 발견으로 바뀐 것일까요, 아니면 애초에 거기 있던 것을 인간이 뒤늦게 알아본 것일까요? 이 글은 어느 한쪽이 옳다고 강요하지 않습니다. 다만 이 물음을 품고 다니는 것만으로도, 다음에 수를 셀 때 작은 경이를 느끼게 될지 모릅니다.

12부. 수의 확장 — 0과 음수, 그리고 무리수

우리는 지금까지 자연수와 소수, 실수와 무한을 자유롭게 오갔지만, 사실 이 수들이 모두 처음부터 사람에게 받아들여진 것은 아닙니다. 수의 역사는 그 자체로, 인간이 자신의 직관을 한 번씩 넘어서며 새로운 종류의 수를 받아들여 온 긴 여정입니다.

가장 먼저 있었던 것은 셈을 위한 자연수였습니다. 그러나 "아무것도 없음"을 하나의 수로 적는 일, 곧 0의 발명은 놀랍도록 늦게 찾아왔습니다. 0은 단순한 빈자리가 아니라, 자릿수 체계를 가능하게 한 결정적 열쇠였습니다. 0이 있어야 비로소 십의 자리와 백의 자리를 자리만으로 구분할 수 있었기 때문입니다. 인도에서 자리를 채우는 기호로 다듬어진 0은 이후 여러 문명을 거쳐 세계의 수 표기를 바꾸어 놓았습니다.

음수는 더 오랜 의심을 받았습니다. "영보다 작은 수"라는 발상은 한동안 터무니없는 것으로 여겨졌습니다. 무언가가 아무것도 없는 것보다 적을 수 있다니, 직관에 어긋났기 때문입니다. 그러나 빚과 자산, 방향의 반대처럼 음수가 자연스럽게 들어맞는 상황이 쌓이면서, 음수는 점차 어엿한 수로 자리 잡았습니다.

[수가 넓어져 온 길]

  자연수    1, 2, 3, ...        셈에서 시작
  0         아무것도 없음을 적다  자릿수 체계의 열쇠
  음수      0보다 작은 수        빚·반대 방향을 담다
  유리수    정수의 비            나눗셈을 닫다
  무리수    분수로 못 적는 수    대각선의 길이에서 발견

가장 충격적인 확장은 무리수였습니다. 한 변의 길이가 1인 정사각형의 대각선을 생각해 봅니다. 그 길이는 분명히 존재하지만, 어떤 분수로도 정확히 적을 수 없습니다. 고대 그리스에서 모든 수가 정수의 비로 표현된다고 믿었던 사람들에게, 이런 길이의 발견은 세계관을 흔드는 사건이었습니다. 분명히 자로 그을 수 있는 길이가, 그들이 알던 수의 체계 바깥에 있었던 것입니다.

이 역사가 주는 교훈은 깊습니다. 수학은 완성된 채로 주어진 것이 아니라, 직관과 충돌할 때마다 그 직관을 다듬으며 자라 왔습니다. 0도, 음수도, 무리수도 처음에는 "그런 것이 수일 리 없다"는 저항을 받았지만, 결국에는 세계를 더 정확히 기술하는 더 넓은 수의 체계로 받아들여졌습니다. 앞서 만난 허수 i 역시 이 여정의 한 장면입니다. 수의 역사는, 발견과 발명이 어떻게 번갈아 작동하는지를 보여주는 가장 긴 증거인 셈입니다.

13부. 일상 속의 수학

수학은 칠판 위에만 있지 않습니다. 우리가 의식하지 못할 뿐, 일상 곳곳에 스며 있습니다.

• 음악의 화음은 단순한 정수비의 진동에서 아름답게 들립니다. 옥타브는 진동수가 정확히 두 배인 관계입니다.
• 지도 앱이 가장 빠른 길을 찾을 때, 그 뒤에는 그래프 이론이라는 수학이 돌아갑니다.
• 사진을 압축해 작은 파일로 만들 때, 보이지 않는 곳에서 수학적 변환이 일어납니다.
• 일기예보의 확률, 보험료 계산, 투표 결과 분석에도 통계와 확률이라는 수학이 깔려 있습니다.
• 은행 계좌와 메시지를 지키는 암호는, 앞서 본 소수의 곱을 거꾸로 쪼개기가 어렵다는 사실에 기대고 있습니다.
• 건물과 다리가 무너지지 않게 버티는 힘의 분배에도, 보이지 않는 기하와 미적분이 작동합니다.
• 추천 알고리즘이 다음 곡이나 다음 영상을 고를 때, 그 바탕에는 거대한 행렬과 확률 계산이 있습니다.

수학을 안다는 것은 복잡한 공식을 외우는 일이라기보다, 세계를 한 겹 더 깊이 들여다보는 안경을 갖는 일에 가깝습니다. 같은 해바라기를 보아도 그 안의 나선을 떠올릴 수 있고, 같은 노래를 들어도 그 안의 비율을 상상할 수 있게 됩니다.

핵심 용어 정리

긴 이야기를 마무리하기 전에, 이 글에서 만난 주요 개념을 한자리에 모아 봅니다.

마치며 — 우주의 언어를 배운다는 것

다시 외계인에게 보낼 첫 인사로 돌아가 봅니다. 우리가 수학을 첫마디로 고른 까닭은, 그것이 인간만의 약속이 아니라 우주 어디서나 통할 만한 공통의 언어처럼 보이기 때문이었습니다.

소수는 수의 원자로서 흔들림 없이 그 자리를 지키고, 무한은 하나가 아니라 여러 크기로 존재하며, 멀리 떨어진 상수들은 한 줄의 등식 안에서 0으로 만납니다. 평행선 하나를 바꾸자 새로운 기하가 열렸고, 23명이 모이면 생일이 겹친다는 사실은 우리의 직관을 뒤흔들었습니다. 이 모든 것이 인간이 발명한 것인지 발견한 것인지는 여전히 열린 물음입니다. 그러나 답이 무엇이든, 그 풍경 앞에서 느끼는 경이는 줄지 않습니다.

어쩌면 수학의 가장 큰 아름다움은 바로 이 경이의 능력일지 모릅니다. 가장 차갑고 엄밀해 보이는 학문이, 동시에 우리에게 가장 큰 놀라움을 선사한다는 역설. 다음에 별을 올려다볼 때, 그 사이의 거리와 빛의 속도, 그리고 그것을 적어 내려간 수들을 한 번쯤 떠올려 보면 어떨까요.

그리고 잊지 마시기 바랍니다. 이 모든 풍경은 누구에게나 열려 있습니다. 수학의 아름다움을 느끼는 데에는 어려운 계산도, 특별한 재능도 필요하지 않습니다. 그저 한 번 멈춰 서서 "왜 그럴까" 하고 물어보는 마음, 익숙한 것 속에서 낯선 질서를 알아채는 작은 호기심이면 충분합니다. 이 글이 그 호기심에 작은 불씨 하나를 남길 수 있었다면, 그것으로 충분합니다.

생각할 거리

• 만약 다른 별의 지적 존재가 있다면, 그들도 우리와 똑같이 소수를 발견했을까요? 왜 그렇게 생각하나요?
• "부분이 전체와 같은 크기일 수 있다"는 무한의 역설을 친구에게 설명한다면 어떻게 말하겠습니까?
• 무한 호텔이 가득 찼는데도 새 손님을 받을 수 있다는 이야기에서, 가장 받아들이기 어려운 부분은 어디였나요?
• 평행선 공리를 바꾸어 만든 새 기하가 실제 우주를 설명하게 된 일은 발견에 가까울까요, 발명에 가까울까요?
• 생일 문제처럼, 당신의 직관이 계산 앞에서 크게 빗나갔던 경험이 있나요?
• 0이나 음수가 처음에 "수가 아니다"라며 거부당했던 이야기를 듣고, 어떤 생각이 드나요?
• 좌우 대칭처럼 우리가 아름답다 느끼는 대칭이, 동시에 자연의 깊은 법칙이기도 하다는 점은 우연일까요?
• 당신이 본 것 중 가장 "아름답다"고 느낀 수나 패턴은 무엇이었나요?

참고 자료

• Stanford Encyclopedia of Philosophy — Platonism in the Philosophy of Mathematics
• Stanford Encyclopedia of Philosophy — The Philosophy of Mathematics
• Encyclopædia Britannica — Prime number
• Encyclopædia Britannica — Georg Cantor
• Encyclopædia Britannica — Fibonacci sequence
• Encyclopædia Britannica — Leonhard Euler
• Encyclopædia Britannica — Non-Euclidean geometry
• Encyclopædia Britannica — Sieve of Eratosthenes
• Encyclopædia Britannica — Birthday problem
• Encyclopædia Britannica — Pythagorean theorem
• Encyclopædia Britannica — Symmetry