graph TD
%% 이산형 계통
Bernoulli[베르누이 분포 <br> 0/1 성공/실패 1회] -->|n회 반복| Binomial[이항 분포 <br> n회 중 성공 횟수]
Binomial -->|n은 무한히 크고 p는 아주 작음| Poisson[포아송 분포 <br> 단위 구간 내 발생 건수]
Poisson -->|평균 발생률 람다가 흔들림| NegBin[음이항 분포 <br> r회 성공까지 실패 횟수]
%% 연속형 계통
Normal[정규분포 <br> 오차와 측정값의 합] -->|평균 0 분산 1 표준화| StdNormal[표준정규분포 Z]
StdNormal -->|제곱해서 더함 Sum of Z^2| ChiSquare[카이제곱 분포 <br> 분산의 척도]
StdNormal & ChiSquare -->|Z / sqrt ChiSquare/df| tDistribution[t-분포 <br> 모분산 모를 때 평균 추정]
ChiSquare -->|두 카이제곱 값의 비율| FDistribution[F-분포 <br> 두 분산의 비교 ANOVA]
style Bernoulli fill:#e1f5fe,stroke:#01579b
style Binomial fill:#e1f5fe,stroke:#01579b
style Poisson fill:#e1f5fe,stroke:#01579b
style NegBin fill:#e1f5fe,stroke:#01579b
style Normal fill:#e8f5e9,stroke:#1b5e20,stroke-width:2px
style StdNormal fill:#e8f5e9,stroke:#1b5e20
style ChiSquare fill:#fff9c4,stroke:#f57f17
style tDistribution fill:#ffebee,stroke:#b71c1c,stroke-width:2px
style FDistribution fill:#ffebee,stroke:#b71c1c
통계학이나 데이터 사이언스를 공부할 때 마주하게 되는 수학 공식들과 기호(\(Z\), \(t\), \(\chi^2\), \(F\))들은 처음에는 복잡한 외계어처럼 느껴집니다. 하지만 확률분포를 단순한 수식 암기가 아니라 “실제 현실에서 데이터가 어떤 원리로 생성되었는가(Data Generating Process)”라는 탐정의 관점으로 바라보면 모든 분포가 하나의 유기적인 가족 계보로 이어져 있음을 알 수 있습니다.
본 포스트에서는 확률변수의 두 축인 이산형(Discrete)과 연속형(Continuous) 확률분포의 핵심 특징을 비교하고, 각 분포의 직관적 정의, 핵심 관계식, 그리고 많은 분석가가 가장 난해해하는 “t-분포의 분모가 카이제곱 구조인 이유”와 “자유도의 본질”까지 심층 해부해 보겠습니다.
1. 확률분포의 전체 계보 지도
확률분포들을 개별적으로 외우면 금방 한계에 부딪히지만, 아래와 같이 정규분포를 중심으로 파생되는 연속형 분포와 시행 반복에서 출발하는 이산형 분포의 유기적 흐름을 이해하면 통계적 가설검정의 뼈대가 보입니다.
2. 이산 확률분포 (Discrete Probability Distributions)
값이 정수(0, 1, 2…)처럼 셀 수 있게 뚝뚝 끊어지는 세계입니다. 핵심은 세기(Count), 대기(Wait), 비복원(Sample)입니다.
2.1 베르누이 분포 (Bernoulli)
- 상황: 결과가 오직 성공(1) 혹은 실패(0)인 딱 1회의 독립 시행.
- PMF: \[ \mathbb{P}(X=x) = p^x(1-p)^{1-x} \quad (x \in \{0, 1\}) \]
- 평균/분산: \[ \mathbb{E}[X] = p, \quad \mathrm{Var}(X) = p(1-p) \]
2.2 이항 분포 (Binomial)
- 상황: 성공률 \(p\)인 베르누이 시행을 독립적으로 \(n\)번 반복했을 때 총 성공 횟수.
- PMF: \[ \mathbb{P}(X=k) = \binom{n}{k}p^k(1-p)^{n-k} \quad (k=0,1,\dots,n) \]
- 평균/분산: \[ \mathbb{E}[X] = np, \quad \mathrm{Var}(X) = np(1-p) \]
2.3 포아송 분포 (Poisson)
- 상황: 특정 시간이나 공간 단위 내에서 무작위로 발생하는 사건의 발생 빈도(카운트).
- PMF: \[ \mathbb{P}(X=k) = \frac{e^{-\lambda}\lambda^k}{k!} \quad (k=0,1,2,\dots) \]
- 평균/분산: \[ \mathbb{E}[X] = \lambda, \quad \mathrm{Var}(X) = \lambda \]
- 특징: 평균과 분산이 \(\lambda\)로 같습니다. 실제 데이터셋에서 분산이 평균보다 과도하게 큰 경우(과산포)에는 포아송의 확장인 음이항 분포를 사용합니다.
2.4 기하 및 음이항 분포 (Geometric & Negative Binomial)
- 기하분포: 첫 번째 성공이 나올 때까지 실패한 횟수(혹은 총 시행 횟수).
- 음이항분포: 목표로 하는 \(r\)번째 성공을 거두기 전까지 발생한 실패 횟수 \(k\). \[ \mathbb{P}(X=k) = \binom{k+r-1}{k}(1-p)^k p^r \quad (k=0,1,2,\dots) \]
2.5 초기하 분포 (Hypergeometric)
- 상황: 복원하지 않고 한 번 뽑은 것을 다시 넣지 않는 비복원 추출(Sampling without replacement) 구조에서 관심 대상이 뽑힌 개수. 모집단의 크기(\(N\))가 작을 때 유용하며, \(N\)이 아주 커지면 비복원의 영향이 없어져 이항분포로 수렴합니다.
3. 연속 확률분포 (Continuous Probability Distributions)
키, 몸무게, 시간처럼 실수 구간 상에서 연속적으로 이어지는 분포입니다. 확률은 ’점(Point)’이 아니라 ’면적(Integral)’으로 정의됩니다.
3.1 정규분포 (Normal)
- 상황: 측정오차, 자연현상의 물리량 등 우연적인 여러 오차 요인들이 덧셈 형태로 결합해 나타나는 우주의 가장 보편적인 분포.
- PDF: \[ f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \]
3.2 카이제곱분포 (Chi-square)
- 상황: 서로 독립인 표준정규변수(\(Z\))들을 제곱해서 더한 값이 따르는 분포. \[ \sum_{i=1}^{\nu} Z_i^2 \sim \chi^2(\nu) \]
- 의미: 편차들을 제곱해서 더한 구조이므로, 데이터의 흩어짐과 분산의 크기를 평가하는 척도가 됩니다.
3.3 t-분포 (Student’s t)
- 상황: 모집단의 분산(\(\sigma^2\))을 몰라 표본의 표준편차(\(s\))를 활용해 평균의 신뢰구간을 잡거나 가설검정을 할 때 사용. 정규분포보다 양쪽 꼬리가 두꺼운 형태를 가집니다.
3.4 F-분포 (F-Distribution)
- 상황: 두 개의 독립적인 카이제곱 변수를 각각의 자유도로 나누어 비율을 구한 값. “두 집단의 분산 비율”을 검정할 때 사용하며, ANOVA(분산분석) 및 회귀모형 유의성 F-검정의 토대입니다.
3.5 베타분포 (Beta)
- 상황: \(0\)과 \(1\) 사이의 값만 가지므로, “확률 또는 비율 자체”를 확률변수로 다룰 때 유용한 분포. 베이지안 확률 업데이트에서 이항분포와 결합하는 공액사전분포 역할을 수행합니다.
4. [심층 이론] t-분포 수식과 분모 속 카이제곱의 수학적 본질
가장 혼동하기 쉬운 통계 공식 중 하나인 t-통계량의 내부 구조를 수학적으로 쪼개어 이해해 보겠습니다.
4.1 t-통계량의 정의식
\[ T = \frac{Z}{\sqrt{U/\nu}} \] - \(Z\): 표준정규분포 \(\mathcal{N}(0, 1)\)를 따르는 확률변수 (평균 추정치 오차) - \(U\): 자유도 \(\nu\)를 따르는 카이제곱 변수 (분산의 불확실성을 담당) - \(\nu\): 자유도
4.2 분모가 왜 하필 \(\sqrt{U/\nu}\) 인가?
우리가 평균 검정을 할 때 쓰는 일반적인 t-통계량 수식은 다음과 같습니다. \[ T = \frac{\bar{X} - \mu}{S/\sqrt{n}} \] 이 식의 분자와 분모를 모집단의 진짜 표준편차인 \(\sigma\)로 똑같이 나누어주면 다음과 같이 변형됩니다.
\[ T = \frac{\frac{\bar{X} - \mu}{\sigma/\sqrt{n}}}{\frac{S}{\sigma}} = \frac{Z}{\frac{S}{\sigma}} \]
여기서 분자는 완벽하게 표준화된 확률변수인 \(Z\)가 됩니다. 문제는 분모에 남아있는 \(\frac{S}{\sigma}\) 입니다. 통계학의 기초 정리인 코크란 정리(Cochran’s Theorem)에 의하면, 표본분산 \(S^2\)과 모분산 \(\sigma^2\)은 다음과 같은 강력한 관계식을 맺고 있습니다.
\[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1) \]
이 카이제곱 확률변수를 \(U\)라고 치환하고 양변을 정리해 보겠습니다. \[ \frac{S^2}{\sigma^2} = \frac{U}{n-1} \implies \frac{S}{\sigma} = \sqrt{\frac{U}{n-1}} \] 자유도 \(\nu = n-1\)을 대입하면, 우리가 맨 처음 다루었던 t-분포의 수학적 정의인 \(T = \frac{Z}{\sqrt{U/\nu}}\)가 정확히 도출됩니다.
4.3 직관적 통찰
- t-분포의 분모인 카이제곱 변수는 “모분산을 몰라서 표본 분산으로 대신 쓰는 데 따르는 불확실성 페널티”를 담당합니다.
- 표본 크기 \(n\)(자유도 \(\nu\))이 아주 작으면, 분모의 변동 폭이 매우 널뛰게 되어 전체 분수 값(\(T\))이 정규분포보다 극단값으로 튈 확률(Fat tail)이 높아집니다.
- 표본 크기가 커지면(\(\nu \to \infty\)) 모르는 표본 분산이 진짜 참값에 수렴하여 분모의 흔들림이 사라지고, t-분포는 날씬한 표준정규분포(\(Z\))로 수렴합니다.
5. 자유도(Degrees of Freedom)란 무엇인가?
자유도를 수학적으로만 접근하면 “왜 항상 1을 빼는가?”에 막혀버립니다. 직관적으로 접근해 봅시다.
“전체 합계라는 제약조건에 묶이지 않고, 독립적으로 자유롭게 변할 수 있는 정보(변수)의 개수”
💵 3만 원 나눠 갖기 비유
친구 3명이 3만 원을 나눠 가집니다. 단, 세 명의 합은 무조건 3만 원이어야 한다는 규칙(제약)이 있습니다. 1. 첫 번째 친구: “나 1만 5천 원 가질래” (자유도 확보) 2. 두 번째 친구: “난 1만 원 가질래” (자유도 확보) 3. 세 번째 친구: 선택권이 없습니다. 앞선 친구들의 합이 2만 5천 원이므로, 이 친구는 강제로 5천 원을 받아야만 합니다.
사람은 3명(\(n=3\))이었지만, 실제 자유롭게 의사결정을 한 독립적인 정보는 \(3 - 1 = 2\)개였습니다. 표본분산을 계산할 때도 편차들의 합이 항상 \(0\)이 되어야 한다는 제약조건이 한 개 걸려 있으므로, 자유도는 늘 \(n-1\)이 됩니다.
6. 범주형 자료의 카이제곱(\(\chi^2\)) 검정
범주형 데이터의 빈도를 비교할 때 사용하는 피어슨 카이제곱 공식도 본질은 동일합니다. \[ \chi^2 = \sum \frac{(O - E)^2}{E} \] - \(O\) (Observed): 실제 관측된 빈도 - \(E\) (Expected): 가설이 맞을 때 기대되는 빈도
이 공식 역시 아래와 같이 쪼개어 보면 “표준화된 차이 제곱의 합”이라는 통일된 본질을 공유하고 있습니다.
\[ \frac{(O-E)^2}{E} = \left( \frac{O-E}{\sqrt{E}} \right)^2 \approx \left( \frac{\text{편차}}{\text{표준적인 흔들림}} \right)^2 = Z^2 \]
요약
통계학의 수많은 검정 도구들은 결국 단 하나의 질문으로 통합니다.
“내가 수집한 표본 데이터의 차이(\(Z, t, \chi^2, F\))가, 우연히 발생할 수 있는 자연스러운 흔들림의 범위(확률분포 지도 상의 중심부)에 있는가, 아니면 우연히 절대 일어날 수 없는 극단적인 사건(꼬리 영역)인가?”
오늘 살펴본 확률분포의 데이터 생성 메커니즘과 관계 지도를 머릿속에 담아둔다면, 가설검정과 머신러닝 오차 설계 시 수식 이면의 통계적 의미를 명쾌하게 꿰뚫어 볼 수 있을 것입니다.