'Seeing Theory'은 확률과 통계의 기본 개념을 인터랙티브하게 시각화하여 직관적이고 쉽게 학습할 수 있는 웹사이트입니다. Seeing Theory(https://seeing-theory.brown.edu/)는 Brown University 의 학부생인 Daniel Kuhn 님이 제작했으며, 시각화에는 JavaScript 라이브러리인 D3.js 가 활용되었습니다. Seeing Theory 는 총 6 개의 주요 장으로 구성되어 있으며, 기초 확률론부터 통계 추론, 회귀 분석까지 포괄하고 있습니다.
- 제 1 장: 기초 확률 (Basic Probability)
- 제 2 장: 복합 확률 (Compound Probability)
- 제 3 장: 확률 분포 (Probability Distributions)
- 제 4 장: 빈도론적 추론 (Frequentist Inference)
- 제 5 장: 베이지 추론 (Bayesian Inference)
- 제 6 장: 회귀 분석 (Regression Analysis)
◆ 제 1 장: 기초 확률
확률론의 핵심을 이루는 찬스 이벤트, 기대값, 분산 등 기본 개념에 대한 설명입니다.
- 찬스 이벤트
랜덤성은 동전 던지기 같은 단순한 사건부터 더 복잡한 자연 현상까지 우리 삶의 모든 측면에 존재합니다. 대표적인 예로 공정한 동전 던지기를 생각해 보면, 앞면과 뒷면이 나올 확률은 각각 1/2 이지만, 실제 시행에서는 반드시 정확히 50% 가 되는 것은 아닙니다.
그러나 시행 횟수를 늘릴수록 그 발생 빈도는 장기적인 확률에 수렴합니다.
불공정한 동전이나 편향된 동전인 경우, 앞면과 뒷면이 나올 확률은 동일하지 않습니다. '결과'에 '수치'를 할당하는 (예: 앞면은 1, 뒷면은 0) 것을 통해 확률변수라는 수학적 객체가 생성됩니다.
* 기대값 '기대값'은 확률변수의 분포의 중심적인 경향을 나타내는 지표이며, 많은 독립적인 시행에서 얻은 샘플의 장기적인 평균값으로 해석할 수 있습니다. 더 엄밀하게는 확률변수가 취할 수 있는 모든 값에 각각의 확률을 곱한 합으로 정의되며, 다음과 같은 수식으로 표현됩니다. \( \text{E}[X] = \displaystyle \sum_{x \in \mathcal{X}}xP(x) \) 예를 들어, 공정한 주사위를 던질 경우, 그 기대값은 3.5 에 수렴합니다.
주사위 눈금의 확률을 조정함으로써 기대값이 어떻게 변화하는지 관찰할 수 있습니다.
· 분산 (variance) 은 분포의 중심성을 나타내는 분산 기대값 (expected value) 과 달리, 분포의 확산 정도 즉 데이터의 변동성을 정량화합니다. 분산은 확률변수와 그 기대값과의 차이를 제곱한 값의 평균으로 정의되며, 다음 수식으로 표현됩니다. \( Var(X) = E[(X - E[X])^2] \). 10 장의 카드로 이루어진 실험에서는 카드를 반복하여 뽑아 나감에 따라 제곱차의 실행 평균이 진정한 분산에 수렴해 가는 모습을 관찰할 수 있습니다.
카드 선택을 조작함으로써 덱의 구성이 분산에 미치는 영향을 구체적으로 이해할 수 있습니다.
◆ 제 2 장: 합성 확률 (compound probability) 확률론의 중요한 개념인 '합성 확률'을 집합론 (set theory), 계수론 (counting), 조건부 확률 (conditional probability) 이라는 3 가지 주요 주제에 초점을 맞춰 심층적으로 다룹니다. · 집합론 '집합 (set)'은 확률론에서 이벤트를 표현하는 기본 구성 요소입니다. 예를 들어, '주사위를 굴려 짝수를 내는' 이벤트는 집합 {2, 4, 6} 으로 표현할 수 있습니다. 이 장에서 제공하는 인터랙티브 툴을 사용하면 사용자는 집합을 구축하고 벤 다이어그램을 통해 시각화할 수 있습니다.
원을 드래그 앤 드롭으로 조작함으로써 집합의 포함 관계 (inclusion), 합집합 (union), 교집합 (intersection) 등의 관계를 직관적으로 파악할 수 있으며, 이후 설명될 집합 항등식 (set identities) 의 이해에 도움이 됩니다.
·특정 조건을 만족하는 순열이나 집합의 개수를 정확하게 세는 '계수'는 복잡한 문제가 될 수 있습니다. 본 섹션에서는 순열 (순서가 있는 배열) 과 조합 (순서가 없는 집합) 의 개념을 소개합니다. 사용자는 주머니에 넣을 비즈의 개수를 지정함으로써 순열과 조합의 개념을 인터랙티브하게 탐구할 수 있습니다. 다음은 4 개의 비즈 순열입니다.
다음은 4 개의 비즈 조합입니다.
제공된 도구는 모든 빙구름의 가능한 순열 또는 조합을 시각화하여 수의 기본 원리를 경험적으로 학습할 수 있습니다. - 조건부 확률 '조건부 확률'은 기존 정보를 고려하여 특정 이벤트가 발생할 확률을 더 정확하게 평가할 수 있게 합니다. 예를 들어, 내일 강수 확률은 '오늘이 흐린 날'이라는 정보가 있는 경우와 없는 경우와 다르게 예상됩니다. '오늘이 흐린 날'이라는 정보가 있는 경우의 강수 확률은 관련 정보를 고려하고 있으므로 조건부 확률이라고 할 수 있습니다. 수학적으로 조건부 확률은 표본 공간을 특정 이벤트로 좁히는 것과 같습니다. 비의 예를 들면, 일반적인 날의 강수 빈도를 보는 대신, 전날이 흐린 날의 데이터에만 초점을 맞추고 그 중 비가 내린 날의 비율을 계산합니다. 본 섹션에서 제공된 시각화 도구는 표본 공간을 좁히는 개념을 이해하는 데 도움이 됩니다. A, B, C라는 이벤트를 선택하여 좁힐 수 있습니다.
◆제 3 장: 확률 분포 확률 분포의 기본 개념인 확률 변수, 이산 분포, 연속 분포, 중심 극한 정리에 초점을 맞추어 특정 사건에서 발생할 수 있는 모든 가능한 결과와 결과의 상대적 우도 (발생 가능성) 에 대해 설명합니다. 확률 변수 확률 변수란 확률 공간 내의 각 사건에 실수를 할당하는 함수로 정의됩니다. 본 장에서 제공된 시각화 도구는 균일 확률 공간에서 자체 이산 확률 변수를 정의하고 샘플링을 실행함으로써 경험 분포를 시각적으로 확인할 수 있습니다.
· 이산 분포와 연속 분포'이산 분포'는 유한하거나 가산 가능한 값을 갖는 확률변수에 해당합니다. 이산 확률변수 \( X \) 가 존재할 경우, 다음 조건을 만족하는 비음 함수 \( f(x) \) (확률 질량 함수) 와 \( F(x) \) (누적 분포 함수) 가 존재합니다. \( P(X = x) = f(x) \), \( P(X < x) = F(x) \) 사용자는 다음 주요 이산 분포를 선택함으로써 확률 질량 함수 \( f(x) \) (노란색 그래프) 와 누적 분포 함수 \( F(x) \) (오렌지색 그래프, 슬라이더로 조작 가능) 를 시각화할 수 있습니다.· 베르누이 분포: 결과가 '성공 (1)' 또는 '실패 (0)' 두 가지로만 이루어지는 시행의 분포·이항 분포: 성공 확률 \( p \) 의 베르누이 시행을 독립적으로 \( n \) 회 실행했을 때의 '성공 횟수'의 분포·기하 분포: 성공 확률 \( p \) 의 베르누이 시행을 반복하여 처음 성공하기까지 몇 번 실패했는지 (또는 몇 번 시행했는지) 를 나타내는 분포·푸아송 분포: 확률이 매우 낮은 현상이 일정 시간이나 공간 내에서 발생하는 횟수의 분포·음의 이항 분포: 성공 확률 \( p \) 의 베르누이 시행을 수행하여 미리 정해진 \( k \) 번의 성공을 얻기까지 몇 번 실패했음을 나타내는 분포
'연속 분포'는 가산 무한 개가 아닌 값 (예: 모든 실수) 을 취하는 확률 변수에 해당합니다. 연속 확률 변수 X 가 존재할 경우, 다음 조건을 만족하는 비음 함수 f(x) 와 F(x) 가 존재합니다. P(a ≤ X ≤ b) = ∫_a^b f(x) dx, P(X < x) = F(x). 시각화를 위해 주요 연속 분포 중 하나를 선택할 수 있습니다. 확률 밀도 함수 f(x) 는 노란색으로, 누적 분포 함수 F(x) 는 주황색으로 표시되며 슬라이더로 제어할 수 있습니다. - 균일 분포: 지정된 범위 [a, b] 내에서 어떤 값을 취할 확률이 모두 동일한 분포 - 정규 분포: 자연이나 사회 현상에서 가장 흔히 나타나는 종 모양의 좌우 대칭 분포 - t 분포: 정규 분포보다 꼬리 (양 끝) 가 약간 두꺼운 종 모양 분포, 정규 분포의 평균을 추정할 때 사용 - 카이 제곱 분포: 표준 정규 분포를 따르는 독립 확률 변수 n 개를 제곱하여 합한 분포, 통계적 검정에 사용 - 지수 분포: 무작위로 발생하는 현상의 발생 간격을 나타내는 분포 - F 분포: 두 카이 제곱 분포의 비율에서 생성되는 분포, 분산 분석 (ANOVA) 등에서 사용 - 감마 분포: 지수 분포를 일반화한 것으로, 특정 이벤트가 k 회 발생할 때까지의 시간을 나타냄 - 베타 분포: 확률이나 비율과 같이 값이 0 에서 1 사이로 수렴하는 현상을 모델링할 때 사용
- 중심극한정리 (CLT) 중심극한정리 (CLT) 는 충분히 큰 수의 독립동분포 (i.i.d.) 확률변수의 표본평균이 근사적으로 정규분포를 따른다는 중요한 정리입니다. 표본 크기가 커질수록 정규분포에 대한 근사 정확도가 향상됩니다. CLT 시각화 도구에서는 샘플링 원의 분포를 조정하기 위한 파라미터 (α, β) 를 노란색 슬라이더로 설정할 수 있습니다. 또한, 표본 크기나 계산할 표본평균의 개수 (드로우 수) 를 주황색 슬라이더로 조절하여 샘플링을 실행할 수 있습니다. 표본평균의 실제 분포를 표시하는 체크박스도 제공됩니다.
◆제 4 장: 빈도론적 추론 관측 데이터로부터 기본 분포의 특성을 결정하는 '빈도론적 추론'의 기본 개념인 방법, 점추정, 구간추정, 부트스트랩법에 대한 설명입니다. - 점추정은 통계학의 중요한 목적 중 하나인 알려지지 않은 파라미터를 추정하는 것입니다. 이 목적을 달성하기 위해 '추정량'이라는 통계량이 사용됩니다. 추정량은 무작위로 추출된 관측값에서 계산되는 함수입니다. 예를 들어 원주율 (π) 의 추정을 들 수 있습니다. 정사각형 안에 내접하는 원을 생각하며, 정사각형 안에 무작위로 점을 투하합니다.
\( \pi \)는 원의 넓이와 정사각형의 넓이의 비율로 정의할 수 있습니다. 원의 넓이가 \( S_{circle} = \pi r^2 \), 정사각형의 넓이가 \( S_{square} = 4r^2 \)라면 \( \pi = 4 \frac{S_{circle}}{S_{square}} \)라는 관계가 성립합니다. 이 넓이 비는 투사된 점의 수를 사용하여 추정할 수 있습니다. 원 내부에 들어간 점의 수를 \( m \), 투사된 점의 총 수를 \( n \)으로 하면, 원주율의 추정치 \( \hat{\pi} \)는 다음과 같이 정의됩니다. \( \hat{\pi} = 4 \frac{m}{n} \)
이 추정치는 통계적으로 바람직한 특성인 '무편성'과 '일관성'을 가진다는 것이 입증되었습니다. 신뢰구간 점추정은 단일 값을 추정하는 반면, '신뢰구간'은 파라미터가 존재할 수 있는 값의 범위를 나타냅니다. 신뢰구간에는 '신뢰수준'이 동반됩니다. 신뢰수준은 신뢰구간을 생성하는 방법이 참 파라미터를 포함하는 구간을 생성할 확률을 의미합니다. 신뢰구간을 생성하는 절차는 먼저 샘플링에 사용할 확률분포를 선택한 다음, 샘플 크기(\( n \))와 신뢰수준(\( 1 - \alpha \))을 설정합니다. 이후 'Start Sampling' 버튼을 누르면 설정에 따라 신뢰구간을 생성하기 위해 샘플링이 실행됩니다.
위와 같은 절차에 따르면 신뢰 구간이 참 평균 (\( \mu \)) 을 포함하는 경우와 포함하지 않는 경우를 시각적으로 확인할 수 있습니다. 부트스트랩 (Bootstrap) 법은 많은 경우 우수한 성질을 가진 추정량을 활용하는 데 초점을 맞추고 있습니다. 그러나 추정량의 정확한 분포를 분석적으로 유도하는 것은 항상 간단하지 않습니다. 따라서 계산 기법인 '부트스트랩 법'이 유용합니다. 부트스트랩 법은 리샘플링을 반복함으로써 추정량의 특성을 근사적으로 평가할 수 있게 합니다. 예를 들어, 관측 데이터에서 얻은 경험 분포 함수에서 무放回 (with replacement) 리샘플링을 수행하여 표본 평균의 표준 오차를 추정할 수 있습니다. 부트스트랩 법의 절차는 먼저 경험 분포 함수를 생성하기 위해 샘플링할 확률 분포를 선택하고, 다음으로 샘플 크기 (및 리샘플링 크기) (\( n \)) 을 선택하여 선택된 분포에서 샘플링한 후, 마지막으로 표본 평균의 분포의 변동성을 파악하기 위해 리샘플링을 여러 번 수행합니다.
◆제 5 장: 베이지 추론 베이지 추론은 새로운 데이터가 얻어졌을 때 기존에 가지고 있던 믿음을 업데이트해 나가는 통계적 방법입니다. 베이지 추론의 주요 구성 요소로 베이지의 정리, 우도 함수, 사전 분포에서 사후 분포로의 전환을 설명합니다. 베이지의 정리"베이지의 정리"는 새로운 정보에 기반하여 확률적 믿음을 업데이트하는 강력한 도구입니다. 예를 들어, 질병 검사에서 양성 결과가 나왔을 때"양성 결과가 나왔다는 조건 하에 실제로 그 질병에 걸린 확률은 얼마나 되는가?"와 같은 질문에 답할 수 있습니다. \( P(\text{Disease}|+) = \frac{P(+|\text{Disease})P(\text{Disease})}{P(+)} \)위 식이 보여준 바와 같이, 검사 결과가 양성일 때 질병에 걸린 사후 확률은 그 질병의 사전 확률 \( P(\text{Disease}) \)에 의존합니다. 시각화 도구의 사용법은 먼저 \( P(\text{Healthy}) \) 와 \( P(\text{Disease}) \) 그래프를 드래그하여 확률을 설정하는 것입니다.
사후 확률도 검사 정밀도에 의존합니다. 즉, 건강한 환자에서 음성 결과를 올바르게 나타내는 빈도 \( P(-|\text{Healthy}) \)와 질병을 가진 환자에서 양성 결과를 올바르게 나타내는 빈도 \( P(+|\text{Disease})\)를 그래프를 드래그하여 설정합니다.
마지막으로 전체 양성 결과 발생 확률을 파악해야 합니다. 'Test one patient' 또는 'Test remaining' 버튼을 클릭하면 모집단에서 추출된 대표 표본에 대해 검사를 실행하는 시뮬레이션이 실행됩니다. 시뮬레이션이 완료되면 사후 확률을 계산하기 위해 필요한 모든 정보가 준비되며, 아래 표에 베이지의 정리를 사용하여 계산된 다양한 확률이 표시됩니다.
- 우도 함수 통계학에서 '우도 함수'는 매우 엄격한 정의가 있습니다. 우도 개념은 베이지 통계와 빈도론 통계 모두에서 기본적인 역할을 합니다. \( L(\theta | x) = P(x | \theta) \) 시각화 도구의 사용 방법은 먼저 표본 분포를 선택한 다음, 샘플 크기 \( n \)을 지정하고 'Sample' 버튼을 클릭한 후, 마지막으로 보라색 슬라이더를 조작하여 우도 함수 \( L(\theta | x) \)를 시각화할 수 있습니다.
사전 분포에서 사후 분포로의 베이지 통계학의 핵심은 데이터가 축적됨에 따라 사전 (이미 가지고 있던) 신념이 업데이트되어 사후 (업데이트된) 신념으로 변화하는 과정에 있습니다. 예를 들어, 표가 나올 확률 \( p \) 가 알려지지 않은 동전을 생각해보겠습니다. \( p \) 의 값은 슬라이더로 조정할 수 있으며, 초기 '사전 분포'가 \( \text{Beta}(\alpha, \beta) \) 로 설정되어 그 확률 밀도 함수가 시각화됩니다. 동전 던지기 버튼을 클릭하여 결과 데이터를 얻는 때마다 \( p \) 에 대한 '사후 분포'가 업데이트됩니다. 업데이트된 분포는 동전의 편향에 관한 가장 가능성 높은 값의 추측이 되며, 더 나아가 다음 추론을 위한 '사전 분포'로 기능합니다.
◆제 6 장: 회귀 분석 통계학에서 데이터 간 관계를 이해하고 분석하기 위해 필수적인 회귀 분석, 상관 분석, 분산 분석 (ANOVA) 등의 방법론 개요에 대한 설명입니다. 최소 제곱법 (OLS) 선형 회귀 분석은 두 변수 간의 선형적 관계를 모델링하는 방법입니다. 특히 '최소 제곱법 (OLS)'는 선형 모델의 파라미터를 추정하기 위해 널리 사용됩니다. OLS 의 목적은 실제 관측값과 모델로 예측된 값 사이의 오차 제곱합을 최소화하는 선형 모델을 찾는 것입니다. 선형 회귀 분석과 OLS 의 개념은 'Anscorn 의 예'로 알려진 4 개의 데이터셋을 통해 데이터 포인트를 조작하며 OLS 직선에 미치는 영향을 시각적으로 확인함으로써 더 깊이 이해할 수 있습니다. 조사 대상 데이터셋 중 4 개 중 하나를 선택합니다. 각 데이터셋의 분포도는 다르지만, OLS 직선은 동일하게 됩니다. 또한 데이터셋에 포함된 데이터를 드래그 앤 드롭하여 OLS 직선이 어떻게 변하는지 확인할 수도 있습니다.
- 상관관계: 상관관계는 두 변수 간의 선형적 관계의 강도와 방향을 나타내는 척도입니다. 상관관계수 \( r \) 은 샘플 데이터를 계산하여 얻는 값으로 \( +1 \) 에서 \( -1 \) 의 범위를 가집니다. 상관관계수는 다음과 같은 식으로 정의됩니다. \( r = \dfrac{s_{xy}}{\sqrt{s_{xx}} \sqrt{s_{yy}}} \) 또한 \( s_{xy} \), \( s_{xx} \), \( s_{yy} \) 는 각각 다음과 같은 식으로 계산되는 공분산 및 분산의 측정치입니다. \( \begin{align*} s_{xy} &=\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})\\ s_{xx} &=\sum^n_{i=1}(x_i-\bar{x})^2\\ s_{yy} &=\sum^n_{i=1}(y_i-\bar{y})^2 \end{align*} \) 상관관계는 두 변수 축에서 결정된 최소제곱 직선이 형성하는 각도의 코사인으로도 해석할 수 있으며, '아야메 꽃 데이터셋'을 사용하여 탐색할 수 있습니다. 먼저 아야메를 히오우기아야메, 헨쇼키아야메, 버지니아아야메 중 1 종 또는 여러 종을 선택합니다. 다음으로 아야메 꽃의 형질 (가くの 길이, 가くの 너비, 꽃잎의 길이, 꽃잎의 너비) 의 상관행렬에서 임의의 셀을 클릭하면 형질 간의 관계가 시각화됩니다.
· 분산 분석 (ANOVA) 분산 분석 (ANOVA) 은 여러 그룹 간 평균값에 통계적으로 유의한 차이가 있는지 검정하는 방법입니다. ANOVA 는 그룹 내 변동 (제곱합 오차) 과 그룹 간 변동을 비교함으로써, 두 그룹을 비교하는 t 검정을 3 개 이상의 그룹으로 확장한 것입니다. 데이터 포인트 조작이 ANOVA 검정 결과에 어떤 영향을 미치는지 인터랙티브하게 탐구할 수 있습니다. 먼저 조사 대상 데이터셋을 하나 선택합니다. 데이터셋의 각 데이터는 드래그 앤 드롭이 가능하므로, 데이터 변경이 ANOVA 검정 결과에 어떤 영향을 미치는지 시각적으로 확인할 수 있습니다.
· 요약 'Seeing Theory' 는 확률과 통계에 대한 이해의 발판이 되며 학습 경험을 풍부하게 하는 인터랙티브 시각화를 통해 목표를 세웠습니다. 인터랙티브 요소를 배제한 교재로서의 역할을 목표로 한 드래프트 버전 PDF 도 다운로드 가능하므로, 확률이나 통계에 관심이 있는 분들은 이를入手하여 더 깊은 탐구에 임해 보시기 바랍니다.
원문 보기 | 출처: Gigazine