다층모형의 중심화와 검정력

추정할 관계와 자료의 규모를 함께 정하기

다층모형과 혼합효과모형은 집단·참여자·문항에서 비롯되는 변이를 구분하면서 관심 있는 관계를 추정한다. 중심화는 추정할 관계의 기준을 정하고, 검정력 분석은 그 관계를 검출할 표본과 관측치의 구성을 검토한다.

집단평균 중심화에서 무선기울기와 수준 간 상호작용까지

2수준 선형모형 튜토리얼에서는 개인이 집단에 속한 자료를 SPSS, Stata, R, Mplus로 분석하는 절차를 제시한다(Sommet & Morselli, 2021). 실습에는 보이밴드 50개에 속한 멤버 175명의 자료를 사용했다. 자료는 1980–2018년 미국 Billboard Hot 100에 진입한 곡이 있는 밴드를 수록한 Internet Boy Band Database에서 가져왔다. 결과변수는 Instagram 팔로어 수를 로그 변환한 인기 점수다. 개인 수준 예측변수인 외모 매력도는 인터넷 순위에 등장한 횟수다. 집단 수준 변수인 활동 전성기는 1990–2000년이면 −0.5, 2000년 이후이면 +0.5로 코딩했다. 빈 모형 (Y_{ij}=B_{00}+u_{0j}+e_{ij})에서는 전체 평균, 집단 평균이 전체 평균에서 벗어난 정도, 개인이 집단 평균에서 벗어난 정도를 구분한다. 개인 수준 예측변수를 전체평균 중심화해도 상호작용이 없는 모형에서는 기울기가 유지된다. 집단 내 효과와 집단 간 효과를 분리하지 않은 계수에는 두 관계가 섞여 있다. 실습에서는 같은 밴드 안의 관계를 추정하려고 외모 매력도를 집단평균 중심화했다. 절편은 해당 밴드에서 외모 매력도가 평균인 멤버의 예측 인기 점수로 해석했다. 고정기울기는 전체 집단의 평균 효과를, 무선기울기는 각 집단의 효과가 그 평균에서 벗어나는 정도를 나타낸다. 절편·기울기 공분산은 두 편차의 관계를 표현한다.

실습 자료의 ICC는 0.82로, 인기 점수 분산의 82%가 밴드 간 차이에서 비롯되었다. 평균 집단 크기 3.50명을 반영한 DEFF는 3.04였다. DEFF는 (1+(n-1)\times ICC)로 계산한다. 1.5 미만이면 일반 회귀를 사용할 수도 있다는 잠정적 기준이 제안되었다. 무선기울기는 상호작용을 넣기 전에 기울기 잔차분산과 절편·기울기 공분산을 추가한 모형을 비교해 검토했다. 우도비 검정 결과는 LR χ²(2) = 415.96 − 412.08 = 3.88, p = 0.144였다. 제안된 모형 선택 기준 α = 0.20에 따라 두 항을 유지했다. 최종 모형에서 외모 매력도의 계수는 B10 = 0.03, 95% CI [−0.14, 0.21], 전성기의 계수는 B01 = 1.59, 95% CI [0.94, 2.24]였다. 상호작용 계수는 B11 = −0.39, 95% CI [−0.73, −0.04]였다. 전성기를 다시 코딩해 구한 단순기울기는 1990년대 밴드에서 B = 0.23, 95% CI [0.05, 0.41], 2000년 이후 밴드에서 B = −0.16, 95% CI [−0.45, 0.14]였다. 결과는 측정에 사용한 두 온라인 지표 간 관계로 해석한다. 추정법으로는 ML과 REML을 소개했다. 작은 표본에서는 REML의 편향이 더 작을 수 있으며, 고정효과 구성이 다른 모형은 REML로 비교할 수 없다.

소프트웨어 비교 시뮬레이션에서는 자료마다 50개 집단에 속한 12,500개 관측치를 생성했다. 두 주효과를 0, ICC를 0.05, 절편·기울기 공분산을 0으로 설정했다. 상호작용 크기 0.10·0.05·0.00과 기울기 잔차분산 0.01·0.005·0.001을 조합해 조건별 1,000개, 총 9,000개 자료를 분석했다. R의 simglm으로 확인한 검정력은 상호작용 0.10, 기울기 잔차분산 0.01 조건에서 α = 0.05를 기준으로 0.80이었다. 비교 지표는 100회 반복 계산 이내의 수렴률, α = 0.20인 우도비 검정의 기울기 잔차분산 탐지율, α = 0.05인 상호작용 검정의 오류율이었다. 기울기 잔차분산이 0.001일 때 SPSS의 수렴률은 88%–90%였으며, 다른 소프트웨어는 수렴률이 높았다. 잔차분산 탐지율은 소프트웨어 간에 거의 같았다. 상호작용이 0이고 기울기 잔차분산이 0.001인 조건에서는 약 53%였다. Stata·R·Mplus의 제2종 오류율은 상호작용 0.10에서 잔차분산 조건에 따라 20%, 6%, 0%였고, 상호작용 0.05에서는 70%, 55%, 23%였다. SPSS의 제2종 오류율은 높았으나 소프트웨어 간 차이는 유의하지 않았다. 상호작용이 0인 조건의 제1종 오류율은 모두 3%, 3%, 2%였다. 작은 기울기 변동의 탐지 가능성은 표본 구조와 모수 설정에 따라 달라진다. 무선기울기 선택에는 검정 결과와 집단별 효과 차이에 관한 이론적 기대를 함께 고려한다. 공개 자료·스크립트와 보충자료에서는 검정력과 효과크기, 3수준·교차분류·다중소속 설계 및 비연속형 결과변수로 확장하는 방법을 다뤘다.

참여자와 문항의 조합으로 설계하는 혼합모형 검정력

혼합효과모형의 검정력 튜토리얼에서는 모형과 무선효과 구조를 정한 뒤 관심 있는 고정효과를 검출할 표본 구성을 시뮬레이션으로 비교한다(Kumle et al., 2021). 검정력은 실제 효과가 있을 때 귀무가설을 기각할 확률인 1−β이다. 자료 생성, 모형 재적합, 검정을 반복한 뒤 유의한 결과의 비율로 검정력을 추정한다. 분석에는 R의 lme4, mixedpower, simr와 공개 자료·Notebook을 사용했다. 첫 번째 상황에서는 기존 자료에 적합한 모형에서 모수를 가져왔다. 예제는 참여자 48명이 문장 120개를 읽은 안구운동 연구였다. 결과변수는 눈이 단어에 처음 도착한 위치인 first landing position(FLP)이었다. 단어 길이, 형태적 복잡성, 두 변수의 상호작용을 고정효과로, 참여자별 절편과 문장별 절편을 교차 무선효과로 설정했다. 연속형 예측변수를 중심화한 모형의 계수는 단어 길이 β = 1.511, 형태적 복잡성 β = −0.075, 상호작용 β = 0.116이었다. mixedpower()로 참여자 수 20, 30, 40, 50, 60을 비교하고, lme4의 simulate.merMod()로 새 반응값을 생성했다. 유의수준 5%에 대응하는 근사 기준으로 t값 2를 적용했다. 참여자가 늘면서 형태적 복잡성과 상호작용의 검정력이 높아졌다. 효과가 큰 단어 길이는 검토한 표본크기 전반에서 검정력이 높았다. 발견할 가치가 있는 최소 효과인 SESOI와 효과크기의 불확실성을 검토하려고 모든 계수를 15% 줄이자 형태적 복잡성과 상호작용의 검정력이 낮아졌다. 축소 비율은 예제를 위해 설정한 값이다.

두 번째 상황에서는 참여자 수와 문장 수를 조정했다. 참여자 48명을 유지한 채 원래 문장 수 120개를 기준으로 자극 수를 바꾸자 문장이 늘수록 검정력이 높아졌다. R2power()로 참여자 30, 48, 60명과 여러 문장 수의 조합을 비교했다. 세 번째 상황에서는 사전 가정에 따라 인공 자료와 모형을 만들었다. 영어 모어 여부와 단어 빈도가 어휘판단 정확도에 미치는 효과를 이항 GLMM으로 분석했다. 초기 자료는 참여자 20명이 단어 100개를 모두 보는 완전교차 구조였다. 모어 집단과 비모어 집단을 균형 있게 배치하고 −0.5와 0.5로 코딩했다. 단어 빈도는 languageR의 lexdec 자료를 근거로 평균 5, 표준편차 1인 정규분포에서 생성한 뒤 중심화했다. 모형에는 참여자별 무선절편과 단어별 무선절편을 포함했다. simr의 makeGlmer()에 고정효과 계수와 무선효과 분산, 이항분포를 지정했다. 모수는 lexdec 자료에 적합한 유사 모형에서 얻었다. powerSim()으로 추정한 초기 모형에서 모어 여부 효과의 검정력은 16.7%였다. 단어 빈도의 표준편차를 0.5로 줄이자 검정력 추정치에 최대 24%의 차이가 나타났다. 집단 비율을 바꾼 분석에서는 불균형한 설계에서 검정력이 낮아질 수 있음을 확인했다. 효과크기를 모두 0으로 설정하면 같은 절차로 제1종 오류율도 추정할 수 있었다.

세 번째 예제에서는 단어 100개로 모든 효과의 검정력 80%를 확보하려면 참여자 180명이 필요했지만, 효과가 15% 작아지면 180명으로도 부족했다. 표본 규모를 좌우한 효과는 모어 여부였다. 각 효과가 목표 검정력에 도달하는 것과 여러 효과가 동시에 유의할 확률은 다르다. 최종 분석에는 최소 1000회의 Monte Carlo 반복이 권장되었다. 반복 횟수가 늘면 추정치의 변동은 줄지만 실행시간은 길어진다. 추정치는 자료 생성 모형, 효과크기, 무선효과 분산과 예측변수 분포를 전제로 한다. mixedpower는 여러 효과와 표본 조건을 병렬 계산으로 비교하는 데 적합하다. simr에서는 인공 모형 생성, 검정력 신뢰구간, 유의성 검정 방법을 세밀하게 설정할 수 있다. 튜토리얼에서는 계획 중인 연구와 독립적인 자료·모형을 바탕으로 검정력 분석을 사전에 수행하는 방법을 제안했다. 이미 얻은 결과를 해석할 때 p값과 단조 관계에 있는 사후 검정력을 사용하지 않는다.

논의

HRD와 의학교육 연구에서는 학습자가 속한 조직, 수행하는 과제, 반복 관찰의 구조를 모형에 반영해 중심화와 표본설계를 정한다. 학습자가 병원에 속하면서 여러 과제를 수행하는 연구라면 병원 수·학습자 수·과제 수를 각각 조정해 관심 효과의 검정력 변화를 비교할 수 있다. 무선기울기 분산이나 예측변수의 예상 분포를 여러 값으로 설정하면 같은 모집 규모에서도 검출 가능성이 달라지는 조건을 확인한다.

참고문헌

• Sommet, N., & Morselli, D. (2021). Keep calm and learn multilevel linear modeling: A three-step procedure using SPSS, Stata, R, and Mplus. International Review of Social Psychology, 34(1), 24. https://doi.org/10.5334/irsp.555
• Kumle, L., Võ, M. L.-H., & Draschkow, D. (2021). Estimating power in (generalized) linear mixed models: An open introduction and tutorial in R. Behavior Research Methods, 53(6), 2528–2543. https://doi.org/10.3758/s13428-021-01546-0