On the Measurement of Competency

Abstract

이 논문은 역량을 실제 상황의 수행과 밀접한 복합 능력으로 정의하고, Assessment Triangle에 따라 구성개념·관찰·해석을 정리한 개념 논문이다. 군 직무와 과학 수행평가에서는 과제와 관찰 시점의 표집이 측정오차의 주요 원천으로 나타났다. 저자는 실제 과제의 무선표집, 과제 간 공통 채점 차원, Generalizability theory를 결합해 역량 점수의 신뢰성과 해석 가능성을 검토하는 모형을 제안했다.

Introduction

고용주와 교육자, 정책결정자는 비판적 사고, 분석적 추론, 문제해결, 의사소통 같은 21세기 역량을 요구한다. 그러나 이를 어떻게 측정할지는 충분히 정리되지 않았다.

Shavelson의 논문은 Hartig 등(2008)의 정의를 바탕으로 역량 측정 모형을 제안했다. 논의는 Assessment Triangle의 구성개념·관찰·해석 순서로 전개된다. 역량은 직접 관찰할 수 없는 가설적 구성개념으로, 과제에서 드러난 행동을 바탕으로 추론한다.

이 개념 논문은 30년 이상 수행한 연구를 바탕으로 1968년에 발표한 우주비행 과제 연구, 1980년대 군 직무평가, 1980년대 중반에 시작한 과학 탐구평가, 대학생 평가를 검토했다. 각 사례에서 과제 영역을 정하고 과제를 표집·채점한 방법과 점수를 해석한 방식을 설명했다. 일부 자료에는 Generalizability theory를 적용했다.

The construct: competence

웹에서 수집한 정의와 Hartig 등(2008)의 논의를 종합해 역량의 일곱 요소를 제시했다. 일곱 요소는 신체적·지적 능력 또는 기술, 지식과 실행을 포함한 수행능력, 표준화된 조건, 수행의 적절성을 판단할 기준, 향상 가능성, 수행의 바탕이 되는 복합 능력, 실제 상황에서의 관찰이다.

복합 능력은 과제의 요구와 상황의 지원·제약에 맞춰 여러 능력과 기술을 동원하는 능력이다. 수행 중 하위 목표를 달성하거나 새로운 목표가 생기면 동원하는 능력의 구성도 달라진다.

표준화는 응시자에게 요구하는 과제와 시행 조건을 일정하게 유지하는 원칙이다. 포트폴리오는 과제·조건·작성 주체를 통제하기 어려워 활용에 제한이 있다고 보았다. 다만 예술 역량처럼 포트폴리오 자체가 준거 상황에 적합한 경우에는 사용을 인정했다. 수행기준은 어느 정도로 수행하면 충분한 역량을 갖췄다고 판단할지 정하는 기준이다. 향상 가능성은 연습과 교육으로 수행이 달라질 수 있다는 뜻이다.

Observation of performance

관찰 과제는 실제 상황을 반영하고 복합 능력과 기술을 요구해야 한다. 연습으로 수행 수준을 높일 수 있고 수행기준도 설정할 수 있어야 한다. McClelland(1973)의 criterion sampling을 채택했다. 평가할 행동 영역을 정하고 가능한 과제와 반응을 열거한 뒤, 그 모집단에서 평가에 사용할 과제·반응의 표본을 뽑는다.

과제를 정할 때는 반응도 함께 고려한다. 실제 생활에서는 응시자가 행동이나 답을 스스로 구성하는 operant response가 자주 나타난다. 인지 능력과 함께 의지와 정서, 일상생활 기술, 대인관계 기술도 수행에 관여한다.

1968년 연구에서는 미국 항공우주국(NASA)의 달 탐사 임무에서 공통 정비 과제를 추출해 목적표집했다. 우주비행사 자격을 갖춘 참여자를 대상으로 수행의 정확도와 소요 시간을 관찰했다. 지구의 1중력에서 달의 1/6중력, 무중력으로 조건이 바뀔수록 수행 수준이 낮아졌다.

군 직무평가에서는 훈련 성적을 준거로 삼아도 타당한지에 의문이 제기되어 실제 직무수행을 측정했다. 해군 통신병 사례에서는 124개 과제의 수행·감독 여부, 빈도, 복잡성, 임무상 중요성, 오류 빈도를 평정했다. 전문가가 목적표집한 22개 과제와 세 가지 무선표집 방식으로 각각 같은 수만큼 뽑은 과제를 비교했다.

원문 표 2. 목적표집과 무선표집의 비교

과제 특성	무한 모집단 단순무선표집	유한 모집단 단순무선표집	유한 모집단 층화무선표집
PCTSUP	5.06	6.29	3.11
PCTPERF	5.06	6.25	3.25
IMPORT	1.00	1.20	1.06
ERROR	1.00	1.20	0.29
FREQ	3.12	4.08	1.50
COMP	-1.50	-1.80	-0.89

표의 값은 목적표집과 무선표집의 차이를 표준편차 단위로 나타낸 것이다. PCTSUP는 감독 비율, PCTPERF는 수행 비율, IMPORT는 중요성, ERROR는 오류 빈도, FREQ는 수행 빈도, COMP는 복잡성을 뜻한다.

목적표집한 과제에는 자주 수행하는 과제가 과다하게 포함됐고, 복잡성은 평균보다 낮았다. 논문에서는 표집오차를 평가할 수 있는 무선표집을 지지했다. 층화무선표집에서는 가장 중요한 과제를 확률 1.00으로 포함할 수도 있다.

과학 탐구평가에서는 교재와 교사·학생의 활동자료를 바탕으로 영역을 정하고 교실의 공간·안전 제약에 맞춰 평가를 설계했다. 직접 실험과 지필평가는 서로 대체하기 어려웠다. 전기 과제를 직접 수행할 때 만점을 받은 학생이 같은 과제의 단답형 평가에서는 0점을 받기도 했다.

Interpretation: from observation to competence

총체적 채점은 흔히 6점 척도를 사용하지만, 범용 준거만으로는 개별 수행을 진단하기 어렵다. 분석적 채점은 과제별 내용을 세밀하게 평가할 수 있으나 여러 과제에 걸쳐 공통 점수를 구성하기는 어렵다. 논문에서는 공통 차원과 과제별 내용을 결합한 혼합 방식을 제안했다. 여러 과제에서 정보의 신뢰성·타당성을 판단하는 능력, 추론 오류, 표현의 명료성을 평가하는 방식이다.

훈련된 평가자는 복잡한 수행을 일관되게 채점할 수 있었다. 다만 시간이 지나며 기준이 달라지는 rater drift, 비용과 운영 문제, 결과 제공 지연은 과제로 남았다. 기준 답안으로 훈련한 자연어처리 소프트웨어는 대량의 서술형 반응을 빠르게 채점할 수 있었다.

Generalizability theory에서는 점수를 과제·시점·평가자·관찰 방법으로 이루어진 모집단에서 얻은 표본으로 본다. 분산성분은 각 요인과 요인 간 상호작용이 점수 변동에 얼마나 기여하는지 나타낸다. 관찰 방법을 포함하면 신뢰도와 함께 서로 다른 측정 방법의 결과가 얼마나 수렴하는지도 검토할 수 있다.

해군 기관병 연구에서는 11개 직무 과제의 수행을 과제마다 평가자 2명이 채점했다. 무선효과 분산분석으로 개인, 평가자, 과제 및 상호작용의 분산성분을 추정했다.

원문 표 3. 해군 기관병 직접 수행평가의 일반화가능도 분석

분산 원천	추정 분산성분(× 1000)	전체 변동 중 비율(%)
Person (P)	6.26	14.45
Examiner (E)	0.00	0.00
Task (T)	9.70	22.40
P×E	0.00	0.00
P×T	25.85	60.00
E×T	0.03	0.00
P×E×T, error	1.46	3.37

반올림으로 비율의 합이 100%를 넘는다.

개인×과제 상호작용은 전체 변동의 60.00%를 차지했고, 평가자 1명과 11개 과제로 평가했을 때 신뢰도는 0.72였다. 평가자를 추가해도 신뢰도는 달라지지 않았지만, 과제 6개를 추가하면 0.80으로 높아질 수 있었다. 과제 표집에 드는 비용과 시간이 부담이 됐다.

과학 수행평가에서는 Paper Towels, Electric Mysteries, Bugs의 3개 과제를 평가자 2명이 2개 시점에서 채점했다. 관찰 방법은 노트 기록과 직접 관찰의 2가지였다.

원문 표 4. 과학 수행평가의 분산성분

분산 원천	추정 분산성분(× 1000)	전체 변동 중 비율(%)
Person (P)	330.00	13.11
Task (T)	0.00	0.00
Occasion (O)	100.00	4.14
Method (M)	0.00	0.00
P×T	650.00	25.83
P×O	0.00*	0.00
P×M	10.00	0.50
T×O	30.00	1.03
T×M	120.00	4.67
O×M	0.00	0.00
P×T×O	790.00	31.35
P×T×M	20.00	0.63
P×O×M	0.00	0.00
T×O×M	0.00	0.00
P×T×O×M, error	470.00	18.70

*작은 음의 분산성분을 0으로 설정했다. 수치와 비율은 원문 그대로다.

개인×과제, 개인×과제×시점, 잔차를 포함한 상호작용이 변동의 주된 원천이었다. 한 번의 평가로는 영향을 확인하기 어려운 시점을 ‘숨은 요인’으로 설명했다. 이 사례에서는 관찰 방법의 영향이 작았지만, 다른 연구에서는 방법 간에 더 큰 불일치가 나타났다. 개인 점수의 신뢰성을 확보하려면 여러 과제와 반응을 포함해야 한다고 결론지었다.

Collegiate Learning Assessment (CLA)

CLA는 대학생의 비판적 사고, 분석적 추론, 문제해결, 명료한 의사소통을 평가한다. 결과는 주로 대학이나 프로그램 단위로 보고된다. 관찰한 수행을 보고하고, SAT 등 입학 당시 점수를 바탕으로 예상한 수준을 얼마나 넘어섰는지도 부가가치로 산출한다. 학생에게는 개인 점수를 비공개로 제공한다.

평가는 수행과제와 두 가지 유형의 분석적 글쓰기로 이루어진다. DynaTech 과제에서 학생은 항공기 구매를 검토하는 사장의 보좌역을 맡는다. 사고 기사, 사고 보고서, 이메일, 성능 자료 등을 비교해 SwiftAir 235의 사고 위험과 구매 여부를 판단한다. 글쓰기에서는 주장을 세우고 방어하거나 주어진 논증을 비판한다.

CLA는 인터넷, 컴퓨터 채점, 통계적 표집을 활용했다. 학생마다 일부 문항에만 응답하는 행렬표집으로 시간을 줄였지만, 일부 과제에 응답하는 데도 90분이 걸렸다. 분석적 글쓰기는 컴퓨터가 채점했다. 교수자가 학생의 문제해결 연습을 도울 수 있도록 유사 과제를 제공했다.

One possible model for measuring competency

최종 모형에서는 역량을 정의한 뒤 과제·반응의 모집단을 설정하고, 실제 준거 상황을 무선표집한다. 공통 차원을 갖춘 채점 준거와 Generalizability theory로 점수의 질을 검토하고, 평가 운영에 필요한 과제 수, 평가자 수, 관찰 시점 수를 결정한다.

이 모형은 개발 중인 구상이며, 제시한 사례가 제안한 역량 정의의 모든 요소를 충족하지는 않는다고 밝혔다. 수행기준과 향상 가능성 등은 상세히 다루지 않았고, 최종 정의에는 인지와 함께 의지·정서를 포함했다.

논의

평가자를 추가해도 신뢰도는 달라지지 않지만 과제를 6개 추가하면 0.72에서 0.80으로 높아질 수 있다고 추정됐다. 이 추정은 여러 과제에 걸쳐 수행을 관찰하는 데 자원을 배분할 근거가 된다. 다만 이는 11개 직무 과제를 평가자 2명이 채점한 해군 기관병 연구에서 개인×과제 상호작용이 전체 점수 변동의 60.00%를 차지한 분산성분에 기초한 결과다. 해군 통신병 사례에서는 124개 과제 중 목적표집한 22개에 자주 수행하는 과제가 과다하게 포함되고 복잡성은 평균보다 낮아, 과제 수와 함께 선정 방식도 검토할 필요가 있다. 층화무선표집은 가장 중요한 과제를 확률 1.00으로 포함하면서 표집오차도 평가할 수 있다.

참고문헌

Shavelson, R. J. (2010). On the measurement of competency. Empirical Research in Vocational Education and Training, 2(1), 41–63. https://doi.org/10.1007/bf03546488