연구 틀과 발표 피드백을 다룬 교육자료

연구 수행을 지원하는 교수개발

보건의료교육 연구에서는 교육현장의 질문을 연구문제로 구체화하고, 자료를 수집·해석하며, 결과를 동료에게 설명하는 역량이 필요하다. 개념적·이론적 틀은 선택의 기준이 된다. 발표 피드백은 연구 설명과 후속 작업을 검토할 기회를 제공한다. 연구자를 위한 교수개발은 연구방법 교육과 구체적인 연구 사례 검토, 전문가의 조언을 활용하는 활동으로 구성할 수 있다.

개념적·이론적 틀을 연구 설계에 적용하는 워크숍

개념적·이론적 틀의 활용을 다룬 교육자료에서는 초보 보건의료교육 연구자가 틀을 선택하고 연구 전 과정에 적용하도록 돕는 워크숍을 제시했다. 이론은 사물 사이의 관계가 어떻게, 왜 성립하는지 설명하는 것으로 정의했다. 이론적 틀은 그 이론이 연구 설계에 주는 함의로, 개념적 틀은 연구문제가 속한 분야의 중심 개념과 개념적 유산으로 정의했다. AAMC의 Group on Educational Affairs(GEA) 산하 Medical Education Scholarship Research and Evaluation(MESRE)에서 개발한 워크숍은 이론에 관한 사전 지식을 요구하지 않았다. 공통 사례로는 기본의학교육의 서술형 피드백 연구를 사용했다. 역할극 영상과 소집단·전체 토의를 결합하고, 같은 연구 사례에 서로 다른 이론을 적용해 연구문제와 설계가 어떻게 달라지는지 검토하도록 구성했다. 역할극은 멘토와 멘티가 이론을 선택하고 결과를 해석하는 상황을 보여줬다. 도입부에서는 theory of planned behavior의 적용 예를 제시했다. 25~30분의 소집단 활동에서는 situated learning theory(SLT)에 따라 연구문제를 다듬고 참여자, 환경, 자료원, 자료 수집 전략을 구체화했다. 워크숍은 처음에 75분으로 개발됐으나, 두 번째 운영에서는 60분으로도 학습목표를 다룰 수 있다고 판단했다. 참여자 10명당 진행자를 최소 1명 배치하고 45~60분의 사전 준비 모임을 열도록 권장했다.

워크숍은 2019년 11월 Learn Serve Lead: the AAMC Annual Meeting에서 대면으로, 2021년 4월 GEA Regional Spring Meeting에서 온라인으로 운영됐다. 의과대학 직원, 교수, 행정 담당자 등이 참여했으며, 대면 참여자는 55명, 온라인 참여자는 약 150명이었다. 종료 후 설문에는 각각 26명(47%)과 34명(23%)이 응답해 전체 응답자는 60명(30%)이었다. 수행 능력은 ‘워크숍 전부터 할 수 있었음’, ‘워크숍의 결과로 할 수 있게 됨’, ‘수행할 수 없음’의 3점 척도로 물었다. 개방형 문항 4개로 학습 내용과 활용 계획, 운영 경험 등을 수집했다. 학습목표 달성 비율은 워크숍 전부터 수행할 수 있었다는 응답을 제외하고 계산했다. 이 분석에서 개념적 틀과 이론을 구별할 수 있게 됐다는 응답은 80%(32명), 연구문제에 개념적·이론적 틀을 적용할 수 있게 됐다는 응답은 86%(32명)였다. 틀의 선택이 연구 설계에 미치는 영향을 분석할 수 있다는 응답은 79%(34명), 틀에 비추어 연구 결과를 평가할 수 있다는 응답은 68%(27명)였다. 온라인 응답자 34명 가운데 전체 발표에 몰입했다고 평가한 비율은 88%, 소집단 토의에 몰입했다고 평가한 비율은 80%였다.

서술 응답에서 강점으로 소집단·소회의실 활동을 언급한 응답자는 12명, 전문 진행자를 꼽은 응답자는 9명, 역할극과 배포 자료를 꼽은 응답자는 각각 7명이었다. 개선점으로는 소집단 경험의 편차를 7명이, 추가 용어 정의를 4명이, 주제의 복잡성과 자료 확대 요구를 각각 2명이 제시했다. 활동 경험의 편차는 참여자의 이론 이해도와 연구 경험, 발언의 편안함, 진행자의 토의 운영 방식으로 설명했다. 개선 방안으로 SLT 자료의 사전 배포, 참여자와 함께 시각적 도식 만들기, 이론 선택에 따른 연구문제의 차이를 초반부터 설명하기를 제안했다. 종료 후 자기보고와 전체 30%의 설문 응답률을 고려하면, 결과는 응답자가 인식한 학습 성과를 보여준다. 사전 능력이 있는 참여자의 추가 학습을 살피려면 사전·사후 평가를 함께 활용할 수 있다.

학술대회 발표의 평가와 연구 발전을 연결하는 피드백

학술대회 발표 피드백을 다룬 교육자료에서는 발표 평가에 교육연구자의 성장과 실천공동체 참여를 지원하는 기능을 더했다. Central Group on Educational Affairs(CGEA)는 2014년 지역 학술대회에서 형성평가와 총괄평가 양식을 시범 적용한 뒤 운영을 이어갔다. 총괄평가는 발표 내용과 전달 방식을 수치로 평가해 Best Presentation Award 수상자를 선정하도록 설계됐다. 형성평가는 개별 서술형 피드백으로 연구 발전을 돕도록 했다. 2020년 가을에는 2021년 온라인 학술대회에 대비해 총괄평가에 음질과 적절한 조명 등을 반영했다. 형성평가와 기본 운영 절차는 유지했다. 행사 전에는 발표자에게 준비 안내와 빈 평가 양식을 보내고, 발표 4–5개에 총괄평가자 2명과 형성평가자 1명을 배정했다. 평가자의 전문성과 발표 주제를 맞추고, 총괄평가자와 발표자의 소속이 겹칠 때의 이해충돌과 발표 일정도 고려했다. 행사 약 2–3일 후에는 총괄평가자 2명의 점수를 평균 내 수상자를 정했다. 발표자별로 두 종류의 피드백을 묶은 PDF를 개별 이메일로 전달했다. 다른 행사에서도 활용하도록 체크리스트, 일정, 이메일 예문, 평가 양식을 제공했다.

프로그램 평가에서는 실천공동체를 개념적 틀로 삼아 참여 경험, 공동체 형성, 피드백의 유용성을 살폈다. 2021년 6월 Zoom에서 포커스그룹을 4회 진행했으며, 평가자 4명과 발표자 4명, 총 8명이 참여했다. 녹화·전사 자료와 회의 후 기록을 독립적으로 검토하고, 주요 주제와 후속 실행 항목을 논의하는 관습적 내용분석을 수행했다. 8년간 형성평가와 총괄평가를 포함해 총 102건의 발표 평가를 진행했으며, 자원한 평가자 62명 중 19명(31%)은 2년을 초과해 참여했다. 이 기간 중 2020년 봄 학술대회는 COVID-19로 취소됐다. 포커스그룹에서 발표자들은 서술형 피드백이 구체적이고 실행 가능했으며, 발표와 후속 연구를 개선하고 학술지 투고를 준비할 동기를 얻는 데 유용했다고 밝혔다. 평가자들은 다른 학교의 연구를 배우고 발표와 토론에 참여할 기회를 얻었다. 연구자의 성장을 돕는 활동은 학술 봉사로 받아들였다.

운영 개선 과제로는 오리엔테이션과 반복 안내를 통한 사전 안내 내용 확인, 발표 기술과 연구 내용의 평가 비중 설명이 제시됐다. 형성평가자는 발표를 들으면서 피드백을 작성하는 데 시간 부담을 느꼈다. 이를 덜기 위해 사전 초안 작성이나 평가자 2명의 교대 운영을 제안했다. 2021년 온라인 학술대회에서는 평가자와 세션 진행자의 역할을 분리해 시간 관리 측면에서 긍정적인 평가를 받았다. 선임 연구자와 신진 연구자의 공동 평가, 평가자 간 피드백 공유도 제안했다. 포커스그룹 결과는 참여자가 경험한 피드백의 유용성과 참여 양상을 보여준다.

논의

워크숍 종료 후의 자기보고와 학술대회의 포커스그룹은 참여자가 인식한 학습과 유용성을 보여준다. 연구 수행의 변화를 판단하려면 이후의 적용 경험을 함께 살펴야 한다. HRD의 학습전이 관점에서는 워크숍에서 다듬은 연구문제와 발표 후 받은 조언이 연구계획서, 자료 수집, 원고 수정에 어떻게 반영되는지 추적하는 연구로 확장할 수 있다.

참고문헌

• Rougas, S., Berry, A., Bierer, S. B., Blanchard, R. D., Cianciolo, A. T., Colbert-Getz, J. M., Han, H., Lipner, K., & Teal, C. R. (2022). Applying conceptual and theoretical frameworks to health professions education research: An introductory workshop. MedEdPORTAL. https://doi.org/10.15766/mep_2374-8265.11286
• Bierer, S. B., Cianciolo, A., Han, H., & Hanson, J. (2022). A systematic approach to provide feedback to presenters at virtual and face-to-face professional meetings. MedEdPORTAL. https://doi.org/10.15766/mep_2374-8265.11288