조직 퍼포먼스 개선 해결책의 '평가'에 관하여: Kirkpatrick의 4수준 평가 모형과 Phillips의 모형을 중심으로

---

“The evaluation heavyweight match‛와 교재 5장을 살펴보았을 때, 퍼포먼스 개선 해결책을 평가함에 있어 Kirkpatrick의 모형과 Phillips의 모형의 의의와 한계에 대해 고민해 볼 수 있었다. Kirkpatrick은 1959년, 조직의 성과를 측정하는 4가지 준거단위를 명시한 ‘4수준 평가’ 모형을 제시했다. 실제 적용방식도 간단하여, 전문가가 아닌 일반적인 교육 담당자들이 쉽게 적용할 수 있다는 이점이 있기에 기업에서의 교육 평가, 퍼포먼스를 개선하기 위한 해결책 평가에서 하나의 기준이 되어 널리 사용되고 있다는 의의가 있다.

  ‘4 수준 평가’ 모형은 교육 프로그램의 성과를 각각 ‘1단계: 반응평가’, ‘2단계: 학습평가’, ‘3단계: 행동평가’, ‘4단계: 결과평가’으로 나누어 설명하고 있다. Kirkpatrick의 ‘4‘4 수준 평가' 속 각 단계에 대한 구체적인 설명은 다음의 표와 같다.

 

단계	평가 대상	주요 내용
1단계	반응평가	- 프로그램에 대한 교육 참가자의 만족도 평가. 학습자 대상의 설문지 형식으로 프로그램 종료 후 실시한다. 프로그램 구성과 내용, 실시 환경 관련 요소에 대한 반응을 평가한다.
2단계	학습평가	- 학업성취도를 평가하는 단계로, 교육 훈련이 끝난 이후 이전과 비교하여 개선된 참여자의 지식, 기술, 태도, 행동의 습득을 평가한다.
3단계	행동평가	- 프로그램을 통해 참여자가 습득한 가치들을 실제에 적용할 수 있는가를 평가하는 단계로, 현직에 돌아와서 얼마나 행동으로 나타낼 수 있는가를 알아보는 전이평가이다.
4단계	결과평가	- 궁극적으로 계획한 교육 프로그램이 개인과 조직 전체의 차원에서 얼마나 이익을 가져다주었는지 평가하는 단계이다. - 여기에서의 이익이란, 조직의 성과와 생산성에 미친 영향이라고 해석할 수 있다.

 

 

 그러나 이러한 Kirkpatrick의 44 수준 평가 모형은 명확한 한계점이 존재한다. 첫째, 각 단계 사이의 연관성에 대한 설명이 부족하다는 것이다. ‘1단계: 반응평가’에서 학습자의 즐거움, 만족과 같은 비정형적인 결과를 확인하였다 하더라도 이것이 ‘2단계: 학습평가’, ‘3단계: 행동평가’, 궁극적으로 ‘4단계: 결과평가’까지 연쇄적으로 나아가 긍정적인 행동면화와 조직의 발전까지 이어진다는 명확한 연구결과와 증거가 부족한 상황이다. 둘째, ‘4단계: 결과평가’ 수준에서 이중적인 결과가 도출될 수 있다는 모호성이 존재한다. 즉, 교육훈련 프로그램의 긍정적 결과와 부정적 결과가 동시에 포함될 수 있다는 것이다. 예를 들어. 교육훈련에 너무 큰 비용을 투자하면, 프로그램으로 얻는 긍정적 가치를 넘어서서 오히려 순수한 ROI(Return On Investment)는 부정적 수치가 나올 수 있다.

 

 이러한 한계를 극복하고자 Phillips는 ‘ROI 평가모형 모형’를 제시했다. 필립스의 ROI 평가모형은 표현 그대로, 커크패트릭의 '4 수준4 평가모형'에 한 단계를 더 추가하여 평가의 마지막 단계인 ROI를 더한 것이다. 이와 같은 ROI의 계산 방식은 다음과 같다.

 

ROI (%) =	순수익(수익-비용)	×100
	비용

 

먼저 ROI가 구체적으로 어떻게 계산되고, 조직관리전략에 어떻게 사용되는가를 명확히 이해하기 위해서는 각 평가 단계의 흐름을 이해할 필요가 있다. 따라서 다음의 표에서 Phillips의 ‘ROI 평가모형 모형’을 살펴보도록 하자. 커크패트릭의 44 수준 평가모형에서 4단계 까지는 평가 수준의 개념 용어만 수정한 것으로 보이고, 가장 큰 차이는 ‘5단계: 재무 성과 (return on investment)’이다.

 

단계	평가 수준 개념	주요 내용
1 단계	- 반응 (reaction) - 만족 (satisfaction) - 활용 계획 (planned action)	- 프로그램에 대한 교육 참가자의 만족도 평가. 학습자 대상의 설문지 형식으로 일반적으로 프로그램 종료 후 실시한다. - 프로그램 구성과 내용, 실시 환경 관련 요소에 대한 반응을 평가한다.
2 단계	- 학습 (learning)	- 학업성취도를 평가하는 단계로, 교육 훈련이 끝난 이후 이전과 비교하여 개선된 참여자의 지식, 기술, 태도, 행동의 습득을 평가한다.
3 단계	- 적용 (application) - 실행 (implementation)	- 프로그램을 통해 참여자가 습득한 가치들을 실제에 적용할 수 있는가를 평가하는 단계로, 현직에 돌아와서 얼마나 행동으로 나타낼 수 있는가를 알아보는 전이평가이다.
4 단계	- 사업 성과 (business impact)	- 궁극적으로 계획한 교육 프로그램이 개인과 조직 전체의 차원에서 얼마나 이익을 가져다주었는지 평가하는 단계이다. -여기에서의 이익이란, 조직의 성과와 생산성에 미친 영향이라고 해석할 수 있다.
5단계	- 재무 성과 (return on investment)	- 프로그램 투입 비용 대비 이익을 의미한다. - 즉, 프로그램의 금전적 가치 산출을 평가하는 것을 말한다.

 

이렇듯, Phillips는 ‘ROI 평가모형 모형’는 실용성을 높이고 교육활동의 경제적 성과를 중점적으로 발전시켰다는 의의가 있다. 그러나 ROI 계산은 그리 쉽게 실제 조직 실무에 적용하기 쉽지 않고, 충분한 경험과 노하우를 갖춘 평가자여야지만 원활하게 사용 가능하다. 나아가 조직 내의 상황마다 매우 다양한 방식이 적용되어 결괏값이 하나로 정해지지 않고, 차이를 나타낼 수 있다는 부분이 한계로 지적된다.

---

참고문헌

1. Stoel, D. (2004, January). The evaluation heavyweight match. T&D, 58(1), 46-48.

2. 정재삼. (2004). 교육프로그램평가. 서울: 교육과학사.