국제사회의 ODA 사업평가 품질관리 현황과 시사점

이은석; 박차미

추천

검색

자료유형: 연구보고서

저자정보: 이은석 박차미

저널정보: 대외경제정책연구원 [KIEP] ODA정책연구 ODA 정책연구 제22권 제4호

발행연도: 2022.12

수록면: 1 - 93 (0page)

이용수

📌

연구주제

📖

연구배경

🔬

연구방법

🏆

연구결과

초록· 키워드

오류제보하기

개발효과성 제고 논의와 더불어 국제개발협력에서 평가의 역할이 강조되면서 평가 품질관리의 중요성도 꾸준히 주목받아 왔다. 대부분의 국제기구와 공여기관은 평가 제도와 체계, 수행절차에 맞춰 평가 품질관리를 실시하고 있다. 우리나라에서는 2014년부터 ODA 시행기관의 자체평가가 의무화되면서 평가를 수행하는 기관과 평가 건수가 대폭 증가해 왔으나, ODA 사업평가의 품질 문제는 지속적으로 제기되고 있다. 무엇보다 평가 품질에 대한 인식이 미흡하고 평가보고서의 품질을 검토하는 체계가 미비한 기관이 많다는 점이 문제로 지적되고 있다. 본 연구는 우리나라 ODA 시행기관의 평가 품질을 제고하기 위해 평가 품질기준 수립과 품질관리 체계 도입이 중요하다는 인식하에 국제사회의 ODA 평가 품질관리 체계와 적용 현황에 대한 기초연구를 통해 시사점을 도출하고 후속 연구의 방향을 제시하는 데 목적을 둔다. 특히 평가 품질개선을 위한 품질관리 제도 도입의 첫 단계로서 평가의 최종 결과물인 평가보고서에 대한 품질검토 체계와 방법에 중점으로 두었다. 제2장에서는 유엔 개발기구를 중심으로 국제기구의 전반적인 평가 품질관리 현황을 정리하고, UNICEF와 UNFPA 2개 국제기구의 사례를 심층 분석하였다. 유엔기구가 품질관리 제도를 도입한 초기에는 지역·국가 사무소 차원에서 실시하는 분권형평가의 품질을 강화하는 데 목적이 있었으나, 이후 보다 확장된 범위에서 평가를 관리하는 한 축으로 발전하였다. UNICEF와 UNFPA는 각각 GEROS와 EQAA라는 평가 품질관리 시스템을 구축하고 기 수립된 품질기준을 바탕으로 평가 전 과정과 평가보고서에 대한 품질 보증 및 검토를 상시로 수행하고 있으며, 기구 본부의 평가부서에서 실시하는 평가(중앙평가)까지 확대하여 통합적인 평가 품질검토를 실시하고 있다. 타 유엔기구들도 외부 전문가를 활용한 품질검토 제도의 기반을 유사하게 갖추고 있다. 제3장에서는 주요 양자 공여기관의 품질관리 동향을 살펴본 후, Norad와 KOICA 2개 공여기관의 품질검토 체계의 특징을 분석하였다. 주요 공여국 중 유엔기구와 유사한 평가유형을 가지고 있는 스웨덴이나 노르웨이의 경우에도 분권형평가에 대한 보고서 품질 강화를 품질검토의 주요 목적으로 설정하고 있다. 다만 주요 공여국의 현행 품질검토는 유엔기구와 같이 제도화된 체계라기보다는 내부적 평가관리의 일환으로 실시하는 경우가 많다. 대다수 양자 공여기관의 내부 품질검토 또는 메타평가와 유사한 Norad의 외부 품질검토와 비교할 때, 독립평가패널 품질검토위원회를 운영하여 상시적으로 내·외부 혼합형 품질검토를 수행하는 KOICA의 품질검토 체계는 매우 특징적이다. 사례분석한 4개 기관의 ODA 사업평가 품질관리의 특징을 종합하면 다음과 같다. 평가 품질관리는 유엔평가그룹의 평가 규범 또는 OECD DAC의 평가 품질기준 등 국제적으로 합의된 개발평가 원칙을 토대로 대부분 기관의 평가 제도에 내재되어 있다. 품질검토는 객관성을 확보하기 위해 외부 전문가를 활용하며, 체크리스트 형식의 명확한 세부기준을 수립하여 주로 상시적으로 실시된다. 평가 품질 강화라는 1차적 목적 외에도 평가의 품질검토는 평가결과의 활용 여부 판단, 평가 데이터의 축적 및 우수사례 발굴 등 다양한 목적으로 활용될 수 있다. 따라서 품질검토 과정에서 일관성과 절차적 타당성을 확보하고 결과의 활용도를 높이는 것이 평가 품질관리 제도 설계에 중요할 것으로 분석된다. 본 연구를 통해 ODA 사업평가 품질검토의 도입이 우리나라 ODA 시행기관의 평가 품질을 개선한다는 목표에 부합한다는 점을 확인할 수 있었다. 첫째, 평가 품질검토를 위한 기준을 수립함으로써 품질관리 전반에 대한 절차와 기준을 제시하고, 이를 적용할 경우 품질관리 과정을 강화하고 품질관리 절차상의 일관성을 확보할 수 있다. 둘째, 사후 품질검토뿐 아니라 평가 관리자나 평가자에게도 평가 품질 확인을 위한 체크리스트를 제공하여, 평가 설계나 수행 과정, 평가결과 보고서 작성에 반영하도록 함으로써 전반적인 평가 품질 향상에 기여할 수 있다. 셋째, 품질검토는 평가 품질개선을 위한 정책결정의 근거가 될 데이터 축적의 기능으로서도 의미가 있다. 다만 평가 품질검토를 시행하는 데 필요한 제도적 기반, 조직적·인적 역량 및 비용 측면을 고려할 때, 우리나라 ODA 시행기관의 평가 품질관리 절차상 부담을 가중하는 결과를 낳지 않도록 신중히 설계할 필요가 있다. 따라서 품질검토의 활용 목적과 조치방안을 명확히 수립하고, 단기적으로는 미흡 보고서에 대한 보완과 조치 등 가시적 활용에 우선 초점을 맞춰야 할 것으로 보인다. 장기적인 관점에서는 우리나라 ODA 시행기관의 평가 품질관리 전반에 대한 가이드라인 수립이 필요하다. 이를 위해서는 개별 ODA 시행기관의 평가수행 절차와 조직적·인적 역량을 파악하는 것이 선행되어야 하며, 타 공여기관의 평가 품질보증 절차와 적용 현황에 대한 사례분석을 통해 각 평가관리 제도의 장단점 및 국내 적용방안에 대하여 추가적인 연구가 필요하다. 나아가 평가 품질관리 영역에서 국제개발협력위원회 사무국인 국무조정실의 역할과 시행기관에 대한 지원방안을 도출하는 것도 후속 연구로 추진할 필요가 있다.

The importance of quality management in development evaluations has become increasingly recognized, particularly in the context of efforts to improve development effectiveness. International organizations and donor agencies have established evaluation systems and processes to ensure quality of evaluations. In Korea, evaluation was made mandatory for ODA implementing agencies in 2014, resulting in a surge in the number of agencies conducting evaluations as well as evaluation reports they produce. However, there remains limited awareness among many institutions regarding the issue of quality in evaluations, with the lack of a system to assess the quality of evaluation reports, causing a particular concern. This study aims to explore the evaluation quality management systems and practices in place at international organizations and development agencies. The goal is to provide implications and recommendations for establishing quality standards for evaluation and introducing a quality management system to enhance the evaluation quality of Korea’s ODA. The study focuses on the quality assessment systems and methods leading up to the evaluation report, which is the final outcome of the evaluation process. Chapter 2 highlights the current management practices for evaluation quality at multilateral organizations, with a particular emphasis on the United Nations funds and programs. The chapter analyzes the cases of UNICEF and UNFPA in detail. Initially introduced to enhance the quality of decentralized evaluations at regional and country office levels, the quality management system has since evolved into a broader axis of evaluation management. Both UNICEF and UNFPA have implemented organization-wide evaluation quality management systems (GEROS and EQAA, respectively) and regularly conduct quality assurance and assessment of the entire evaluation process and reports based on relevant quality standards. Their integrated quality assessment includes central evaluations carried out by the evaluation departments of the organization headquarters. Similarly, other UN agencies have adopted comparable quality assessment systems, engaging external evaluators for the task. Chapter 3 examines the evaluation quality management practices of major bilateral donors and analyzes the quality assessment system in use at Norad and KOICA. In bilateral donor agencies, quality assessment is often conducted as part of internal evaluation management, unlike the standardized approach adopted by many UN agencies. Most bilateral donors, including Norad, undertake internal quality reviews or external meta-evaluations. KOICA has established the Independent Evaluation Panel to perform regular quality assessment which involves both internal and external reviews. The key characteristics of evaluation quality management identified from the four case studies can be summarized as follows: first, quality management is integrated into institutional evaluation systems based on widely adopted evaluation principles in development cooperation, such as the evaluation norms of the United Nations Evaluation Group or the evaluation quality standards of the OECD DAC; second, quality assessments are conducted on a rolling basis by external experts to ensure objectivity, using detailed checklists as a guide; and third, these assessments serve multiple purposes, including assessing the usability of evaluation results, accumulating evaluation data, and identifying best practices. To optimize the utilization of evaluation quality assessment system, it is essential to secure procedural legitimacy and consistency across the quality standards among those who conduct the assessment. To ensure the long-term effectiveness of evaluations undertaken by Korea’s ODA implementing agencies, it is crucial to develop guidelines for managing their overall evaluation quality based on an assessment of evaluation procedures as well as organizational and human capacity. A comprehensive analysis of the merits and challenges of quality assurance systems being used by other donors would yield insights into how evaluation quality management could be institutionalized in Korean agencies. Additionally, a follow-up research is required to identify the role of the Committee for International Development Cooperation in managing the quality of evaluations conducted by ODA implementing agencies and supporting them in improving evaluation quality management practices.

국문요약

제1장 서론
1. 연구 배경 및 목적
2. 연구 내용 및 방법

제2장 국제기구의 평가 품질관리 현황
1. 유엔기구의 평가 품질관리 현황 및 특징
2. 유엔아동기금(UNICEF)의 평가 품질관리 사례
3. 유엔인구기금(UNFPA)의 평가 품질관리 사례

제3장 주요 공여국의 평가 품질관리 현황
1. 주요 공여국의 평가 품질관리 현황 및 특징
2. 노르웨이개발협력청(Norad)의 평가 품질관리 사례
3. 한국국제협력단(KOICA)의 평가 품질관리 사례

제4장 결론 및 시사점

참고문헌

부록

Executive Summary

참고문헌 (0)

참고문헌 신청

참고문헌이 DBpia에서 서비스 중이라면, [참고문헌 신청]을 통해 등록해보세요

함께 읽어보면 좋을 논문

논문 유사도에 따라 DBpia 가 추천하는 논문입니다. 함께 보면 좋을 연관 논문을 확인해보세요!

이 논문의 저자 정보

이은석

소속기관

주요연구분야 사회과학 > 경제학

논문수 6 이용수 146

박차미

소속기관

주요연구분야 사회과학 > 경제학

논문수 3 이용수 79

최근 본 자료

전체보기

구분	그룹	데이터 항목
AI 학습용 데이터	원문	원문 PDF 파일
AI 학습용 데이터	원문 + 메타 (기본/상세)	원문 PDF 파일 및 서지정보 CSV
대량 구매용 데이터	B2B 구독 방식	특정 자료 한정으로 원문 접근 권한 부여
대량 구매용 데이터	URL 전달 방식	바로 PDF 뷰어를 열람할 수 있는 URL 제공

구분	그룹	데이터 항목
AI 학습용 데이터	기본 메타	발행기관명, 간행물명, 권호명, 권(vol), 호(issue), 통권, 발행연도, 발행월, 논문명, 저자명, 시작페이지, 종료페이지, 전체페이지, 상세페이지URL
상세 메타 데이터	발행기관 메타	발행기관 이명, 영문명, 창립연도, 홈페이지URL, 발행기관 소개
	간행물 메타	부제목, 간행물 유형, ISSN, ISBN, 최초발행연도, 폐간연도, 간행빈도, 발행주기, 등재사항, 이용수, 피인용수, 권호수, 논문수, 표지이미지
	논문 메타	작성 언어, 부제목, 대등제목, 목차, 키워드, 초록, 이미지, 참고문헌, 이용수, 피인용수, 논문활용도, DBpia통합주제분류, KDC분류, DDC분류, 한국연구재단분류, UCI, DOI
	저자 메타	소속기관, 소속부서, 직급, 연구분야, 연구키워드, 이용수, 피인용수, 저자 논문활용도

구분	그룹	데이터 항목
※ 결합형/맞춤형 메타 데이터는 신청 내용에 따라 다양하게 제공 가능
이용순위 정보	주제분야별 많이 이용된 논문	“인문학”에서 많이 이용된 논문 TOP100
	이용기관별 많이 이용된 논문	“중고등학교”에서 많이 이용된 논문 TOP100
	세부기관별 많이 이용된 논문	“서울대학교”에서 많이 이용된 논문 TOP100
	키워드별 많이 이용된 논문	“Chat GPT”에서 많이 이용된 논문 TOP100
키워드 정보	많이 이용된 키워드	특정기간/분야/저널 내 많이 이용된 키워드
	많이 발행된 키워드	특정기간/분야/저널 내 많이 발행된 키워드
	많이 검색된 키워드	특정기간/분야/저널 내 많이 검색된 키워드
	연구 트렌드 키워드	특정 키워드 연관 연구동향 분석 데이터 키워드

논문 기본 정보

초록· 키워드

AI 요약

연구주제

연구배경

연구방법

연구결과

주요내용

목차

참고문헌 (0)

함께 읽어보면 좋을 논문

이 논문의 저자 정보

최근 본 자료

댓글(0)