0. 들어가는 말

페이스북에 공감가는 글이 올라왔습니다. 가끔 정부과제 평가에 들어가고, 드물게는 평가를 받는 위치에서 서기도 하는 1인으로서 평가자 그룹의 일원 입장 또는 피 평가자 입장에서 아래와 같은 현상을 드물지 않게 봅니다.

(페이스북 게시글, 클릭하면 게시물과 댓글을 보실 수 있습니다.)


1. 이전에 쓴 글

이와 관련해서 예전에 제가 쓴 글도 있습니다. 국가 R&D 평가와 기획에 일단 들어간 뒤 벌어지는 일들에 대하여 몇년 전에 느낌을 적은 글입니다. (요즘 상황과는 잘 맞지 않는 부분도 있기는 하겠지만 ..)

국가적 큰 사업 평가 --> http://hl1itj.tistory.com/2

국가적 큰 사업 기획 --> http://hl1itj.tistory.com/3


2. 문제의 원인

이번에는 평가자 선정에 관한 부분에만 집중을 해보겠습니다. 지금의 많은 평가자 선정 과정은 (아닌 것도 있습니다. 일부 큰 사업의 경우, 진짜 전문가를 찾으려는 노력이 들어가기도 합니다. - 이 장면에서도 할 말이 많이 있으시겠지만, 단언컨데 보통의 평가자 선정 프로세스보다는 좋을 가능성이 높다는 것이 제 생각입니다.) 

평가관리기관의 DB에 있는 인력풀에 비슷한 '분야'의 전문가라고 '스스로 주장한' 사람들 가운데 컴퓨터가 RANDOM하게 (하지만 학연지연을 배제하면서 나름 공정하게) 선정한 후보들에게 평가에 '임박한' 시점에 전화를 걸어서 '시간 되냐''묻는' 시스템 입니다. (이 인력풀은 관리 기관끼리 일부 공유 되기도 합니다. 많은 교수 또는 유사한 전문가라고 분류되는 그룹의 사람들은 이 인력풀에 자신의 정보를 개정하라는 메일을 주기적으로 받습니다.)

문제 1. '분야'가 좀 그렇습니다. 인력 DB의 기술 분야 분류표는 참 애매한 물건입니다. 코에 걸면 코걸이, 귀에 걸면 귀걸이 모드라서

문제 2. '스스로 주장'하는 것이 문제입니다. 위 문제1과도 상관이 있지만, 자기가 어떤 분야의 전문가라고, 전문성이 있다고 주장하는 것이 과연 맞을까 싶기도 합니다. 학력이나, 어떤 기관에 재직하는가 하는 증명을 요구하는 경우는 있지만, 실제 전문성은 누구도 검증받지 않습니다. 모든 IT 언저리 말잘하는 분들이 빅데이터 전문가 였다가, IOT 전문가 였다가, 핀테크 전문가였다가, 지금은 인공지능 전문가라서

문제 3. '임박한'이 문제입니다. 진짜 전문가들은 바쁩니다. 며칠 전에 시간을 내기 쉽지 않습니다. 진짜 전문성을 발휘하느라고, 또 사업하느라고, 또는 연구하느라고, 또는 수업하느라고, 또는 다른 제안서 쓰느라고, 어디선가 너 없으면 나라가 망하는데 꼭 참가하라고 하는 곳이 많아서

문제 4. '시간되냐'가 문제입니다. 진짜 전문가는 시간이 잘 안되는 것도 문제지만, '시간되냐'가 아니라, 구체적으로 이런 저런 평가를 하는데 '그 분야를 잘 아시냐' 고 물어보지 않아서

문제 5. '묻는' 이 문제입니다. 진짜 전문가는 바쁩니다. 묻지 말고 '평가는 이런 방식으로 진행되고, 자료는 언제 받으실 수 있고, 평가비는 얼마를 드립니다.' 라고 안내를 하지 않아

진짜 전문가는 잘 안 옵니다.

* 그 결과 우리는 평가장에서 완전 이상한 소리를 하는 평가위원을 보게 됩니다.
* 선정 과정 평가가 나중에 완료 평가보다 훨씬 중요한데, 그 차이가 없습니다.

3. 대안

-- 문제는 현 상황에서, 진짜 전문가를 모실 수 있는, 훌륭한 대안은 없습니다. -- ㅠㅠ

당연히, 정부나 평가를 주관하는 기관에서도 위 문제를 다 알고 있습니다. 제대로 평가 하려면 제대로 된 전문가가 필요한데, 진짜 전문가는 하루 종일 시간을 내기도 어렵고, 또 20만원~30만원 받기 위해서 갈 사람도 없습니다.
 
지금 상황에서 제대로 된 전문가가 그런 평가에 참가 한다면, 그것은 분명 애국적인 행위이자 세금을 내시는 국민을 위한 봉사이자, 나라를 구하는 일입니다. (좋은 질문과 평가를 해주시는 분들에게 존경하는 마음을 잃지 말아주시면 감사)

훌륭한 전문가들을 모시기 위한 시간과 예산이 기관에는 없습니다. - 의지로 되는 일이 아닙니다. -

-- 별로 훌륭하지는 않지만, 어쩌면 당장 할 수 있는, 최악을 피할 수 있는 대안은 --

  1. 평가자 선정 과정에서 ARS로 평가 분야에 관한 기초적인 질문 몇 가지를 한 뒤, 정답율이 80% (조정가능) 이상인 분만 모시는 겁니다. 이 정도 하면 평가장에서 완전 '뻘소리' 할 가능성이 조금 줄겠죠.

  2. 평가에 선정되면 평가자들에게 자료를 먼저 보내줍니다. (지금은 이런건 절대 없습니다. - 비밀 어쩌구 때문에) 그리고, 그걸 읽고 몇 줄이라도 반드시 느낌을 쓰는 경우에만 평가에 참여 시킵니다.

  3. 피평가자에 의한 평가자 평가를 합니다. 피평가자에게 평가자 좌석 배치 맵을 주고, 이 사람은 전문성이 없다, 이 사람은 평가자로서 기본적인 자질이 없다. 점수를 매기게 합니다. 거의 바닥 점수를 여러 명에게 받은 피 평가자는 평자가 풀에서 블랙리스트에 올립니다. (피평가자가 해당 분야 전문가인 경우가 많기 때문에 이 방법은 반드시 성공합니다, 또 attitude도 마찬가지죠. 한 군데서 사고치는 사람은 비슷한 환경에서 다시 사고를 칠 가능성이 100% 입니다.)

  4. 대신 평가비를 대폭 올리는 겁니다. (적어도 평가를 다녀온 뒤 평가자 입장에서도 인생무상을 느끼지 않을 정도로)

* 그래도 평가자를 구할 수 없다면, 그런 사업은 국가에 필요가 없는 거라고 정의를 하고, 사업을 하지 않습니다.

*


반응형
Posted by hl1itj
,