인공지능 활용 능력을 인공지능이 평가하는 시대가 열리고 있다. 최근 한국경제가 소개한 직무역량검사는 응시자가 AI와 협업해 과제를 해결하는 과정을 분석한다. 문제를 정의하고 질문을 구성하며 결과를 검토하는 능력을 살펴본다는 점에서 방향은 타당하다. 이제 중요한 것은 AI 사용 경험보다 AI로 어떤 문제를 해결하느냐이기 때문이다.
필자는 AI 역량평가가 교육과 산업현장의 생산성을 높일 수 있다고 본다. 많은 응시자의 작업 기록을 분석하고 같은 기준으로 피드백을 제공한다면 평가자의 시간과 비용을 줄일 수 있다. 최종 결과만 보던 시험에서 벗어나 질문의 수정, 오류 발견, 대안 탐색까지 살펴볼 가능성도 있다. 교육생에게 부족한 역량을 알려주는 진단 도구로서 활용 가치가 크다.
그러나 빠른 채점이 곧 객관적인 것은 아니다. 평가 AI도 사람이 정한 기준과 학습자료의 영향을 받는다. 정답처럼 보이는 표현을 선호하거나 익숙한 문제해결 순서를 높게 평가한다면 새로운 접근은 불리해질 수 있다. 모델이나 설정이 바뀌었을 때 같은 수행에 비슷한 점수가 나오는지도 확인해야 한다. 일관성과 타당성은 검증해야 할 조건이다.
특정 플랫폼에 익숙한 사람이 높은 점수를 받는다면 그것이 보편적인 AI 활용 능력인지, 해당 도구의 숙련도인지도 따져야 한다. 유료 서비스 이용 경험과 교육 기회의 차이가 점수에 반영될 가능성도 있다. AI가 만든 결과물을 다른 AI가 평가할 때 두 시스템이 비슷한 오류를 공유한다면 잘못된 답이 좋은 평가를 받을 수 있다. 이는 특정 서비스의 결함을 단정하는 것이 아니라 평가 설계에서 검증해야 할 위험이다.
인공지능 드론 교육과 현장 활용을 연구하는 필자가 중요하게 보는 역량은 판단과 책임이다. 실종자 수색에서 AI가 제시한 위치를 그대로 믿는 사람보다 영상의 한계를 파악하고 재확인을 요구하는 사람이 더 유능할 수 있다. 문서를 빠르게 완성하는 능력과 위험한 결론을 멈추는 능력은 함께 평가해야 한다. 그럴듯한 산출물만으로 실무 능력을 설명할 수는 없다.
따라서 AI 역량평가는 세 가지 원칙을 갖춰야 한다. 첫째, 평가 항목과 점수의 근거를 응시자가 이해할 수 있어야 한다. 둘째, 실제 업무 성과와의 관련성을 외부 전문가가 독립적으로 검증해야 한다. 셋째, 채용과 승진처럼 개인의 기회를 좌우하는 판단에는 인간의 검토와 이의제기 절차가 보장돼야 한다. 업무별 특성을 반영하고 도구가 바뀌면 평가 기준도 다시 점검해야 한다.
필자는 AI가 인간을 평가하는 일을 거부하지 않는다. 다만 인간의 가능성을 하나의 점수로 확정하는 일에는 신중해야 한다. 인증의 목적은 사람을 줄 세우는 데 머물지 않고 더 잘 배우고 안전하게 활용하도록 돕는 데 있어야 한다. AI는 평가의 효율을 높일 수 있지만 그 평가를 신뢰할 근거와 최종 책임은 인간이 세워야 한다.
후원하기




























