이 누리집 대한민국 공식 전자정부 누리집입니다.
분야별 누리집
점검 중
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
1. 과제 개요
‘글쓰기 채점 능력 평가’는 주어진 논증적 글에 대해 인공지능이 인간 평가자의 채점 기준을 모사하여 점수를 산출하고, 그 근거를 생성하는 능력을 평가하기 위한 과제이다. 이 과제는 국립국어원의 ‘글쓰기 채점 자료 말뭉치’를 활용하여 구축되었으며, 단순 점수 예측을 넘어 점수 산출의 논리적 근거까지 함께 생성하는 능력을 요구한다. 이 과제의 입력은 논증적 글의 주제와 본문이며, 출력은 내용(Content), 구성(Organization), 표현(Expression) 세 영역에 대한 1~5점 범위의 점수와 각 점수에 대한 산출 근거이다. 참가 모델은 각 논증적 글을 읽고 평가 영역별 점수를 산출해야 하며, 해당 점수를 부여한 이유를 실제 논증적 글 내용에 기반하여 제시하여야 한다.
모델 입력 예시 | 모델 출력 예시 |
[역할] 너는 한국어 논증적 글을 일관되게 직접 채점하는 평가자이다. essay_text를 읽고 content, organization, expression 세 기준을 모두 평가하라. ... [출력 형식] { "content": { "score": 1~5, "rationale": "content 판단 근거" }, "organization": { "score": 1~5, "rationale": "organization 판단 근거" }, "expression": { "score": 1~5, "rationale": "expression 판단 근거" } } [prompt_text] 디지털 세계 또는 온라인에서 잊힐 권리란, 인터넷에서 사생활 침해 또는 명예훼손이 발생한 개인 정보에 대해 검색 엔진에 정보 삭제를 요청할 수 있는 권리를 말한다... 디지털 미디어에서의 잊힐 권리 보장에 대한 자신의 의견을 논리적으로 제시하는 글을 쓰시오. [essay_text] 저는 디지털 세계 또는 온라인에서의 잊힐 권리 보장에 대해 찬성하는 입장이기 때문에 잊힐권리의 법제화가 이루어졌으면 좋겠습니다. 우선 잊힐권리는 개인의 사생활 보호를 위해 꼭 보장되어야 합니다... | { "content": { "score": 3, "rationale": "논증적 글은 잊힐 권리에 대한 찬성 입장을 명확하게 제시하고 있지만, 근거의 깊이가 부족하다. 개인의 사생활 보호, 사회 복귀 지원, 허위 사실 유포 피해자 보호 등 다양한 이유를 언급했지만, 각 주장에 대한 구체적인 사례나 통계 자료 없이 일반적인 주장으로만 구성되어 있다." }, "organization": { "score": 4, "rationale": "논증적 글은 서론, 본론, 결론의 구조가 명확하게 드러난다. 서론에서는 자신의 입장을 밝히고, 본론에서는 잊힐 권리 보장의 필요성을 세 가지 측면으로 나누어 논증하고, 결론에서는 자신의 입장을 다시 한번 강조한다." }, "expression": { "score": 3, "rationale": "논증적 글의 문장은 대체로 이해하기 쉽지만, 어휘 선택이나 표현 방식에서 다소 어색한 부분이 있다. 문장 구조가 단순하고 반복적인 표현이 많아 다소 지루한 느낌을 준다." } } |
<표 1> 글쓰기 채점 능력 평가의 모델 입출력 예시
2. 과제 정의
완성된 한 편의 논증적 글에 대한 인공지능의 채점 능력을 평가하기 위한 것으로, 단순히 점수를 예측하는 것을 넘어 인간 평가자의 판단 기준을 얼마나 정교하게 모사할 수 있는지를 측정하는 데 목적이 있다. 예선에서는 모델이 예측한 점수와 인간 평가자의 점수를 비교하여 평균 제곱근 오차(Root Mean Square Error, RMSE)를 산출함으로써 절대적인 점수 예측 정확도를 측정한다. 또한 모델이 산출한 점수의 상대적 순위가 인간 평가자의 순위와 얼마나 일치하는지를 평가하기 위해 Spearman 순위 상관계수(Spearman’s rank correlation coefficient)를 함께 사용한다. 근거 평가는 LLM Judge(Qwen3.6-35B-A3B, 4비트 양자화, Q4_K_M GGUF)를 활용하여 평가한다. 최종 점수는 지표별로 내용, 구성, 표현의 평균 점수를 산출한 뒤 지표별 순위를 0~1 범위로 정규화하고 지표별 비중을 적용하여 최종 점수를 산출한다.
평가지표 | RMSE | Spearman | LLM Judge |
비율(%) | 45 | 45 | 10 |
<표 2> 예선의 평가 지표 비율
3. 데이터 세트의 구성
데이터 세트는 훈련(train), 검증(validation), 시험(test) 데이터로 분할하여 제공한다.
*시험 데이터 공개 계획 없음
| 훈련 | 검증 | 시험 |
자료 수 | 2000 | 400 | 400 |
<표 3> 데이터 규모
4. 평가 과정
- 순위표 기반 정량 평가는 각 평가 지표별 순위를 산출 후 하나의 통합 점수로 치환하여 진행
- 순위표 기준 평가 지표 점수 상위 50개 팀을 대상으로 정성 평가(말평 아레나) 진행
- 말평 아레나 정성 평가 시, 생성 결과물(점수 및 채점 근거)에 대한 국어 전문가의 상대적 평가를 병행
- 순위표 기반 정량 평가 및 말평 아레나 정성 평가, 발표 평가 결과를 합산하여 수상작 선정
평가 과정 | 순위표 기반 정량 평가 | 말평 아레나 정성평가 | 발표 평가 |
점수 | 70 | 30 | 50 |
<표 4> 평가 단계별 최종 순위 반영 점수
5. 대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 개인 또는 팀을 구성하여 참가할 수 있다.
- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.
- 팀장은 팀원의 전자 우편 주소(회원 가입된 전자 우편 주소)를 입력하여 팀을 구성할 수 있으며, 모든 팀원이 참가 신청에 동의하면
팀 구성이 완료된다.
- 팀장은 팀 탈퇴가 불가능하다.
- 팀은 최대 5명 이내로 구성한다.
- 동일 참가자는 복수 팀에 중복 등록할 수 없다.
- 예선 마감 이후 팀 구성 변경은 원칙적으로 제한한다. 다만, 불가피한 사유가 있는 경우 운영진 승인 후 변경할 수 있다.
- 모델을 제출하지 않은 경우에 한하여 참가를 취소할 수 있다.
- 참가를 취소한 경우에는 다른 팀의 팀원으로 참가할 수 있다.
- 동일인이 복수 팀에 참여하거나 동일·유사 모델을 복수 팀 명의로 반복 제출하여 제출 횟수 제한을 우회한 사실이 확인될 경우,
해당 팀의 추가 제출 제한 또는 심사 제외 조치를 취할 수 있다.
6. 모델 제출 규정
- 팀당 모델 제출 횟수는 경진대회 참가 기간(예선) 중 4회를 원칙으로 한다.
- 모델 평가가 정상적으로 진행되지 않은 경우는 제출 횟수에서 차감하지 않는다.
- 모델은 1회 제출 후 72시간이 지나야 다음 제출을 진행할 수 있다.
- 제출 모델은 단일 L40s 48GB GPU 1장 내에서 독립적으로 구동, 즉 추론 가능하여야 한다(14b 이하 권장).
- 여러 모델을 순차 실행하거나 앙상블하는 방식은 허용할 수 있다. 다만, 전체 추론 과정은 단일 L40s 48GB GPU 1장 내에서
수행 가능하여야 한다(14b 이하 권장).
- 외부 API를 통해 호출하는 모델(OpenAI API 등) 또는 비공개 모델은 제출할 수 없다.
- 라이선스에 문제가 없는 모델을 개발하여야 한다.
- 모델 출력이 파싱이 되지 않는 경우, 2번 재시도 후 0점 처리한다.
7. 인공지능(AI)말평 사용 안내
- 인공지능(AI)말평 → 알립니다 → 사용 안내 메뉴 내 동영상 참고
8. 문의
- 진행 중 과제 → “글쓰기 채점 능력 평가” 클릭 → 문의(들어가기 후 작성 가능)