이 누리집은
대한민국 공식 전자정부 누리집입니다.
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
과제 개요
이야기 완성 과제는 제공된 문장들을 논리적으로 연결하는 문장을 생성하는 것이 목표이다. 문장들의 맥락을 파악하고 연결고리를 찾는 과정을 통해 기계의 언어 이해 능력을 향상하는 데 기여할 수 있으며, 이어지는 문장을 생성하게 함으로써 언어 생성 능력을 측정할 수 있다. 이야기 완성 과제는 인공지능 챗봇, 자동 번역, 문서 요약 등 다양한 분야에서 활용될 수 있다. 아래는 이야기 완성 과제의 적절한 예시와 부적절한 예시이다.
이 과제는 국립국어원이 추진한 ‘2022년 이야기 완성 평가 말뭉치 연구 분석’ 사업의 결과물을 활용하여 ‘2023년 인공 지능 언어 능력 평가 경진대회’에서 진행된 과제이다. 올해 공개되는 상시 평가 과제는 2023년 경진대회와 달리 모델 크기 제한이 없고, 데이터를 활용한 증강을 제한하지 않는다. 평가 지표의 경우 작년 경진대회의 루지-1 점수(ROUGE-1), 블루알티 점수(BLEURT), 버트스코어(Bertscore) 세 가지 지표 중 루지-1 점수(ROUGE-1)만 이용하여 평가한다.
항목 |
입출력 |
내용 | 비고 |
||
적절한 예시 1 |
입력 | 문장 1 |
나는 입사하고 나서 몇 달 동안은 조심스럽게 행동했다. | 주어진 예시의 1번 문장에서는 입사 후 초기 화자의 태도를, 3번 문장에서는 달라진 화자의 태도에 대한 동료들의 반응을 말해주고 있습니다. 특히, 3번 문장은 '그랬더니' 로 시작하는데, 이는 앞선 내용이 원이이 되고 그 결과가 뒤에 이어짐을 나타냅니다. 2번 문장은 입사 이후 몇 달이 지나고 더 나아가 회사 분위기를 다 파악할 정도의 시간이 지나면서 화자의 태도가 어떤 식으로 변화했는지를 설명하고 있습니다. 2번 문장의 앞부분은 논리 흐름상 1번 문장 뒤에 자연스럽게 이어지며, 2번 문장의 뒷부분 '눈치껏 내 성격을 드러냈다'는 3번 문장의 '그랬더니'의 지시 대상을 보여 줍니다. 그러므로 주어진 예시의 2번 문장은 1번과 3번 문장 사이에 들어가기에 적절하다고 할 수 있습니다. |
|
문장 3 | 그랬더니 동료들은 첫인상과 다른 나의 모습에 놀랐다. | ||||
출력 | 문장 2 |
회사 분위기를 파악하고 나서는 눈치껏 내 성격을 드러냈다. | |||
부적절한 예시 |
입력 | 문장 1 |
나는 목표했던 일을 이루지 못할까 봐 떨렸다. | 1번 문장은 현 상황에 대한 화자의 감정을, 3번 문장은 앞의 상황으로 인한 화자의 감정을 드러냅니다. 1번 문장과 3번 문장 사이에서 화자의 심경에 변화('떨림'에서 '뿌듯함, 시원한 감정'으로 변화)가 생겼습니다. 그러므로 이 두 문장을 자연스럽게 이어주기 위해서는 이러한 심경 변화의 원인이나 심경 변화를 일으킬 수 있는 상황이 제시되어야 합니다. 그러나 2번 문장에는 노력에 대한 화자의 생각이 드러나 있을 뿐, 화자의 심경 변화에 대한 원인을 추론할 수 있는 정보는 없습니다. 그 결과, 주어진 맥락에서 2번 문장은 부적절하다고 할 수 있습니다. |
|
문장 3 | 나는 뿌듯함과 시원한 감정이 동시에 들었다. | ||||
출력 | 문장 2 |
나는 노력이 중요하다고 생각한다. |
이야기 완성 과제는 주어진 '문장 1'과 '문장 3'을 논리적으로 연결하는 '문장 2'를 생성하는 것이 목표이다. 생성된 문장은 문맥적으로 일관성 있고, 문법적으로 정확하며, 논리적으로 '문장 1'과 '문장 3'을 연결할 수 있어야 한다.
분류 |
내용 |
예시 |
자료형 |
|||
입력 |
sentence1 |
"나는 할아버지 댁에 건너가기 전에 어머니께 연락을 드렸다." |
문자열 |
|||
sentence3 | "나는 어머니께 정확히 언제 돌아올지 모르겠다고 말했다." | 문자열 | ||||
출력 |
sentence2 |
"어머니는 나에게 언제 돌아올 것인지 물으셨다." |
문자열 |
|||
평가 |
ROUGE-1 |
데이터 세트의 구성
구분 | 훈련 | 검증 | 평가 |
자료 구모(건) | 120,140 | 15,017 | 15,018 |
평가 지표: 루지-1(ROUGE-1) 점수
기준 모델(baseline model):
-> 이 과제의 기준 모델은 깃허브(github)를 통해 공개되어 있다.
- https://github.com/teddysum/Korean_SC_2023
대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.
- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.
- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.
- 라이선스에 문제가 없는 모델을 개발하여야 한다.
- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.
- 외부 데이터 추가 사용 가능
- 외부에 공개된 모든 데이터를 학습 데이터로 사용 가능
- 언어 모델을 이용하여 증강 후 학습 데이터로 사용 가능
시스템 사용 방법: 알립니다 → 사용 안내 참고
문의: 진행 중 과제 → '이야기 완성' 과제 → 문의