과제 개요

자연어 추론(Natural Language Inference)은 두 문장의 관계를 함의/중립/모순 중 하나로 분류한다. 국립국어원에서는 슈퍼글루(SuperGLUE)의 커미트먼트뱅크(CommitmentBank)를 참조하여, 2020년과 2021년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 확신성 추론 말뭉치를 구축하였다. 이 말뭉치는 일반적인 자연어 추론 말뭉치와는 달리, 화자의 인식에 비추어 맥락과 제시 문장 간 함의 관계를 정도성으로 판단한다. 데이터 세트는 제시 문장(prompt)에 대하여 주어진 맥락(context)을 고려하였을 때 화자가 확신하는 정도를 1~7 사이의 실수(float)로 표현하는 방식으로 구성되어 있다. 숫자가 1에 가까운 낮은 숫자일수록 제시된 문장에 대해 화자가 확신하는 정도가 낮고, 숫자가 7에 가까운 높은 숫자일수록 화자가 확신하는 정도가 높다고 해석한다.



 확신성 추론 과제는 국립국어원에서 2020년과 2021년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 구축한 “추론_확신성 분석 말뭉치”를 활용한다. 해당 데이터 세트의 확신성 점수는 1~7 사이의 실수로 표현되어 있다. 확신성 추론 과제는 입력(Context, Prompt)에 대해 실숫값을 예측하는 방식으로 정의되어 있다. 공개된 ‘추론_확신성 분석 말뭉치’에는 여러 명의 주석자(8~20명)가 화자의 확신성을 평가한 결과가 모두 주석되어 있는데, 이 과제에서는 평균을 정답 점수로 간주한다. 참가자들은 평가 데이터 세트의 입력(context, prompt)을 기반으로 1~7 사이의 확신성 점수를 예측한다. 

데이터 세트의 구성

 

평가 지표: MSE 



기준 모델(베이스라인 모델): xml-roberta-base 기반 학습 모델

- https://github.com/teddysum/korean_NLI_baseline





대회 참가 규정

- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.

- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.

- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.

- 라이선스에 문제가 없는 모델을 개발하여야 한다.

- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.

- 모두의 말뭉치를 포함한 외부에 공개된 데이터는 사용이 가능하다(저작권 등 책임은 참가 팀에게 있음). 과제 데이터(말뭉치)를 초거대언어모델(LLM) 기반 자동 증강하여 사용할 수 있다.





시스템 사용 방법: 알립니다 → 사용 안내 참고 

문의: 진행 중 과제 → 문의