과제 개요

‘자연어 추론(Natural Language Inference)’ 또는 ‘함의 분석(Textual Entailment)’은 두 문장의 관계를 ‘함의/중립/모순’ 중 하나로 분류하는 것을 평가한다.

 함의 분석은 상식 및 추론을 바탕으로 하여 전제와 명제 문장들이 함의 관계인지 모순 관계인지 판단하는 과제이며, 이를 해결하기 위해서는 인공지능이 유의어를 이해하고 논리적·산술적으로 추론하는 능력이 필요하다. 함의 분석 과제는 최근 초거대 언어모델(LLM)의 자연어 추론 능력을 평가하거나 요약 등 생성 능력을 평가하는 데에 활용되고 있다.

 국립국어원에서는 2022년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 함의 분석 말뭉치를 구축하였다. 이 말뭉치는 주어진 전제(Premise)와 명제(Proposition)의 함의 관계 여부를 주석한 말뭉치이다. 정 분석(emotion recognition)은 주어진 텍스트에 대한 화자의 다양한 감정 상태를 파악하는 과제이다. 이 과제의 목표는 텍스트에 드러나는 감정에 대해 8가지 감정 유형으로 분류하는 것이다. 감정 분석은 고객 서비스, 사회 네트워크 분석, 피드백 시스템, 인공지능 대화 시스템 등에 널리 활용된다.

 

함의 분석 과제는 국립국어원에서 2022년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 구축한 “함의 분석 말뭉치”를 활용한다. 해당 데이터 세트의 함의 관계는 함의(entailment), 모순(contradiction), 중립 (neutral) 세 가지로 주석되어 있다. 함의 분석 과제는 주어진 전제(Premise)와 명제(Proposition)의 함의 관계를 예측하는 것으로 정의된다. 다시 말해, 참가자들은 평가 데이터 세트의 입력(Premise, Proposition)을 기반으로 함의 정보(entailment, contradiction, neutral)를 예측한다.

 

데이터 세트의 구성

 

평가 지표: F1 점수



기준 모델(베이스라인 모델): kleu/roberta-base 기반 학습 모델

- https://github.com/teddysum/korean_TE_2023

대회 참가 규정

- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.

- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.

- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.

- 라이선스에 문제가 없는 모델을 개발하여야 한다.

- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.

- 모두의 말뭉치를 포함한 외부에 공개된 데이터는 사용이 가능하다(저작권 등 책임은 참가 팀에게 있음). 과제 데이터(말뭉치)를 초거대언어모델(LLM) 기반 자동 증강하여 사용할 수 있다.





시스템 사용 방법: 알립니다 → 사용 안내 참고 

문의: 진행 중 과제 → 문의