화면 로딩중입니다.

점검 중

<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.

최대한 빠르게 복구할 수 있도록 노력하겠습니다.

* 시스템 이용 장애 문의: 051-927-7111

닫기
인공지능(AI)말평>진행 중인 과제>과제 개요

과제 개요

 

  ‘자연어 추론(Natural Language Inference)’ 또는 ‘함의 분석(Textual Entailment)’은 대표적인 언어 능력 평가체계(벤치마크)인 GLUE, KLUE 등에서도 제공하는 과제로, 주로 두 문장의 관계를 ‘함의/중립/모순’ 중 하나로 분류하는 것을 평가한다. 

함의 분석(Textual Entailment)은 상식 및 추론을 바탕으로 하여 전제와 명제 문장들이 함의하는지 모순되는지를 판단하는 과제인데, 이러한 과제를 해결하기 위해서는 인공지능이 유의어를 이해하고 논리적·산술적으로 추론하는 능력이 필요하다. 그래서 함의 분석 과제는 최근 거대언어모델(LLM)의 자연어 추론 능력을 평가하거나(NLI, SNLI) 생성 능력(요약 등)을 평가하는 데에 활용되고 있다. 

국립국어원에서는 2022년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 함의 분석 말뭉치를 구축하였다. 이 말뭉치는 주어진 문장(전제, premise)에 대해 명제(proposition)가 내용을 함의하는지를 주석한 말뭉치이다.

 

과제 정의

 

  함의 분석 과제는 국립국어원에서 2022년 ‘말뭉치 함의 분석 및 연구’ 사업을 통해 구축한 “함의 분석 말뭉치”를 활용한다. 해당 데이터 세트의 함의 주석은 함의(entailment), 모순(contradiction), 중립(neutral) 세 가지로 주석되어 있다. 함의 분석 과제는 입력 전제(Premise)와 명제(Proposition)에 대해 레이블을 예측하는 방식으로 정의되어 있다. 참가자들은 평가 데이터 세트의 입력(Premise, Proposition)을 기반으로 함의 정보(entailment, contradiction, neutral)를 예측한다. 본 과제에서는 예측 결과에 대한 F1-score(micro, macro) 점수를 평가 점수로 제공한다.

 

기준 모델(베이스라인 모델)

 

  이 대회의 기준 모델(베이스라인 모델)은 깃허브(github)를 통해 공개되어 있다. 

https://github.com/teddysum/Korean_TE_2023

 

  해당 모델은 klue/RoBERTa 모델을 사용하여 학습되었으며, 모델 구조는 klue/roberta-base 모델의  토큰 output에 SimpleClassifier인 FFNN을 붙인 형태의 모델이다.

 

대회 참가 규정 및 제출 방법

 

(1) 팀 구성

  - ‘모두의 말뭉치’ 회원만 참가할 수 있다.

  - 참가자는 접수 기간 중 여러 개의 팀에 참여할 수 있으며, 팀 구성 시 인원 제한은 없다.

 

(2) 답안 제출

  - 참가자(팀)는 대회에서 제시한 과제를 해결한 결과를 표본(샘플) 파일과 동일한 형식으로 작성하여 제출한다.

  - 한 참가자(팀)가 복수의 결과물을 제출할 경우 각 팀의 제출 모델 및 결과 중 가장 높은 성적만을 순위표(리더보드)에 게시한다.

 

(3) 모델 사용 및 제출

  - 사용권(라이선스)에 문제가 없는 모델 사용 가능(사용권의 검토 책임은 참가팀에게 있음)

  - 외부 데이터 추가 사용 불가

  - 경진대회 진행 시 외부 API(예: chatGPT api) 이용 불가

  - 로컬 환경에서 동작하는 모든 모델 사용 가능(여러 거대언어모델(LLM) 포함)

    > 참가자(팀)의 서버에서 구동한 생성 인공지능(AI)의 경우에 한정함(프롬프트 엔지니어링 가능)

 

(4) 시스템 사용 안내

 

  - 참가 신청(팀 구성)

   ▸과제 목록 선택 후 참가 신청을 눌러 신청서를 작성한다.

   ▸신청서는 ‘모두의 말뭉치’ 회원만 작성할 수 있고, ‘모두의 말뭉치’ 회원의 전자 우편 주소를 입력하여 팀을 구성할 수 있다(회원이 아닌 경우 팀원이 될 수 없음에 유의할 것).

   ▸과제 참가 신청서에 작성한 팀원에게 과제 참가 신청 동의서가 발송된다.

   ▸신청자가 구성한 팀원 모두가 전자 우편을 확인하고 과제 참가에 동의하면 신청서 접수가 완료된다.

 

  - 제출 관리

   ▸참가 신청을 완료한 후 ‘제출 관리’를 통해 예측 결과를 제출한다.

   ▸모델명 및 모델 설명 작성, 모델 예측 결과 등록(JSON-L 파일)

   ▸하루에 5회까지 추가 제출할 수 있으며, 제출 결과는 모두 순위표(리더보드)에 반영된다.

 

  - 순위표(리더보드)

   ▸‘제출 관리’에서 등록한 예측 결과 중 일정 비율(예: 70%)을 무작위 추출하여 평가한 후 순위표(리더보드)에 평가 점수 및 순위를 제공한다.

   ▸제출한 결과 중 가장 높은 평가 점수가 순위표에 제공된다(좌측 화살표 버튼을 누르면 다른 결과물의 점수 및 순위 확인 가능)

 

  - 참여자 게시판: 참가자들이 과제별 정보 공유를 위해 활용 가능

 

(5) 기타: 시험 데이터의 정답은 공개 계획 없음