과제 개요

‘대화 맥락 추론’ 과제는 입력으로 주어진 대화 내용을 바탕으로, 특정된 대상 발화로부터 다섯 가지의 추론문 유형인 ‘원인’, ‘후행 사건’, ‘전제 조건’, ‘내적 동기’, ‘감정 반응’ 중 하나에 상응하는 문장을 정확하게 추론하는 것을 목표로 한다. 이 과제를 통해 인공지능 모델이 대화의 문맥을 이해하는 능력과 여러 추론 후보 중에서 가장 적합한 추론을 선택하는 능력을 평가할 수 있으며, 평가 결과를 바탕으로 향후 모델의 대화 맥락 이해 및 적합한 대화문 생성 능력을 강화할 수 있다.

과제 정의

이 과제는 인공지능 모델로 하여금 대화문, 대상 발화, 그리고 추론문의 유형을 종합적으로 고려하여 가장 적합한 추론문을 선택하도록 하는 것을 목표로 한다. 즉 모델은 주어진 세 가지 추론문 후보 중 대상 발화의 추론 유형에 가장 적합한 하나를 선택해야 한다. 과제마다 하나의 적절한 추론문과 두 개의 부적절한 추론문이 제시되며, 모델이 참고하는 추론문 유형은 ‘원인’, ‘후행 사건’, ‘전제 조건’, ‘내적 동기’, ‘감정 반응’ 다섯 가지이다. 다섯 가지 추론문 유형에 대한 정의는 다음과 같다.

데이터 세트의 구성

데이터 세트는 훈련(train), 검증(validation), 시험(test) 데이터로 분할하여 제공한다.

*시험 데이터 공개 계획 없음

평가 지표: 정확도(Accuracy)

- 순위표 기준 정확도(Accuracy) 상위 5개 팀이 정성 평가 및 발표 평가 대상

- 순위표 점수 및 정성 평가, 발표 평가 결과를 합산하여 수상작 선정

기준 모델(베이스라인 모델)

블로섬(Bllossom) 기반 학습 모델로, 아래 주소에서 모델 및 과제 수행 코드 확인 가능
- [기준 모델] https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B
- [코드] https://github.com/teddysum/Korean_CCI_2024

대회 참가 규정

- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.

- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다. (회원 가입 바로 가기)

- 팀장은 팀원의 전자 우편 주소(회원 가입된 전자 우편 주소)를 입력하여 팀을 구성할 수 있으며,

모든 팀원이 참가 신청에 동의하면 팀 구성이 완료된다.

- 참가자는 접수 기간 중 여러 개의 팀에 참여할 수 있으며, 팀 구성 인원 제한은 없다. 다만, 접수 기

간 종료 후 정성 평가 대상이 되는 팀이 여러 개라면 참가자는 과제별 하나의 팀을 소속 팀으로 결정

하여야 한다.

- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다(1일 5개까지 제출 가능).

- 라이선스에 문제가 없는 모델을 개발하여야 한다.

- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.

- 개발한 모델은 RTX 4090 24GB 1개에서 구동 가능하여야 한다.

- 외부에 공개된 데이터는 사용이 불가하며 과제 데이터(말뭉치)를 초거대언어모델(LLM) 등을 활용해 변형 및 증강하여 사용할 수 없다. 모델 입력을 위한 형식 및 형태 변형만이 허용된다.

- 순위표 기준 정성 평가 신청서를 제출한 상위 5개 팀을 정성 평가 및 발표 평가 대상자로 선정한다.

  (해당 팀에게는 별도 안내 예정)

- 최종 수상자는 정량 평가, 정성 평가, 발표 평가를 종합하여 선정한다.

시스템 사용 방법

- 인공지능(AI)말평 → 알립니다 → 사용 안내 메뉴 내 동영상 참고

문의

- 진행 중 과제 → 대화 맥락 추론 클릭 → 문의(들어가기 후 작성 가능)