화면 로딩중입니다.

점검 중

<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.

최대한 빠르게 복구할 수 있도록 노력하겠습니다.

* 시스템 이용 장애 문의: 051-927-7111

닫기
인공지능(AI)말평>진행 중인 과제>과제 개요

과제 개요

 

부적절성 문장에 대한 태도 탐지 과제는 부적절하게 표현된 문장 표현의 문맥상 긍정적 또는 부정적 태도를 판단하는 작업이다. 자연어 처리에서는 상식 추론(Commonsense reasoning), 자연어 추론(NLI), 위노그래드 스키마 챌린지(Winograd schema challenge) 등에서 텍스트의 숨겨진 의미를 파악하는 능력을 검증한 사례가 있었으나, 부적절 표현을 대상으로 한 과제는 이전에 존재하지 않았다. 따라서 이 과제는 학술적으로도 의미가 크며, 기계의 추론 능력 확장에 기여하는 바 역시 클 것으로 예상한다. 부적절 표현 맥락에서의 태도 판단은 향후 온라인 플랫폼의 콘텐츠를 감시하거나 댓글 필터링 등 다양한 분야에서 응용될 수 있다는 점에서 의의가 있다.

 

과제 정의

 

부적절성 문장에 대한 태도 탐지 과제는 문장 내의 부적절한 표현이 주어졌을 때, 해당 표현의 문맥상 긍정적 태도 또는 부정적 태도를 탐지하는 것을 목표로 한다. 즉 과제의 주요 목표는 문장의 전체적인 맥락을 고려하여 부적절한 표현에서 드러난 태도를 올바르게 판단하는 것이며, 입력 문장의 부적절성은 문맥에 명시적으로 표현된 경우와 함의된 경우를 모두 포함한다.

 

학습용 데이터 세트는 부적절한 표현이 포함된 문장과 해당 문장의 '문맥(context)' 라벨로 구성된다. 이 과제의 성능 기준은 제공된 부적절한 표현의 문맥상 긍정성 또는 부정성을 정확히 판단하는 것으로, 평가는 F1-score(micro, macro)를 기준으로 이루어진다. 최종적인 성능 평가는 모델이 예측한 라벨과 실제 라벨 간의 일치 정도를 바탕으로 전체 결과에 대한 Micro F1-score과 Macro F1-score의 평균을 계산하여 진행된다. 

 

이 대회에서는 평가데이터의 각 입력 문장에 대해 ‘부정적(NEGATIVE)’ 혹은 ‘긍정적(POSITIVE)’ 라벨로 분류하는 것을 과제로 정의하며, F1-score를 평가 점수로 제공한다. 평가는 정답 데이터 세트와 예측 데이터 세트의 주석(annotation)을 문장 단위로 비교하여 F1-score 점수로 측정한다.

 

기준 모델(베이스라인 모델)

 

이 대회의 기준 모델(baseline model)은 깃허브(github)를 통해 공개되어 있다.

 

https://github.com/teddysum/Korean_IAU_2023

 

해당 모델은 klue/RoBERTa 모델을 사용하여 학습되었으며, 모델 구조는 klue/roberta-base 모델의  토큰 출력(output)에 SimpleClassifier인 FFNN을 붙인 형태의 모델이다.

 

대회 참가 규정 및 제출 방법

 

 (1) 팀 구성

  - ‘모두의 말뭉치’ 회원만 참가할 수 있다.

  - 참가자는 접수 기간 중 여러 개의 팀에 참여할 수 있으며, 팀 구성 시 인원 제한은 없다.

 

 (2) 답안 제출

  - 참가자(팀)는 대회에서 제시한 과제를 해결한 결과를 표본(샘플) 파일과 동일한 형식으로 작성하여 제출한다.

  - 한 참가자(팀)가 복수의 결과물을 제출할 경우 각 팀의 제출 모델 및 결과 중 가장 높은 성적만을 순위표(리더보드)에 게시한다.

 

 (3) 모델 사용 및 제출

  - 사용권(라이선스)에 문제가 없는 모델 사용 가능(사용권의 검토 책임은 참가팀에게 있음)

  - 외부 데이터 추가 사용 불가

  - 경진대회 진행 시 외부 API(예: chatGPT API) 이용 불가

  - 로컬 환경에서 동작하는 모든 모델 사용 가능(여러 거대언어모델(LLM) 포함)

    > 참가자(팀)의 서버에서 구동한 생성 인공지능(AI)의 경우에 한정함(프롬프트 엔지니어링 가능)

 

 (4) 시스템 사용 안내

  - 참가 신청(팀 구성)

   ▸과제 목록 선택 후 참가 신청을 눌러 신청서를 작성한다.

   ▸신청서는 ‘모두의 말뭉치’ 회원만 작성할 수 있고, ‘모두의 말뭉치’ 회원의 전자 우편 주소를 입력하여 팀을 구성할 수 있다(회원이 아닌 경우 팀원이 될 수 없음에 유의할 것).

   ▸과제 참가 신청서에 작성한 팀원에게 과제 참가 신청 동의서가 발송된다.

   ▸신청자가 구성한 팀원 모두가 전자 우편을 확인하고 과제 참가에 동의하면 신청서 접수가 완료된다.

  - 제출 관리

   ▸참가 신청을 완료한 후 ‘제출 관리’를 통해 예측 결과를 제출한다.

   ▸모델명 및 모델 설명 작성, 모델 예측 결과 등록(JSON-L 파일)

   ▸하루에 5회까지 추가 제출할 수 있으며, 제출 결과는 모두 순위표(리더보드)에 반영된다.

  - 순위표(리더보드)

   ▸‘제출 관리’에서 등록한 예측 결과 중 일정 비율(예: 70%)을 무작위 추출하여 평가한 후 순위표(리더보드)에 평가 점수 및 순위를 제공한다.

   ▸제출한 결과 중 가장 높은 평가 점수가 순위표에 제공된다(좌측 화살표 버튼을 누르면 다른 결과물의 점수 및 순위 확인 가능)

  - 참여자 게시판: 참가자들이 과제별 정보 공유를 위해 활용 가능

 

 (5) 기타: 시험 데이터의 정답은 공개 계획 없음