화면 로딩중입니다.

점검 중

<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.

최대한 빠르게 복구할 수 있도록 노력하겠습니다.

* 시스템 이용 장애 문의: 051-927-7111

닫기
인공지능(AI)말평>진행 중인 과제>과제 개요

과제 개요

 

 표 기반 문장 생성은 자료로부터 텍스트를 생성하는 과제 중 하나로, 주어진 표의 특정 부분을 설명하는 문장을 생성하는 과제이다. 구글의 ToTTo 데이터 세트가 대표적이다. 위키피디아 등 다양한 문서에서 핵심적인 정보는 표 형식으로 기술되어 있는 경우가 많다. 이 과제는 인공 지능 언어 처리 기술이 표의 내용을 잘 요약하고 설명할 수 있는지 평가한다.

 

과제 정의

 

 표 기반 문장 성생 과제는 국립국어원에서 '2021 유사 문장 생성 말뭉치 연구 및 구축' 사업을 통해 구축한 자료 중 표 기반 문장 생성 결과물을 활용한다. 이 자료는 구글의 ToTTo 데이터 세트를 참조하였다. 데이터 세트는 HTML로 작성된 표의 형식을 유지하여 JSON 형식으로 변환하고, 해당 표에 음영으로 표시한 부분을 설명하는 문장 5개로 구성된다. 이 과제는 표에 음영으로 표시한 부분을 설명하는 문장 하나를 생성하는 것이다. 주어진 표에 대하여 모델이 생성한 문장과 정답 문장 5개 각각을 비교하여 산출한 ROUGE-1 점수의 평균값을 평가 점수로 제공한다.

 

 

 분류

내용 

예시 

비고 

 입력

표 

 

"table": [

[

{"value": "구 분", "is_header": True, "row_span": "2", "column_span": "1"},

{"value": "협약 사업장(, %)", "is_header": True, "row_span": 1, "column_span": "3"},

{"value": "비협약 사업장(, %)", "is_header": True, "row_span": 1, "column_span": "3"}

],

[

{"value": "‘19.12", "is_header": True, "row_span": 1, "column_span": 1},

.

.

 

 

 

 JSON

 출력

설명 문장 

"협약 사업장의 감축량은 4,571톤, 비협약 사업장의 감축량은 539톤이다." 

문자열 

 평가

ROUGE 1 

 

 

 대회 참가 규정 및 제출 방법

 

(1) 팀 구성

- '모두의 말뭉치' 회원만 참가할 수 있다.

 

(2) 답안 제출

- 참가자(팀)는 대회에서 제시한 과제를 해결한 결과를 샘플 파일과 동일한 형식으로 작성하여 제출한다.

 

(3) 시스템 사용 안내

- 참가 신청(팀 구성)

 - 과제 목록 선택 후 참가 신청을 눌러 신청서를 작성한다.

 - 신청서는 '모두의 말뭉치' 회원만 작성할 수 있고, '모두의 말뭉치' 회원의 전자 우편 주소를 입력하여 팀을 구성할 수 있다(회원이 아닌 경우 팀원이 될 수 없음에 유의할 것).

 - 과제 참가 신청서에 작성한 팀원에게 과제 참가 신청 동의서가 발송된다.

 - 신청자가 구성한 팀원 모두가 전자 우편을 확인하고 과제 참가에 동의하면 신청서 접수가 완료된다.

- 제출 관리

 - 참가 신청을 완료한 후 '제출 관리'를 통해 예측 결과를 제출한다,

 - 모델명 및 모델 설명 작성, 모델 예측 결과 등록(jsonl 파일)

 - 하루에 10회까지 추가 제출할 수 있으며, 제출 결과는 모두 순위표(리더 보드)에 반영된다.

- 순위표(리더 보드)

 - '제출 관리'에서 등록한 예측 결과 중 일정 비율(예 70%)을 무작위 추출하여 평가한 후 순위표(리더 보드)에 평가 점수 및 순위를 제공한다.

 - 제출한 결과 중 가장 높은 평가 점수가 순위표에 제공된다(좌측 화살표 버튼을 누르면 다른 결과물의 점수 및 순위 확인 가능).

- 참여자 게시판

 - 참가자들이 과제별 정보 공유를 위해 활용 가능

- 과제 개설・운영

 - 현재는 국립국어원 과제 운영용으로 활용하며, 추후 일반 공개 예정

 

(4) 기타

- 라이선스에 문제가 없는 모델 및 외부 데이터 추가 사용 가능(라이선스의 검토 책임은 참가팀에게 있음)