화면 로딩중입니다.

점검 중

<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.

최대한 빠르게 복구할 수 있도록 노력하겠습니다.

* 시스템 이용 장애 문의: 051-927-7111

닫기
인공지능(AI)말평>진행 중인 과제>과제 개요

※ 2022년 국립국어원 인공 지능의 언어 능력 평가 과제와 같음


과제 개요


 감성 분석이란 화자의 의견, 긍/부정의 태도가 나타나는 문장의 감성 극성을 분석하여 정량화하는 것이다. 주로 문장 단위로 긍정, 부정의 유무 혹은 정도를 평가해 왔으며, 제품 및 여행의 리뷰 분석, 추천 시스템에 널리 활용되고 있는 추세이다.
 최근 감성 분석 연구자들은 제품 후기 등에 전반적으로 나타나는 하나의 감성 극성(긍정 또는 부정)을 추출하는 것을 넘어 더 세부적이고 구체적인 수준의 감성 관련 정보를 추출하는 데 관심을 갖기 시작했다.
 속성 기반 감성 분석은 언어 자료에 나타난 개체와 속성 정보를 고려한 감성 분석 방법으로 일반적인 감성 분석에 비해 더 세밀한 정보를 얻을 수 있다는 장점이 있다. 예를 들어, 음식점 도메인의 리뷰 “콩국수가 싸서 좋다”라는 문장에서 일반적인 감성 분석의 결과는 “긍정”이 되지만, 속성 기반 감성 분석에서는 개체:{음식(콩국수)}, 속성{가격}, 감성:{긍정}으로 더 많고 구체적인 정보를 얻을 수 있다. 

과제 정의

 본 대회는 국립국어원에서 구축한 속성 기반 감성 분석 말뭉치를 활용한 대회로서, 해당 데이터 세트 중 "제품" 도메인을 대상으로 제작되었다. 본 대회에서는 속성 기반 감성 분석에서 속성 범주 탐지(Aspect Category Detection, ACD)와 속성 감성 분류(Aspect Sentiment Classification, ASC)를 다룬다.
 

 항목

내용 

예시 

 ACD

속성 범주 탐지 

제품 전체#인지도 

 ASC

속성 감성 분류 

긍정 


 속성 범주 탐지(Aspect Category Detection, ACD)란 주어진 문장에서 분석의 대상이 되는 범주들을 추출하는 과업으로, '#'를 구분자로 하는 '개체'와 '속성'의 조합으로 표기한다. 예를 들어 "제품 전체#디자인"과 같이 개체 '제품 전체'와 속성 '디자인'을 조합한 것이 범주이다. 만약 한 문장의 범주가 "제품 전체#디자인"으로 주석되어 있다면 이는 필자가 제품 전체의 디자인에 대해 긍정 또는 부정의 감성을 느꼈다는 뜻이다. 전체 데이터 세트는 화자의 주관성이 반영된 문장으로만 구성된다. 아래 표와 같이, 제품 분야에는 여러 개체와 속성들이 존재하며, 속성 범주 탐지 과업에서는 개체와 속성 쌍인 범주들을 문장에서 추출한다. 예를 들어 "본품#디자인", "브랜드#인지도"와 같은 범주들이다.

 구분

항목 

설명 

 개체

제품 전체 

 제품 전체 

본품

 특정 장치 및 부품 등 본품 하위 구성 요서 

패키지/구성품

 제품 패키지 및 구성품(예: 브러쉬, 펌프) 

브랜드

 브랜드 이미지 

 속성

일반

 개체 자체 

가격

 제품의 경제적, 마케팅 요소 평가 

디자인

 형태, 색상 등 제품 외형 디자인 평가 

품질

 제품의 기능, 성능, 성분, 소재, 효과 등 평가 

편의성

 사용 난이도 및 편의, 사이즈 언급 등 휴대성 평가 

다양성

 제품 구성품의 다양성 및 유형, 색상에 따른 제품 다양성 

인지도

 유명도, 인기, 판매량 언급 등 


 속성 감성 분류(Aspect Sentiment Classification, ASC)란 주어진 문장에서 추론한 개체#속성 범주에 대한 화자의 감성을 긍정, 부정, 중립 중 하나로 분류하는 과업이다. 하나의 문장(예: 리뷰)에서도 동일한 제품에 대해서 디자인에 대해서는 긍정적일 수 있으나 가격에 대해서는 부정적일 수 있기 때문에, 속성 기반 감성 분석에서는 문장에 대한 감성(긍정, 부정, 중립)을 분류하는 것이 아닌, 문장에서 드러난 범주들 각각에 대해 감성을 분석한다. 예를 들어 "아이폰은 이쁜데 비싸요"와 같은 문장의 경우, "제품 전체#디자인"은 긍정으로 분류할 수 있으나, "제품 전체#가격"은 부정으로 분류할 수 있다.

 본 대회에서는 상기 언급된 과업들인 속성 범주 탐지와 속성 감성 분류를 모두 수행하며, 입력 문장에 대해 속성 범주들을 추출하고, 각각에 대한 감성을 분류하는 것을 과제로 정의한다. 각 참가팀의 제출 결과는 F1 점수로 평가되어 순위를 순위표(리더 보드)에 게재한다.
 

 

 분류

내용 

예시 

비고 

 입력

문장 

좋아하는  뷰티유튜버가 만든 쿠션제품이라고 해서 어떨지 넘나 궁금했는데 직접 써보니 대박 촉촉하고 컬러감 대박

문자열 

 출력

튜플

(ACD, ASC) 

(제품 전체#인지도, 긍정)

(본품#품질, 긍정)

(본품#일반, 긍정) 

튜플 

 평가

F1 점 

 


  평가는 정답 데이터셋과 예측 데이터셋의 annotation을 문장 단위로 비교하여 F1 점수로 측정한다.

- True positive: 예측한 속성 범주와 감성 쌍이 정답에 있는 경우
- False positive: 예측한 속성 범주와 감성 쌍이 정답에 없는 경우(속성 범주만 맞춘 경우 포함)
- False negative: 정답 데이터셋에 있는 속성 범주와 감성 쌍을 예측하지 못한 경우(속성 범주만 맞춘 경우 포함)

대회 참가 규정 및 제출 방법

(1) 팀 구성
- '모두의 말뭉치' 회원만 참가할 수 있다.

(2) 답안 제출
- 참가자(팀)는 대회에서 제시한 과제를 해결한 결과를 샘플 파일과 동일한 형식으로 작성하여 제출한다.

(3) 시스템 사용 안내
- 참가 신청(팀 구성)
 - 과제 목록 선택 후 참가 신청을 눌러 신청서를 작성한다.
 - 신청서는 '모두의 말뭉치' 회원만 작성할 수 있고, '모두의 말뭉치' 회원의 전자 우편 주소를 입력하여 팀을 구성할 수 있다(회원이 아닌 경우 팀원이 될 수 없음에 유의할 것).
 - 과제 참가 신청서에 작성한 팀원에게 과제 참가 신청 동의서가 발송된다.
 - 신청자가 구성한 팀원 모두가 전자 우편을 확인하고 과제 참가에 동의하면 신청서 접수가 완료된다.
- 제출 관리
 - 참가 신청을 완료한 후 '제출 관리'를 통해 예측 결과를 제출한다.
 - 모델명 및 모델 설명 작성, 모델 예측 결과 등록(jsonl 파일)
 - 하루에 10회까지 추가 제출할 수 있으며, 제출 결과는 모두 순위표(리더 보드)에 반영된다.
- 순위표(리더 보드)
 - '제출 관리'에서 등록한 예측 결과 중 일정 비율(예 70%)을 무작위 추출하여 평가한 후 순위표(리더 보드)에 평가 점수 및 순위를 제공한다.
 - 제출한 결과 중 가장 높은 평가 점수가 순위표에 제공된다(좌측 화살표 버튼을 누르면 다른 결과물의 점수 및 순위 확인 가능)
- 참여자 게시판
 - 참가자들이 과제별 정보 공유를 위해 활용 가능
- 과제 개설・운영
 - 현재는 국립국어원 과제 운영용으로 활용하며, 추후 일반 공개 예정

(4) 기타
- 라이선스에 문제가 없는 모델 및 외부 데이터 추가 사용 가능(라이선스의 검토 책임은 참가팀에게 있음)
- 시험 데이터의 정답은 공개 계획 없음