과제 개요 

감성 분석이란 화자의 의견이나 긍·부정의 태도가 나타나는 문장의 감성 극성(긍정 또는 부정)을 분석하여 정량화하는 것이다. 주로 문장 단위로 긍정, 부정의 유무 혹은 정도를 평가해 왔으며, 제품 및 여행의 후기 분석, 추천 시스템에 널리 활용되고 있다.

 속성 기반 감성 분석은 언어 자료에 나타난 개체와 속성 정보를 고려한 감성 분석 방법으로 일반적인 감성 분석에 비해 더 세밀한 정보를 얻을 수 있다는 장점이 있다. 예를 들어, 음식점 도메인의 후기 ‘콩국수가 싸서 좋다’라는 문장에서 일반적인 감성 분석의 결과는 ‘긍정’이 되지만, 속성 기반 감성 분석에서는 ‘개체 카테고리(개체): {음식(콩국수)}, 속성: {가격}, 감성: {긍정}’으로 더 많고 구체적인 정보를 얻을 수 있다.



과제 정의

이 과제는 국립국어원 ‘2021년 말뭉치 감성 분석 및 연구’ 사업에서 구축한 속성 기반 감성 분석 말뭉치 중 “제품” 도메인을 대상으로 제작되었다. 이 과제의 세부 과업은 속성 기반 감성 분석에서 속성 범주 탐지(Aspect Category Detection, ACD)와 속성 감성 분류(Aspect Sentiment Classification, ASC)이다.



 속성 범주 탐지(Aspect Category Detection, ACD)란 주어진 문장에서 분석의 대상이 되는 범주들을 추출하는 것으로, ‘#’를 구분자로 하는 ‘개체’와 ‘속성’의 조합으로 표기한다. 예를 들어 ‘제품 전체#디자인’과 같이 개체 ‘제품 전체’와 속성 ‘디자인’을 조합한 것이 범주이다. 만약 한 문장의 범주가 ‘제품 전체 #디자인’으로 주석되어 있다면 이는 필자가 제품 전체의 디자인에 대해 긍정 또는 부정의 감성을 느꼈다는 뜻이다. 전체 데이터 세트는 화자의 주관성이 반영된 문장으로만 구성된다. 아래 표 2와 같이, 제품 분야에는 여러 개체와 속성들이 존재하며, 속성 범주 탐지 과업에서는 문장에서 속성 범주를 추출한다(본품#디자인, 브랜드#인지도 등).

 

 속성 감성 분류(Aspect Sentiment Classification, ASC)란 속성 범주 탐지 과업을 통해 추론한 속성 범주에 대한 화자의 감성을 긍정, 부정, 중립 중 하나로 분류하는 과업이다. 즉 하나의 문장에 나타나는 속성 범주 각각에 대한 감성을 분류한다. 예를 들어 ‘아이폰은 이쁜데 비싸요.’와 같은 문장의 경우, ‘제품 전체#디자인’은 긍정으로 분류할 수 있으나, ‘제품 전체#가격’은 부정으로 분류할 수 있다.

 다시 말해, 속성 기반 감성 분석 과제는 위에서 언급된 속성 범주 탐지와 속성 감성 분류 과업을 모두 수행하여, 입력 문장에 대해 속성 범주를 추출하고, 각각에 대한 감성을 분류하는 것이다. 각 참가 팀의 제출 결과는 F1 점수로 평가되어 순위표(리더보드)에 게시된다.



 

데이터 세트의 구성

평가 지표: F1 점수

기준 모델(베이스라인 모델): xml-roberta-base 기반 학습 모델

- https://github.com/teddysum/korean_ABSA_baseline



대회 참가 규정

- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.

- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.

- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.

- 라이선스에 문제가 없는 모델을 개발하여야 한다.

- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.

- 모두의 말뭉치를 포함한 외부에 공개된 데이터는 사용이 가능하다(저작권 등 책임은 참가 팀에게 있음). 과제 데이터(말뭉치)를 초거대언어모델(LLM) 기반 자동 증강하여 사용할 수 있다.





시스템 사용 방법: 알립니다 → 사용 안내 참고 

문의: 진행 중 과제 → 문의