이 누리집은
대한민국 공식 전자정부 누리집입니다.
점검 중
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
과제 개요
‘부적절 발언 탐지’ 과제는 국립국어원이 추진한 '2023년 대화 맥락 추론 및 부적절 발언 탐지 말뭉치 연구 분석' 사업의 결과물을 활용하여 불특정 다수에게 공개된 온라인 언어 자료에서 타인 또는 독자에게 불편을 줄 수 있는 부적절한 표현이 드러나는지 판별하는 것을 목표로 하는 과제로, 문서 단위에서 맥락을 파악하여 부적절 발언을 탐지하는 능력을 평가한다. 이 과제에서 정의하는 ‘부적절 발언’이란 화자가 특정 대상에 대하여 공격성, 비하성, 차별성, 편향성을 표출하는 발언으로, 문서 내의 비속어, 욕설, 혹은 특정 대상에 대해 언어 표현으로 명백하게 드러난 발언뿐만 아니라 언어 표현 자체가 부적절하지 않더라도 맥락에 따라 화자의 의도가 대상에 대하여 공격성, 비하성, 차별성, 편향성을 표출하는 발언을 두루 포함한다. 부적절 발언 탐지 기술은 공공 대화, 소셜 미디어 콘텐츠, 온라인 커뮤니티의 모니터링 등에 활용될 수 있으며 디지털 공간을 건전하고 안전하게 유지하는 데 기여할 수 있다.
항목 | 내용 |
맥락 | “주말에 하도 볼 게 없어서 한번 봤는데 여전히 미쳤더군 임 작가 스토리 막 나가고 자극적인 건 진작에 알고 있었지만 이젠 기생도 안 나오고 귀신 얘기만 나온다 무슨 신내림이니 빙의니 무당에 절 등 온갖 게 짬뽕이ㄷ됐는데 엄마 왈 납량 특집으로 일부러 만든 거냐능?ㅁ설마요; 무섭긴커녕 황당하다 장군 귀신이 들어왔는데 식탐만 늘어 무슨 장군의 주요 특징이 고기 먹는 거냐 유치하다 못해 시청자를 저능아로 아나 &company&가 미친 게 아닌가 싶은데 그건 아니었다고ㅋㅋ 한 회 보고 말았지만 대사 수준하며 황당하구만” |
텍스트 | "한 회 보고 말았지만 대사 수준하며 황당하구만" |
부적절성 | "inappropriate" |
과제 정의
부적절 발언 탐지 과제는 주어진 문서에서 맥락과 함께 주어진 부적절한 발언을 탐지하는 과제로 문서 내 모든 발언을 적절 또는 부적절로 분류하는 과제의 형태로 수행된다. 2023년 공개된 ‘혐오 발언 탐지’와 ‘부적절성 문장에 대한 태도 탐지’ 과제는 주어진 ‘문장’에 대해 맥락 없이 부적절한 표현을 탐지하고 해당 문장에 대한 태도를 탐지하는 과제이다. 이 과제는 여러 개의 발언으로 이루어진 하나의 ‘문서’ 내에서 맥락과 함께 주어진 부적절 발언을 탐지하는 과제라는 점에서 차이점이 있다.
부적절한 문장에는 욕설과 같은 명시적인 표현을 포함하는 경우뿐만 아니라 구체적인 부적절한 표현이 없더라도 맥락상 그 문장의 의미가 부적절한 경우도 포함한다. 맥락에 따라 부적절 여부를 파악하기 위해서 문서 전체가 주어지면, 각 문장에 대한 부적절성 여부를 분류한다. 분류 성능은 정확도(Accuracy)로 측정한다.
데이터 세트 구축 과정에서 개인정보는 비식별화하였다. 이름, 출신/소속, 번호, 온라인 계정, 주소, 상호명, 상표명은 비윤리적 표현의 대상 여부에 관계없이 모두 비식별화되어 있으며 그 외 장소 이름, 창작물 이름 등은 비윤리적 표현의 대상일 경우만 비식별화되어 있다.
분류 | 내용 | 예시 | 비고 |
입력 | 맥락 | “주말에 하도 볼 게 없어서 한번 봤는데 여전히 미쳤더군 임 작가 스토리 막 나가고 자극적인 건 진작에 알고 있었지만 이젠 기생도 안 나오고 귀신 얘기만 나온다 무슨 신내림이니 빙의니 무당에 절 등 온갖 게 짬뽕이ㄷ됐는데 엄마 왈 납량 집으로 일부러 만든 거냐능?ㅁ설마요; 무섭긴커녕 황당하다 장군 귀신이 들어왔는데 식탐만 늘어 무슨 장군의 주요 특징이 고기 먹는 거냐 유치하다 못해 시청자를 저능아로 아나 &company&가 미친 게 아닌가 싶은데 그건 아니었다고ㅋㅋ 한 회 보고 말았지만 대사 수준하며 황당하구만” | 딕셔너리 리스트 |
텍스트 | "한 회 보고 말았지만 대사 수준하며 황당하구만" | 문자열 | |
출력 | 부적절성 | "inappropriate" | 문자열 |
평가 | 정확도(Accuracy) | | |
데이터 세트의 구성
구분 | 훈련 | 검증 | 시험 |
문서 | 1,048 | 120 | 120 |
평가 지표: 정확도(Accuracy)
기준 모델(baseline model):
이 과제의 기준 모델은 깃허브(github)를 통해 공개되어 있다.
https://github.com/tutoruslabs-nlp/Korean_ISD_2024
대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.
- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.
- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.
- 라이선스에 문제가 없는 모델을 개발하여야 한다.
- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.
- 외부 데이터를 사용할 수 있다.
- 외부에 공개된 모든 데이터를 학습 데이터로 사용 가능
- 언어 모델을 이용하여 증강 후 학습 데이터로 사용 가능
시스템 사용 방법: 알립니다 → 사용 안내 참고
문의: 진행 중 과제 → ‘부적절 발언 탐지’ 과제 → 문의
