이 누리집 대한민국 공식 전자정부 누리집입니다.
분야별 누리집
점검 중
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
1. 과제 개요
내용 |
|
|
[선다형] 다음 사진을 보고 사진에서 확인할 수 있는 특징을 모두 고르시오. 1) 떡이 반달 모양으로 보인다. 2) 떡 아래·사이에 솔잎이 깔려 있다. 3) 떡의 겉 색이 짙은 갈색으로 보인다. 4) 떡이 둥근 공 모양으로 보인다. 5) 정답 없음 |
|
[단답형] 이미지에 나타난 안내 사항을 관리하는 대한민국 정부 부처를 5음절로 답하시오.
정답: 질병관리청 |
|
[서술형] 정면의 작은 나무함에 들어있는 사물의 명칭과 이것이 포함된 관용구가 의미하는 내용을 서술하시오. 정답: 이것은 신주이고, '신줏단지 모시듯 한다'라는 관용구가 있다. 이 관용구는 정성을 다해 예우하고 조심스럽게 대하는 태도를 말할 때 쓰인다. |
<표 1> 한국문화 멀티모달 질의응답 과제의 예시
2. 과제 정의
'한국문화 멀티모달 질의응답' 과제는 이미지와 질문을 입력으로 받아 모델이 문항 유형에 맞는 답을 산출하도록 설계되었다. 모델은 이미지 속 시작 정보와 한국어 질문의 요구를 이해하고 한국문화 관련 지식과 맥락을 활용하여 정답을 판단하거나 생성해야 한다.
문항은 응답 방식에 따라 선다형, 단답형, 서술형으로 구분된다. 선다형은 5지선다형, 단답형은 단어 또는 구 수준의 짧은 답안, 서술형은 이미지 정보와 문화 지식·상식을 종합한 한 문장 이상 250자 이하의 답변을 요구한다. 선다형은 정확도(Accuracy), 단답형은 완전 일치(Exact Match), 서술형은 루지(ROUGE)와 블루(BLEU) 점수의 평균으로 성능을 평가한다. 선다형 ‘모두 고르시오’ 문제의 경우 선지를 모두 대답했을 때 정답으로 인정하며, 단답형 문제 중 복수 개의 정답을 요구하는 문제에 대해서도 모두 답을 작성한 경우에 정답으로 인정한다.
3. 자료 형식
데이터 세트는 제이슨(Java Script Object Notation) 형식으로 제공되며 각 제이슨(JSON)은 질문, 이미지 정보, 정답을 포함한다. 훈련 데이터와 시험 데이터는 동일한 제이슨 형식으로 제공되며, 시험 데이터는 각 텍스트에 대한 출력(output) 항목이 없어 참가 팀이 모델의 출력 결과를 추가하여 제출한다.
데이터 세트는 훈련(train), 검증(validation), 시험(test) 데이터로 무작위 분할하여 제공한다.
|
훈련 |
검증 |
시험 |
문제 수 |
1000 |
200 |
800 |
<표 2> 데이터 규모
4. 대회 운영 방식
- 대회는 2026년 한글 및 한국어 정보처리 학술대회(HCLT)와 연계하여 진행한다.
이 과제를 활용하여 HCLT에 논문을 투고할 수 있으며, 학회 투고 절차에 따라 논문을 접수한다.
- 대회는 Shared Task 형식의 리더보드를 함께 운영한다.
· 이를 통해 한국문화 멀티모달 이해를 위한 기술적 성과와 한계를 공동으로 확인하는 장을 마련하며, 해당 리더보드의 결과는
논문 심사에 반영될 수 있다.
5. 대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.
- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.
- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.
- 라이선스에 문제가 없는 모델을 개발하여야 한다.
- 외부 API(OpenAI API 등)를 통해 호출하는 모델은 제출할 수 없다.
- 외부 데이터를 사용할 수 있다.
· 외부에 공개된 모든 데이터를 학습 데이터로 사용 가능
· 언어 모델을 이용하여 증강 후 학습 데이터로 사용 가능
- 시험 데이터의 정답 공개 계획은 없다.
6. 시스템 사용 방법
- 인공지능(AI)말평 → 알림 → 사용 안내 메뉴 내 동영상 참고
7. 문의
- '한국문화 멀티모달 질의응답 과제' 클릭 → 문의(들어가기 후 작성 가능)