이 누리집은
대한민국 공식 전자정부 누리집입니다.
점검 중
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
1. 과제 개요
‘한국문화 질의응답’ 과제는 인공지능의 한국 전통문화, 역사, 사회, 과학기술 등 다양한 분야에 대한 지식을 평가하기 위한 과제이다.
이 과제는 선다형, 단답형, 서술형의 세 가지 문형으로 구성되며, 선다형 문제에는 정답인 선지 번호를, 단답형 문제에는 단어, 구, 기호 등을, 서술형 문제에는 300~500자 사이의 설명문을 출력한다.
항목 | 내용 |
선다형 | 1896년에 창간된 한국 최초의 민간 신문은?\\n 1\\t 황성신문 2\\t 한성순보 3\\t 제국신문 4\\t 독립신문 5\\t 대한매일신보 |
정답 | 4 |
단답형 | 2005년에 개관하였으며, 교육 및 문화적 목적으로 영화를 상영하는 서울의 유일한 비영리 민간 시네마테크 전용관은 어디인가요? |
정답 | 서울아트시네마 |
정답 인정 | 서울 아트 시네마, 서울아트 시네마, 서울 아트시네마 |
서술형 | 2024년 기준 한국의 일반 가정에서 태양광 발전기를 설치하고 싶으면 어떻게 해야 하나요? |
정답 | 일반 가정에서 태양광 발전기를 설치하기 위해서는 한국에너지공단 '그린홈'에서 시공업체를 선택한 뒤 업체가 가정을 방문하여 설치 가능 여부 및 적절성을 평가하는 과정이 먼저 이루어져야 한다. 적절성 평가에 통과되면 업체가 사업신청서를 그린홈에 제출하고 공단의 검토를 받게 된다. 공단의 승인이 난 후 신청자가 예치금을 납부하게 되며 그 후 설비를 시작한다. 설비는 선정한 업체에 의해 이루어진다. 설치가 완료되면 설치 확인 절차를 거쳐 신청자에게 보조금이 지급된다. 초기 설치 비용이 부담되는 경우 대여 사업자를 통해 태양광 발전기를 대여하는 방법도 있다. |
2. 과제 정의
이 과제에서는 한국문화의 유형을 문화 지식(명제적 지식), 문화 실행(경험), 문화 관점(상호문화적 관점)의 세 가지 유형으로 구분하며, 각각 일상생활부터 예술까지 10개 세부 영역을 포함한다. 과제 해결을 위해서는 선다형(정수), 단답형(5어절 이하), 서술형(500자 이하)의 세 가지 문제 유형에 맞는 정답을 생성해야 한다.
성능 평가는 선다형의 정확도(Accuracy), 단답형의 완전 일치(Exact Match), 서술형의 루지(ROUGE)와 버트스코어(BERTScore), 블루알트(BLEURT)의 평균으로 측정하며, 단답형은 띄어쓰기나 약어 등을 고려한 정답 후보들이 “#”로 구분되어 제공된다.
3. 자료 형식
데이터 세트는 제이슨(Java Script Object Notation) 형식으로 제공되며 각 제이슨(JSON)은 질문, 주제 키워드, 정답을 포함한다. 훈련 데이터와 시험 데이터는 동일한 제이슨 형식으로 제공되며, 시험 데이터는 각 텍스트에 대한 출력(output) 항목이 없어 참가 팀이 모델의 출력 결과를 추가하여 제출한다.
데이터 세트는 훈련(train), 검증(validation), 시험(test) 데이터로 무작위 분할하여 제공한다.
| 훈련 | 검증 | 시험 |
대화 수 | 491 | 98 | 394 |
4. 기준 모델
기준 모델로는 사전 학습된 거대언어모델(LLM)을 사용하였다. 과제 수행 시 기준 모델에 대한 평가를 재현하기 위한 코드는 깃허브(github)에서 확인할 수 있다.
- [기준 모델] Qwen3-8B, HyperClova Text 1.5B
- [코드] https://github.com/teddysum/Korean_Culture_QA_2025
5. 대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 참여 가능하며, 팀 구성원은 모두 국립국어원 언어정보나눔터 회원이어야 한다.
팀 구성 인원 제한은 없고, 접수 기간 중 여러 팀 참여 가능하나 접수 종료 후 과제별 1개 팀만 선택해야 한다.
- 팀장은 팀원의 가입 이메일을 입력해 구성하며, 팀원 모두의 동의가 있어야 완료된다.
- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.(1일 5개까지 제출 가능)
- 라이선스에 문제가 없는 모델을 개발하여야 하며, 외부 API를 통해 호출하는 모델(OpenAI 등)은 제출할 수 없다.
개발한 모델은 RTX 4090 24GB 1개에서 구동(추론)할 수 있어야 한다.
- 외부에 공개된 데이터는 사용이 불가하며 과제 데이터(말뭉치)를 거대언어모델(LLM) 등을 활용해 변형 및 증강하여 사용할 수 없다(㉮ 유형).
모델 입력을 위한 형식 및 형태 변형만이 허용된다.
- 순위표 기준 정성 평가 신청서를 제출한 상위 5개 팀을 정성 평가 및 발표 평가 대상자로 선정한다.(해당 팀에게는 별도 안내 예정)
- 최종 수상자는 정량 평가, 정성 평가, 발표 평가를 종합하여 선정한다.
6. 시스템 사용 방법
- 인공지능(AI)말평 → 알림 → 사용 안내 메뉴 내 동영상 참고
7. 문의
- ‘한국문화 질의응답-㉮ 유형’ 클릭 → 문의(들어가기 후 작성 가능)
