이 누리집은
대한민국 공식 전자정부 누리집입니다.
점검 중
<모두의 말뭉치>
일부 기능 장애로 인하여 해당 신청이 불가능합니다.
최대한 빠르게 복구할 수 있도록 노력하겠습니다.
* 시스템 이용 장애 문의: 051-927-7111
과제 개요
요약문 생성은 긴 텍스트에서 핵심 정보를 추출하거나 재구성하여 짧은 형태로 표현하는 과제이다. 주로 뉴스 기사, 학술 문서, 회의록 등과 같은 문서에서 중요한 내용을 간결하게 전달하기 위해 사용된다. 요약문 생성의 목적은 사용자가 긴 문서를 읽지 않고도 그 내용의 핵심을 빠르게 파악할 수 있도록 도움을 주는 데 있다. 이는 정보의 접근성을 높여 시간을 절약할 수 있게 해 주며, 특정 분야에서 전문적인 지식이 필요한 경우 요약문을 통해 빠르게 중요한 정보를 얻게 해 준다.
항목 | 내용 |
회의록(대화) | {"id": "SBRW2100000215.1.1.1", "speaker": "현승일", {"id": "SBRW2100000215.1.1.2", "speaker": "현승일", "utterance": "오늘은 어제 처리하지 못한 나머지 5개 안건을 심사하도록 하겠습니다. 5개 법안 가운데에서 비교적 쟁점이 덜한 법안부터 먼저 상정하겠습니다."}, {"id": "SBRW2100000215.1.1.3", "speaker": "현승일", "utterance": "제 생각으로는 사립학교법중개정법률안을 먼저 다루고 두 번째, 학원의설립·운영에관한법률안 세 번째, 교육공무원의 연령을 인상하는 법안입니다. 이것은 63세안과 65세안을 한꺼번에 상정하고 마지막으로 사립학교교직원연금법중개정법률안 순으로 할까 하는데 이의가 없으십니까?",}, {"id": "SBRW2100000215.1.1.4", "speaker": "현승일", "utterance": "그러면 첫 번째 사립학교법중개정법률안을 상정하겠습니다."}, {"id": "SBRW2100000215.1.1.5", "speaker": "현승일", "utterance": "전문위원께 검토 의견을 부탁드립니다."}, {"id": "SBRW2100000215.1.1.6", "speaker": "상원종", "utterance": "사립학교법중개정법률안은 크게 두 가지 사항입니다."}, {"id": "SBRW2100000215.1.1.7", "speaker": "상원종", "utterance": "교육부장관이 초·중등학교법인에 대한 설립, 해산, 합병, 정관 변경 및 임원 선임 등의 사무를 완전히 시·도교육감에게 이양하고 학생 수 격감으로 인하여 학교법인이 해산할 경우 잔여재산의 전부 또는 일부를 잔여재산처분계획서에서 정한 학교 설립자나 재산 출연자 등 당해 학교 설립 및 발전에 기여한 자에게 귀속할 수 있도록 한 특례 규정의 시한을 3년간 연장하는 내용입니다.",},... |
참가자 | {"id": "상원종", "occupation": "수석전문위원", "original_id": "尙元鍾"}, {"id": "김정숙", "occupation": "위원", "original_id": "金貞淑"}, {"id": "설훈", "occupation": "위원", "original_id": "薛勳"}, {"id": "현승일", "occupation": "소위원장", "original_id": "玄勝一"}, |
안건 | "topic": "1. 私立學校法中改正法律案", "keyword": "사립학교법중개정법률안", "sentence_id": "SBRW2100000215.1.1.4", "begin": 9, "end": 20 |
요약문 | 수석전문위원 상원종은 사립학교법중개정법률안과 관련하여 외국인 학교들에 대해서 사립학교 관련 규정의 적용을 배제해야 되므로 특례 규정을 신설해야 한다고 하였고, 교육부는 동의하였다. 의사일정 제11항 사립학교법중개정법률안은 교육부장관의 권한을 관할청으로 위임하는 부분은 통과를 보류하여 다시 논의하기로 하고, 부칙 조항 중에 2000년 12월 31일까지를 2003년 12월 31까지로 규정하는 개정안을 원안대로 통과시키고, 67조 외국인학교 특례 규정을 신설하기로 결정되었다. |
‘국회 회의록 요약’ 과제는 국립국어원이 추진한 '2021년 회의록 요약 말뭉치 연구 분석', '2022년 회의록 요약 분석' 사업의 결과물을 활용하여 국회 회의록에서 주요 안건을 식별하고 해당 내용을 간결하게 요약하는 것을 목표로 하는 과제이다. 이 과제는 회의록의 방대한 정보를 효과적으로 처리하여, 특정 안건에 대한 중요 내용을 빠르고 정확하게 파악할 수 있도록 하는 데 중점을 둔다. 회의록 요약은 법률, 정책 연구, 교육 자료 제작 등 다양한 분야에서 활용될 수 있다.
과제 정의
이 과제에서 참가자들은 주어진 국회 회의록 내 안건별 텍스트를 분석하여, 각 안건에 대한 주요 논의 내용을 요약하는 알고리즘을 개발해야 한다. 입력으로는 안건, 참가자 정보 그리고 회의록(대화)이 주어지며 요약 알고리즘을 통해 회의 내에서 논의된 주요 이슈, 결정 사항, 그리고 의견 차이 등을 포괄하는 간결하면서도 정보적 가치가 높은 요약문을 생성해야 한다.
평가는 루지-1(ROUGE-1) 점수를 이용한다. 루지 점수(ROUGE, Recall-Oriented Understudy for Gisting Evaluation)는 요약 시스템이 참조 요약문의 핵심 단어를 얼마나 잘 포착하고 재현하는지 평가하는 데 사용되며, 요약 알고리즘의 정확성과 유효성을 평가하는 데 중요한 지표이다. ROUGE-1 점수는 생성된 요약문과 사람이 작성한 참조 요약문(정답 요약문) 사이에서 일치하는 단어의 수를 바탕으로 정밀도(Precision), 재현율(Recall), F1 점수(F1-score) 세 가지 주요 측정치로 계산된다.
분류 | 내용 | 예시 | 비고 |
입력 | 회의록(대화) | {"id": "SBRW2100000215.1.1.1", "speaker": "현승일", {"id": "SBRW2100000215.1.1.2", "speaker": "현승일", "utterance": "오늘은 어제 처리하지 못한 나머지 5개 안건을 심사하도록 하겠습니다. 5개 법안 가운데에서 비교적 쟁점이 덜한 법안부터 먼저 상정하겠습니다."}, {"id": "SBRW2100000215.1.1.3", "speaker": "현승일", "utterance": "제 생각으로는 사립학교법중개정법률안을 먼저 다루고 두 번째, 학원의설립·운영에관한법률안 세 번째, 교육공무원의 연령을 인상하는 법안입니다. 이것은 63세안과 65세안을 한꺼번에 상정하고 마지막으로 사립학교교직원연금법중개정법률안 순으로 할까 하는데 이의가 없으십니까?",}, {"id": "SBRW2100000215.1.1.4", "speaker": "현승일", "utterance": "그러면 첫 번째 사립학교법중개정법률안을 상정하겠습니다."}, {"id": "SBRW2100000215.1.1.5", "speaker": "현승일", "utterance": "전문위원께 검토 의견을 부탁드립니다."}, {"id": "SBRW2100000215.1.1.6", "speaker": "상원종", "utterance": "사립학교법중개정법률안은 크게 두 가지 사항입니다."}, {"id": "SBRW2100000215.1.1.7", "speaker": "상원종", "utterance": "교육부장관이 초·중등학교법인에 대한 설립, 해산, 합병, 정관 변경 및 임원 선임 등의 사무를 완전히 시·도교육감에게 이양하고 학생수 격감으로 인하여 학교법인이 해산할 경우 잔여재산의 전부 또는 일부를 잔여재산처분계획서에서 정한 학교 설립자나 재산 출연자 등 당해 학교 설립 및 발전에 기여한 자에게 귀속할 수 있도록 한 특례 규정의 시한을 3년간 연장하는 내용입니다.",},... | 딕셔너리 리스트 |
참가자 | {"id": "상원종", "occupation": "수석전문위원", "original_id": "尙元鍾"}, {"id": "김정숙", "occupation": "위원", "original_id": "金貞淑"}, {"id": "설훈", "occupation": "위원", "original_id": "薛勳"}, {"id": "현승일", "occupation": "소위원장", "original_id": "玄勝一"}, | 딕셔너리 리스트 | |
안건 | "topic": "1. 私立學校法中改正法律案", "keyword": "사립학교법중개정법률안", "sentence_id": "SBRW2100000215.1.1.4", "begin": 9, "end": 20 | 딕셔너리 | |
출력 | 요약문 | 수석전문위원 상원종은 사립학교법중개정법률안과 관련하여 외국인 학교들에 대해서 사립학교 관련 규정의 적용을 배제해야 되므로 특례 규정을 신설해야 한다고 하였고, 교육부는 동의하였다. 의사일정 제11항 사립학교법중개정법률안은 교육부장관의 권한을 관할청으로 위임하는 부분은 통과를 보류하여 다시 논의하기로 하고, 부칙 조항 중에 2000년 12월 31일까지를 2003년 12월 31까지로 규정하는 개정안을 원안대로 통과시키고, 67조 외국인학교 특례 규정을 신설하기로 결정되었다. | 문자열 |
평가 | ROUGE-1 점수 | | |
데이터 세트의 구성
구분 | 훈련 | 검증 | 시험 |
요약 수 | 1,339 | 167 | 167 |
평가 지표: 루지-1(ROUGE-1) 점수
기준 모델(baseline model):
이 과제의 기준 모델은 깃허브(github)를 통해 공개되어 있다.
https://github.com/teddysum/Korean_NAMS_2024
대회 참가 규정
- 인공지능의 한국어 능력 평가에 관심 있는 누구나 팀을 구성하여 참가할 수 있다.
- 팀 구성원은 국립국어원 언어정보나눔터 회원이어야 한다.
- 참가 팀은 과제를 해결한 결과를 정해진 양식에 맞추어 제출한다.
- 라이선스에 문제가 없는 모델을 개발하여야 한다.
- 외부 API를 통해 호출하는 모델(OpenAI API 등)은 제출할 수 없다.
- 외부 데이터를 사용할 수 있다.
- 외부에 공개된 모든 데이터를 학습 데이터로 사용 가능
- 언어 모델을 이용하여 증강 후 학습 데이터로 사용 가능
시스템 사용 방법: 알립니다 → 사용 안내 참고
문의: 진행 중 과제 → ‘국회 회의록 요약’ 과제 → 문의
