경진대회 개요
이번 대회는 주어진 데이터셋을 활용하여 효과적인 대화 요약 모델을 개발하는 경진대회입니다. 대화는 다양한 주제를 포함하며, 그 내용을 요약하는 것은 정보의 효율적 전달을 위해 매우 중요합니다.
특히 회의나 일상적인 대화의 경우, 요약이 필요하지만 이를 수행하기 위해서는 많은 도전 과제가 존재합니다. 대화의 관점이나 주제에 따라 수많은 요약이 가능하기 때문에, 단순한 요약 기술만으로는 한계가 있습니다.대화 중 요약을 시도하면 대화에 집중하기 어려워지고, 대화 후 기억에 의존하게 되면 누락이나 오해가 발생할 수 있습니다. 이러한 문제를 해결하기 위해, 본 경진대회에서는 주어진 데이터로부터 자동으로 요약문을 생성하는 모델을 구축하는 것을 목표로 하였습니다.| 데이터 세트 | 수량 |
|---|---|
| 훈련 데이터 | 12,457 |
| 검증 데이터 | 499 |
| 테스트 데이터 | 250 |
| 최종 평가 데이터 | 249 |
이 경진대회는 2025년 1월 15일에 시작하여 2월 27일에 종료되었습니다. 총 12,457개의 훈련 데이터와 499개의 검증 데이터가 제공되었으며, 테스트 데이터는 중간 평가와 최종 평가를 위해 각각 250개와 249개가 포함되었습니다.
데이터 전처리 및 모델링
경진대회를 준비하면서 가장 중요한 단계 중 하나는 데이터 전처리입니다. 주어진 데이터에서 중복된 데이터를 제거하고, 잘못된 데이터를 체크하여 정제하는 과정은 모델의 성능을 높이는 데 필수적입니다.
이 대회에서는 Solar Groundness API를 활용하여 197개의 틀린 데이터를 제거하였으며, 대화문과 요약문의 비율을 21%로 설정하였습니다. 또한, 훈련 데이터의 요약문 평균 길이는 약 87음절로 설정되었습니다.민감 정보는 스페셜 토큰(#Person1#, #Person2# 등)으로 대체하였으며, 이러한 정보는 모델이 민감한 개인 정보를 다루지 않도록 보호하는 데 기여하였습니다. 데이터 전처리 과정에서 발생할 수 있는 오류를 최소화하기 위해 파이썬을 사용하여 데이터를 정제하고, 최적의 데이터 품질을 유지하기 위한 다양한 접근을 시도하였습니다.| 데이터 전처리 단계 | 방법 |
|---|---|
| 중복 데이터 제거 | 파이썬 스크립트를 이용하여 제거 |
| 틀린 데이터 체크 | Solar Groundness API 활용 |
| 민감 정보 처리 | 스페셜 토큰으로 대체 |
이러한 데이터 전처리 과정을 통해 모델의 학습이 보다 원활하게 진행될 수 있었으며, 모델이 대화의 맥락을 알아보고 요약하는 데 필요한 충분한 데이터를 제공할 수 있었습니다.
요약 모델 개발 및 결과 분석
모델 개발 과정에서는 KoBART와 같은 다양한 NLP 모델을 활용하여, 대화 요약을 위한 실험을 진행하였습니다. 또한, LLM API 모델과 함께 Solar-mini API, Gemini API를 사용하여 데이터의 키워드를 생성하고, 데이터의 특성을 분석하는 데 기여하였습니다.
이러한 다양한 모델의 조합은 결과적으로 모델의 성능을 향상시키는 데 중요한 역할을 하였습니다. 중간 평가에서는 1등을 기록하며 높은 성과를 보였으나, 최종 평가에서는 2등으로 마무리되었습니다.최종 평가의 점수는 44.8734로, 중간 평가의 점수인 48.7013에 비해 다소 낮아진 결과입니다. 이는 모델의 일반화 능력이나 데이터의 다양성, 혹은 하이퍼파라미터 튜닝의 필요성을 시사합니다.| 평가 단계 | 점수 |
|---|---|
| 중간 평가 | 48.7013 |
| 최종 평가 | 44.8734 |
모델의 성능 감소 원인을 분석하기 위해 다양한 하이퍼파라미터 조정 및 최적화 작업을 진행하였습니다. WandB Sweep과 Optuna를 통해 최적의 파라미터를 찾는 과정에서 모델의 성능을 개선할 수 있는 기회를 마련하였습니다.
이러한 과정은 향후 NLP 모델 개발에 있어 중요한 경험이 될 것입니다.미래의 발전 방향
이번 경진대회에서 얻은 경험은 향후 NLP 분야에서의 발전 방향을 제시해 줍니다. 우선, 데이터의 품질과 양을 더욱 향상시키기 위해 보다 다양한 데이터 출처를 활용해야 할 필요가 있습니다.
예를 들어, 외부 데이터셋을 활용하여 모델의 학습 범위를 넓히고, 다양한 대화의 맥락을 반영할 수 있도록 해야 합니다. 또한, 요약 모델의 성능을 높이기 위해선 다중 모달 데이터를 활용하는 방법도 고려해 볼 수 있습니다.텍스트 외에도 음성이나 비디오 데이터를 포함한 다양한 데이터 소스를 활용하여 보다 풍부한 정보를 제공하는 모델을 개발할 수 있습니다. 이러한 접근은 모델의 학습에 있어 더욱 많은 맥락을 제공할 수 있으며, 결과적으로 보다 정확한 요약을 생성하는 데 기여할 것입니다.| 발전 방향 | 내용 |
|---|---|
| 데이터 다양화 | 외부 데이터셋 활용 |
| 다중 모달 접근 | 음성 및 비디오 데이터 포함 |
| 하이퍼파라미터 튜닝 | 지속적인 성능 개선 |
마지막으로, NLP 기술이 발전함에 따라 윤리적인 고려도 더욱 중요해질 것입니다. 민감한 정보를 처리하는 과정에서 개인 정보 보호와 같은 이슈를 반드시 고려해야 하며, 이러한 문제를 해결하기 위한 체계적인 접근이 필요합니다.
결론
이번 'Dialogue Summarization 경진대회'는 NLP의 다양한 측면을 탐구할 수 있는 소중한 기회를 제공하였습니다. 데이터 전처리, 모델 개발, 결과 분석 등 각 단계에서 많은 교훈을 얻을 수 있었으며, 이를 통해 향후 NLP 분야에서의 발전 방향을 모색할 수 있게 되었습니다.
앞으로도 NLP 기술이 발전하고, 이를 활용하는 다양한 방법들이 제시될 것으로 기대합니다.
