PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 0 Article
Metrics (View:155)
1. 서론
유창성(fluency)은 넓게는 구술 능력 전반을 가리키는 개념으로 사용되기도 하지만, 좁은 의미에서는 발화가 시간상 얼마나 자연스럽게 이어지는지를 반영하는 수행 특성으로 다루어진다(Lennon, 1990). Segalowitz(2010, 2016)는 유창성을 인지적 유창성(cognitive fluency), 발화 유창성(utterance fluency), 지각된 유창성(perceived fluency)으로 구분하고, 발화 유창성을 인지적 처리 효율성이 발화 산출의 시간적 특성으로 드러난 결과로 설명한다. 이러한 관점에서 모국어 화자의 발화에서 유창성은 비교적 자동화된 언어 처리 과정이 발화 속도(speech rate), 휴지 및 주저 양상(pausing and hesitation patterns), 시간적 연속성(temporal continuity)과 같은 시간적 특성으로 실현된 결과로 이해할 수 있다(Segalowitz, 2010, 2016).
외국어 발화의 유창성 역시 발화의 시간적 양상을 통해 관찰될 수 있지만, 그 양상이 형성되는 조건은 모국어 발화와 다르다. 외국어 학습자는 제한된 언어 지식과 증가한 처리 부담 속에서 발화를 계획하고 산출하므로, 외국어 발화의 유창성은 발화 속도뿐 아니라 산출 과정에서 나타나는 중단(breakdown)과 수정(repair) 양상을 함께 고려하여 설명된다. Skehan(2009)과 Tavakoli & Skehan(2005)은 외국어 발화 유창성을 속도 유창성(speed fluency), 중단 유창성(breakdown fluency), 수정 유창성(repair fluency)의 차원에서 설명하며, 발화 속도, 휴지(pause), 반복(repetition), 자기 수정(self-repair)과 같은 지표가 이러한 하위 차원을 반영한다고 본다. Suzuki et al.(2021)은 발화 속도와 휴지 관련 자질이 청자가 지각하는 유창성 판단과 밀접한 관련이 있다고 보고한다. 따라서 외국어 발화에서 유창성은 발화의 시간적 조직을 반영하는 동시에, 외국어 수행 과정에서 나타나는 산출 부담과 처리 효율성을 설명하는 지표로 불 수 있다(de Jong, 2018).
외국어 발음 평가 연구에서는 음성 신호를 활용하여 학습자의 발음 수행을 자동으로 평가하려는 연구가 이어져 왔다. Franco et al.(1997)은 자동음성인식 기반 발음 평가의 가능성을 제시하였으며, Neumeyer et al.(2000)은 학습자 발음 평가를 위한 자동 채점 접근을 제안하였다. Cucchiarini et al.(2000, 2002)은 자동음성인식 기술을 활용하여 제2언어 학습자의 발음 특성을 분석하였고, Fontan et al.(2018, 2022, 2024)은 음향 자질을 이용한 유창성 예측 연구를 수행하였다. 이러한 연구들은 외국어 발화에서 나타나는 음성 정보를 활용하여 학습자의 발음 및 유창성 수행을 정량적으로 평가하려는 연구 흐름을 보여준다. 이때 발음 평가는 주로 분절음 및 초분절음의 실현을 대상으로 하며, 발화 전반을 포괄하는 말하기 평가 속에서 유창성은 발화의 시간적 조직과 원활성을 판단하는 평가 영역으로 다루어진다.
외국어 학습자 발화의 유창성 자동 평가에서 유창성을 설명하기 위해 반복적으로 다루어져 온 정보 축 중 하나는 발화의 시간적 구조(temporal structure)이다. Skehan(2009)과 Tavakoli & Skehan(2005)은 발화 속도와 휴지를 유창성을 설명하는 주요 요소로 제시하였으며, 발화의 연속성과 끊김이 유창성 판단의 근거가 된다고 설명하였다. de Jong & Wempe(2009)는 음절 핵 검출을 기반으로 발화 속도를 자동 산출하는 방법을 제안하였고, Ginther et al.(2010)은 발화 속도와 휴지 관련 지표가 구술 능력과 연관성이 있다고 보고하였다. Deng et al.(2020) 역시 주저와 같은 비유창성 현상이 자동 유창성 평가에서 활용될 수 있음을 보여주었다.
그러나 발화의 유창성은 발화 속도와 휴지 같은 시간적 구조만으로 충분히 설명되기 어렵다. 유창성 판단은 여러 발화 특성의 결합에 의해 이루어지며(Tavakoli & Skehan, 2005), 음높이, 에너지, 스펙트럼 구조와 같은 음향 정보 역시 발화 수행의 차이를 반영할 수 있다(de Jong, 2018). 이러한 맥락에서 자동 발음 유창성 평가 연구는 시간 자질뿐 아니라 음향 자질을 함께 고려하는 방향으로 확장되었다. Fontan et al.(2018)은 자동음성인식 없이 음향 자질만을 활용하여 제2언어 유창성을 예측할 수 있음을 보여주었으며, Fontan et al.(2022)은 스펙트럼 및 음향 정보를 기반으로 아동 발화의 유창성을 예측하였다. Fontan et al.(2024)은 음향 자질을 활용하여 실어증 화자의 유창성을 자동 측정하는 가능성을 제시하였다. 이러한 연구들은 음향 정보가 발음 유창성 평가에서 시간 자질과 구분되는 독립적인 후보 자질군으로 활용될 수 있음을 보여준다. Eyben et al.(2015)은 음높이, 에너지, 스펙트럼과 같은 정보를 체계적으로 추출하기 위해 GeMAPS(Geneva Minimalistic Acoustic Parameter Set)과 그 확장형인 extended GeMAPS(eGeMAPS)를 제안하였으며, 해당 자질 집합은 자동 평가를 포함한 다양한 음성 분석 연구에서 활용되어 왔다(Schuller et al., 2013).
상용 말하기 자동 평가 시스템에서도 유창성 평가를 위해 다양한 층위의 음성 정보가 활용된다. ETS SpeechRater는 발화 속도, 평균 침묵 지속시간, 단위 시간당 침묵 빈도, 반복 횟수 및 비유창성(disfluency) 표지 수와 같은 시간 자질과 음높이 범위(range of normalized pitch), 에너지 변동(standard deviation of power) 등의 음향 자질을 함께 활용하여 학습자의 유창성을 평가한다(Chen et al., 2009, 2018; Evanini et al., 2015; Higgins et al., 2011; Xi et al., 2008; Zechner et al., 2009). Microsoft Pronunciation Assessment 역시 말하기 속도(speaking speed)와 단어 간 묵음 구간(silent breaks between words)뿐 아니라 강세(stress), 억양(intonation), 리듬(rhythm)을 평가에 반영하며(Microsoft Azure, 2023; Nelson & Cardoso, 2023), Pearson Versant 또한 timing, rhythm, intonation과 같은 다양한 음성 정보를 활용한다(Pearson, 2021). 이러한 사례는 발음 평가와 말하기 평가를 포괄하는 자동 평가 체계 안에서도 시간 정보와 음향 정보가 유창성 평가의 후보 자질로 활용될 수 있음을 보여준다.
외국어로서의 한국어에 관한 유창성 연구는 유창성 평가 구인에 관한 연구와 유창성 평가를 다룬 소수의 연구로 이루어져 왔으며, 자동화 연구 역시 최근까지 매우 제한적이었다. Kim & Kim(2017)은 L2 한국어 말하기 유창성 평가의 평가 기준과 채점 신뢰도를 다국면 라쉬 모형으로 분석하였으며, 유창성이 어휘, 문법, 발음, 말속도, 운율과 같은 구성 요소와 함께 평가되는 것을 보여주었다. Kang et al.(2017)은 한국어 학습자의 발화를 평가할 때 말속도(speech rate), f0 범위, 휴지 빈도와 같은 구인이 유창성 판단에 큰 영향을 미친다고 보고하였다. 이후 Liu(2018)와 Liu & Won(2020)은 한국어 학습자의 발화 및 말하기 과제에서 나타나는 유창성 특성을 검토하였고, Lee et al.(2025)은 한국어 학습자의 말하기 유창성 평가를 위한 자동 채점 자질을 설정하고자 하였다. 이러한 연구들은 한국어 학습자의 유창성 평가에서 시간적 특성과 운율·음향적 특성을 함께 검토할 필요가 있음을 보여준다.
한국어 학습자 발화를 대상으로 한 음성공학 분야의 자동 평가 연구도 제한적이나 지속적으로 이루어져 왔다. Ryu et al.(2016)은 제2언어 한국어 학습자의 발음을 대상으로 음성 정렬과 발화 특성에 기반한 자질을 활용하여 자동 발음평가를 수행하고, 자질 선택을 통해 평가 성능을 비교하였다. 이 연구는 한국어 학습자 발화의 자동 평가에 음향적·음성학적 정보를 활용하였다는 점에서 본 연구와 접점을 가진다. 다만 해당 연구는 학습자의 발음 정확성 평가에 초점을 두고 있어, 발화의 시간적 조직과 음향적 실현 양상을 바탕으로 유창성 수동점수를 예측하는 본 연구와는 평가 대상 및 평가 구인에서 구분된다.
국제적으로는 제2언어 발화의 유창성 또는 운율 수행을 자동으로 평가하기 위해 시간 자질, 음향 자질, 자동음성인식 기반 정보 및 신경망 기반 음성 표현을 활용하는 연구가 축적되어 왔다. Matsuura et al.(2022)은 대화 발화의 특성을 포함한 자질을 활용하여 제2언어 구술 유창성 자동 채점을 수행하였으며, 대화적 자질을 포함한 조건에서 QWK(quadratic weighted kappa) .833을 보고하였다. Dong et al.(2024)은 제2언어 영어 발화에서 음향 자질을 선별하고 음향모델 기반 정보를 결합하여 운율, 유창성 및 발음 정확성 평가를 시도하였다. 그러나 이들 연구는 대상 언어, 발화 과제, 점수 척도, 데이터 규모 및 모델 설정이 본 연구와 상이하므로, 보고된 성능은 직접적인 우열 비교의 기준이라기보다 자동 유창성 평가의 방법론적 참조점으로 해석할 필요가 있다.
이에 본 연구는 외국어로서 한국어 학습자의 발음 유창성 자동 평가를 위한 유의미한 자질을 탐색하고, 이를 기반으로 다양한 예측 모델의 성능을 비교하고자 한다. 구체적으로 시간 자질군, 음향 자질군, 그리고 시간 자질과 음향 자질을 함께 사용한 통합 자질군을 구성하고, 이를 트리 기반 모델과 표형 데이터용 트랜스포머 기반 모델에 적용하여 성능을 비교한다. 이와 같은 자질 기반 유창성 연구는 유창성에 대한 평가 성능을 향상할 수 있을 뿐 아니라 한국어를 외국어로 학습하는 학습자들에게 유창성에 대한 피드백을 제공하는 데 있어 매우 유용할 것으로 예상된다.
본 논문의 구성은 다음과 같다. 2장에서는 발음 유창성 자질 탐색과 예측 모델링을 포함한 방법론을 제시한다. 3장에서는 실험 데이터, 선별 음향 자질의 선택 절차와 결과, 유창성 예측 모델의 설정 및 성능 평가 결과를 제시한다. 4장에서는 앞선 실험 결과를 바탕으로 자질군 구성, 모델 구조 및 점수 분포 조건에 따른 성능 양상을 논의한다. 마지막으로 5장에서는 연구 결과를 종합하고 연구의 의의와 한계, 향후 과제를 제시한다.
2. 방법론
본 연구에서 유창성 자질로서 먼저 시간 자질군은 선행연구를 기반으로 하여 다섯 개를 제안한다. 시간 자질은 읽기 기반 발음 과제 음성에서 원음성 신호만으로 안정적으로 산출할 수 있는 핵심 자질이다. 발화 속도와 조음 속도가 유창성 및 구술 능력과 관련된 대표적인 시간 지표로 다루어져 왔으며(Ginther et al., 2010; Skehan, 2009; Tavakoli & Skehan, 2005), 휴지와 중단은 발화의 연속성과 끊김을 설명하는 주요 지표로 활용되어 왔다(Deng et al., 2020; Skehan, 2003, 2009). 본 연구에서는 이러한 시간적 특성을 반영하기 위해 전체 발화 시간(speech duration, SD), 발화 속도(speaking rate, SR), 조음 속도(articulation rate, AR), 발화 중단(voice breaks, VB), 발화 중단 비율(voice break ratio, VBR)의 다섯 개 자질을 사용한다(T5). 이때 SD는 발화 속도와 발화 중단 비율을 산출하기 위한 기준 시간 단위이자, 읽기 과제에서 발화 산출에 소요된 전체 수행 시간을 나타내는 기초 시간 자질로 사용하였다.
본 연구에서는 이들 자질을 원음성 신호의 RMS(root mean square) 에너지 변화를 이용하여 자동 산출하였다. 음성 신호는 25 ms의 프레임 길이와 10 ms의 프레임 이동 간격으로 분할하였으며, 각 프레임에서 RMS 에너지를 계산하였다. RMS 에너지는 프레임 내 음성 표본의 제곱 평균에 대한 제곱근으로 정의되며, 본 연구에서는 수식 (1)과 같이 산출하였다(O’Shaughnessy, 2000).
수식 (1)에서 χt(n)은 t번째 프레임의 n번째 표본값이며, N은 해당 프레임의 표본 수이다. 산출된 RMS 시계열은 이동평균으로 평활화하였고, 평균 RMS를 기준으로 발화 구간과 휴지 구간을 구분하였다. 또한 RMS 곡선의 국소 피크를 이용하여 음절 수를 추정하였다.
시간 자질 산출을 위해 음성 구간의 총 지속시간 Ts, 휴지 구간의 총 지속시간 Tp, 추정 음절 수 Nsyll, 휴지 또는 음성 단절 구간의 수 Np를 정의하였다. 이들은 T5 산출을 위한 중간 변수이며, 최종 입력 자질은 SD, SR, AR, VB, VBR이다. SD는 수식 (2)와 같이 음성 구간과 휴지 구간의 합으로 계산된다.
SR은 SD 대비 산출된 음절 수로 수식 (3)과 같다.
AR은 휴지 구간을 제외한 실제 발화 구간 대비 음절 수로 계산하며, 수식 (4)와 같다.
VB는 발화 내에서 탐지된 휴지 구간의 개수로 정의하며, 수식 (5)와 같다.
VBR은 SD에서 휴지 구간이 차지하는 비율로 계산하며, 수식 (6)과 같다.
표 1은 T5에 포함된 다섯 개 시간 자질과 각 자질의 조작적 정의를 제시한 것이다.
음향 자질은 기본적으로 openSMILE에서 제공하는 eGeMAPS를 기반으로 추출하였다(Eyben et al., 2010, 2015). 그리고 각 발화에서 추출한 eGeMAPS 88개 자질 전체를 사용한 음향 자질군(A88) 이외에, 이 88개 가운데 유창성 수동점수 예측에 상대적으로 높은 기여도를 보인 8개 자질을 선별하였다(A8). 따라서 A88은 전체 음향 자질군, A8은 선별 음향 자질군에 해당하며, 두 조건 모두 시간 자질을 포함하지 않는 음향 자질 단독 조건이다.
A8의 자질 선별을 위하여 AIHub 교육용 한국어 학습자 발화 코퍼스(AIHub & NIA, 2022a, 2022b, 2022c, 2022d)에서 일부를 사용하여 별도의 데이터를 구성하였다. 영어권(AIHub & NIA, 2022a), 유럽어권(AIHub & NIA, 2022b), 중국 및 일본어권(AIHub & NIA, 2022c), 아시아어권(AIHub & NIA, 2022d)의 네 개 모국어권 학습자 발화 가운데 유창성 수동 점수가 부여되고 eGeMAPS 자질을 추출할 수 있는 발음 과제 발화를 각 집단에서 11,735개씩 선정하여, 총 46,940개 발화를 사용하였다.
eGeMAPS를 기반으로 추출한 88개 자질 가운데 1차 자질 선별은 Gradient Boosting Classifier를 사용하여 교차검증 기반 재귀적 자질 제거(recursive feature elimination with cross-validation) 방식으로 수행하였다. 5겹 교차검증(five-fold cross-validation)을 적용하였고, 평가 지표로는 예측 점수와 수동점수 간 평균절대오차로 설정하였다. 자질 선택 모델의 주요 설정은 n_estimators=100, learning_rate=0.1, max_depth=3, loss=log_loss, random_state=42였다. 이를 통해 유창성 점수 예측에 상대적으로 기여하는 후보 자질을 우선 추출하였다.
이후 후보 자질을 중요도 순으로 정렬하고, 상위 10, 15, 20, 25, 30, 40, 60, 80개 자질 조건의 성능을 비교하였다. 이 단계에서는 random_state=42로 설정한 GBR(gradient boosting regressor)를 사용하여 후보 자질의 중요도를 산출하였다. 각 자질 수 조건의 성능 평가는 중앙값 대체와 GBR로 구성한 파이프라인에 5겹 교차검증(five-fold cross-validation)을 적용하여 수행하였다(n_splits=5, shuffle=True, random_state=42). 평가지표는 유창성 수동점수와 예측값 간 평균절대오차(mean absolute error)로 설정하였으며, 교차검증의 각 폴드(fold)에서 산출된 평균절대오차를 바탕으로 조건별 평균과 표준편차를 계산하였다. 후보 자질 수에 따른 5겹 교차검증 평균절대오차 비교 결과는 표 2에 제시하였다.
| Number of features | Mean MAE | SD |
|---|---|---|
| 10 | .8449 | .0037 |
| 15 | .8408 | .0041 |
| 20 | .8391 | .0040 |
| 25 | .8378 | .0042 |
| 30 | .8375 | .0036 |
| 40 | .8373 | .0034 |
| 60 | .8375 | .0033 |
| 80 | .8381 | .0035 |
가장 낮은 평균절대오차는 40개 자질 조건에서 나타났다. 본 연구에서는 최저 평균절대오차와의 차이가 0.01 이하인 조건을 예측 성능 차이가 제한적인 후보군으로 설정하였다. 이는 유창성 수동점수가 0점에서 5점까지 1점 간격으로 부여되는 척도임을 고려하여 설정한 운영 기준이다. 이 기준에 따라 최저 평균절대오차에 0.01을 더한 .8473 이하의 조건 가운데 가장 적은 수의 자질을 포함한 10개 자질 조건을 최종 후보로 선택하였다. 이와 같이 예측 성능이 유사한 후보 조건 사이에서 더 간명한 조건을 선택하는 방식은 불필요한 자질 수 증가를 줄이고 해석 가능성을 확보하기 위한 모형 선택 원칙과 맥을 같이한다(Hastie et al., 2009).
최종 10개 후보에는 시간 관련 자질인 음절 수(syllable count)와 휴지 시간(pause duration)이 포함되어 있었으므로 제외하였다. 이에 따라 A8은 eGeMAPS 기반 후보 자질 가운데 선별된 8개의 음향 자질로 구성하였다. 표 3은 최종 선별된 음향자질(A8)에 포함된 자질과 각 자질의 음향 영역 및 조작적 정의를 제시한 것이다.
다음 표 4는 본 연구에서 제안한 시간 자질군(T5)과 두 음향 자질군(A8, A88), 그리고 이들을 통합한 통합 자질군(hybrid feature set)으로 시간 자질(T5)과 음향 자질(A8, A88)을 각각 통합한 통합 자질군(H13, H93)이다. 시간 자질군은 발화 유창성의 시간적 조직을, 음향 자질군은 음성 신호의 실현 양상을 반영하며, 통합 자질군은 두 정보 층위를 하나의 입력 공간에서 함께 사용하기 위한 조건으로 설정하였다.
본 연구에서는 시간 자질과 음향 자질의 예측적 유용성을 동일한 평가 조건에서 비교하기 위해 네 개의 유창성 예측 모델을 사용하였다. 모델은 트리 기반 모델(tree-based model)과 표형 데이터용 트랜스포머 기반 모델(transformer-based tabular model)로 구분하였다.
트리 기반 모델로는 GBC(gradient boosting classifier; Friedman, 2001)와 XGB(extreme gradient boosting; Chen & Guestrin, 2016)을 사용하였다. GBC는 순차적으로 약한 학습기를 추가하여 이전 단계의 오차를 보정하는 그래디언트 부스팅(gradient boosting) 계열의 분류 모델이다. XGB는 정규화와 병렬 처리 구조를 강화한 확장 그래디언트 부스팅 모델로, 본 연구에서는 회귀 기반 모델로 구성하였다.
표형 데이터용 트랜스포머 기반 모델로는 특징 토크나이저 트랜스포머(feature tokenizer transformer, FTT; Gorishniy et al., 2021)와 셀프어텐션 및 샘플 간 어텐션 트랜스포머(self-attention and intersample attention transformer, SAINT; Somepalli et al., 2021)를 사용하였다. FTT는 표형 데이터의 각 입력 자질을 토큰화한 뒤 셀프어텐션(self-attention) 구조를 통해 자질 간 관계를 학습하는 모델이다. SAINT는 셀프어텐션뿐 아니라 표본 간 어텐션(intersample attention)를 함께 활용하여 자질 간 관계와 표본 간 관계를 동시에 학습하도록 설계된 모델이다.
GBC의 모델 예측값은 각 유창성 점수 범주에 대한 예측 확률을 산출하므로, 연속 예측 점수는 각 점수 범주 k의 예측 확률 p(k|x)에 해당 점수를 가중하여 합산한 확률가중 기대점수로 계산하였다. GBC의 예측 점수 ŷ는 수식 (7)과 같다. 여기서 p(k|x)는 각 발화에서 추출한 입력 자질 벡터 x가 주어졌을 때 해당 발화가 유창성 점수 범주 k에 속할 예측 확률을 의미한다.
XGB는 회귀 기반 모델로서 0점에서 5점 범위의 연속 점수를 직접 산출하였다. FTT와 SAINT 역시 평균제곱오차를 목적함수로 하여 연속 점수를 직접 출력하였다. 따라서 네 모델의 예측값은 모두 연속 점수로 통일하여 Pearson’s r과 RMSE를 산출하였다.
모델 성능 지표로는 이차 가중 카파 계수(quadratic weighted kappa, QWK), 정확도(accuracy, ACC), 피어슨 상관계수(Pearson correlation coefficient, Pearson’s r), 평균제곱근오차(root mean squared error, RMSE)를 사용하였다. QWK는 예측 점수와 수동점수 간 일치도를 점수 간 거리까지 고려하여 산출하는 지표이므로, 0점에서 5점까지의 순서형 유창성 점수 평가에 적합하다. ACC는 예측 점수와 수동점수가 정확히 일치한 비율을, r은 두 점수 간 선형 상관을, RMSE는 예측 오차의 크기를 나타낸다. 본 연구에서는 QWK를 주 지표로 삼고, ACC, r, RMSE를 보조 지표로 함께 제시하였다.
또한 점수 범주별 예측 성능을 확인하기 위해 정밀도(Precision)와 재현율(Recall)의 조화평균인 F1 점수(F1-score)를 점수별로 산출하고, 그 평균값인 Macro-F1을 함께 제시하였다. 정밀도는 특정 점수로 예측한 사례 가운데 실제로 해당 점수에 속한 사례의 비율을, 재현율은 실제 해당 점수에 속한 사례 가운데 모델이 해당 점수로 정확히 예측한 사례의 비율을 의미한다. Macro-F1은 각 점수 범주의 F1 점수를 단순 평균한 값으로, 특정 점수 범주의 표본 수가 전체 성능 해석에 미치는 영향을 완화하여 확인하기 위한 지표이다.
Pearson’s r과 RMSE는 연속 예측값을 기준으로 산출하였다. 반면 QWK, ACC, 점수별 F1 및 Macro-F1은 예측값을 유창성 점수 범위(0점에서 5점 사이)로 제한한 뒤 가장 가까운 정수로 반올림하여 산출하였다. 또한 동일 검증 발화에서 산출된 조건 간 예측 오차 차이를 비교하기 위해 쌍체 절대오차(paired absolute error)를 기준으로 Wilcoxon 부호순위 검정을 수행하였고, 다중 비교에는 Holm 보정(Holm, 1979)을 적용하였다.
3. 실험 결과
본 연구는 AIHub에서 구축한 교육용 한국어 학습자 발화 코퍼스(AIHub & NIA, 2022a, 2022b, 2022c, 2022d)를 활용하였다. 해당 코퍼스는 발음 과제와 말하기 과제로 구분되며, 본 연구에서는 발음 유창성 자동 평가에 필요한 시간 자질과 음향 자질을 산출할 수 있고, 전문가 유창성 수동점수를 기준값으로 활용할 수 있는 발음 과제 발화를 선정하였다. AIHub 원천 데이터는 영어권 1,601,367개, 1,029.8시간(AIHub & NIA, 2022a), 유럽어권 2,434,822개, 1,538.5시간(AIHub & NIA, 2022b), 중국 및 일본어권 1,331,180개, 1,006.2시간(AIHub & NIA, 2022c), 아시아어권 2,355,685개, 1,510.6시간(AIHub & NIA, 2022d)의 네 개 언어권 데이터로 구성되어 있다. 원천 데이터는 음성 파일, 발화 구간 정보가 포함된 강제 정렬 데이터, 발화 및 화자 정보를 포함한 메타데이터를 제공한다.
본 연구에서는 전체 코퍼스 가운데 시간 자질과 음향 자질을 산출할 수 있고, 유창성 수동점수가 함께 확보된 발화만을 실제 분석에 사용하였다. 최종 실험 데이터는 AIHub 원천 데이터의 훈련·검증 구분을 유지하여 구성하였으며, 훈련 데이터는 1,672,398개, 검증 데이터는 209,083개 발화로 이루어졌다. 표 5는 최종 선정 데이터의 제1언어권 분포를 제시한 것이다. 훈련 및 검증 분할에서 언어권별 구성 비율은 거의 동일하게 유지되었으며, 이를 통해 이후 성능 비교에서 특정 제1언어권의 과대 또는 과소 표집이 개입할 가능성을 줄였다.
각 발화에는 0점부터 5점까지 1점 간격의 유창성 수동점수가 부여되었다. 이 점수는 범주형 표지이면서 동시에 낮은 점수에서 높은 점수로 이어지는 순서형 척도이므로, 본 연구의 예측 과제는 단순 다중 분류가 아니라 점수 간 순서와 거리 정보를 함께 고려해야 하는 발음 유창성 평가 문제로 설정된다. 표 6은 선정 데이터의 유창성 수동점수 분포를 나타낸다.
표 6에서 보듯이 선정 데이터는 훈련 및 검증 분할 모두에서 강한 점수 불균형을 보인다. 특히 0점 발화가 전체의 약 4분의 3을 차지하는 반면, 1점과 5점 발화는 상대적으로 적다. 이러한 점수 분포가 예측 성능에 미치는 영향을 함께 검토하기 위해 ‘원천 점수 분포 유지 조건’과 ‘균형 점수 분포 조건’으로 구성하였다. 원천 점수 분포 유지 조건에서는 3.1절에서 제시한 훈련 발화 1,672,398개와 검증 발화 209,083개를 원래의 점수 분포 그대로 사용하였다. 이 조건은 실제 발음 과제 데이터에서 나타나는 점수 분포를 반영한 상태에서 모델 예측 성능을 확인하기 위한 것이다.
균형 점수 분포 조건에서는 점수 범주별 표본 수의 차이가 평가 결과에 미치는 영향을 통제하기 위해, 훈련 데이터와 검증 데이터에서 각 점수 범주의 표본 수를 동일하게 구성하였다. 검증 데이터는 가장 적은 표본 수를 보인 1점 범주의 2,276개를 기준으로, 0점부터 5점까지 각 점수 범주에서 동일한 수의 발화를 추출하여 총 13,656개 발화로 구성하였다. 훈련 데이터도 1점 범주의 17,570개를 기준으로 각 점수 범주에서 동일한 수의 발화를 추출하여 총 105,420개 발화로 구성하였다. 표본 추출은 기존 훈련·검증 분할 속에서 각각 독립적으로 수행하였으며, 난수 시드는 42로 고정하였다. 두 점수 분포 조건은 조건 간 성능의 직접적인 우열을 검정하기 위한 것이 아니라, 실제 점수 분포를 유지한 평가와 점수 범주별 표본 수를 통제한 평가에서 자질군 및 모델별 성능 양상이 어떻게 달라지는지를 함께 확인하기 위한 보완적 조건으로 설정하였다.
본 연구에서는 2.2절에서 제시한 트리 기반 모델인 GBC와 XGB, 그리고 표형 데이터용 트랜스포머 기반 모델인 FTT와 SAINT를 사용하였다. 2.1.3절에서 구성한 자질군은 각 모델의 입력 조건으로 설정하였다. 구체적으로 GBC와 XGB에는 시간 자질군 T5, 선별 음향 자질군 A8, 그리고 T5와 A8을 결합한 통합 자질군 H13을 적용하였다. FTT와 SAINT에는 시간 자질군 T5, 전체 음향 자질군 A88, 그리고 T5와 A88을 결합한 통합 자질군 H93을 적용하였다. 이에 따라 각 모델 내에서 시간 자질 조건, 해당 음향 자질 조건, 그리고 통합 자질 조건의 예측 성능을 비교하였다.
자질군의 배치는 각 모델 계열에서 검토하고자 한 음향 정보의 범위를 달리하여 설정하였다. 트리 기반 모델에는 자질 선별 절차를 통해 도출된 A8을 적용하여, 유창성 수동점수 예측에 기여하는 핵심 음향 자질을 축소된 입력 조건에서 검토하고자 하였다. 이는 예측 결과를 개별 자질 수준에서 해석하고, 향후 학습자 피드백으로 연계할 수 있는 자질 구성을 고려한 것이다. 반면 표형 데이터용 트랜스포머 기반 모델에는 eGeMAPS 88개 자질 전체로 구성된 A88을 적용하여, 자질 토큰 간 관계를 학습하는 모델에 전체 음향 정보를 제공하고자 하였다. 이를 통해 선별 과정에서 제외된 정보를 포함하는 전체 음향 자질 조건에서의 예측 성능을 검토하였다.
GBC는 HistGradientBoostingClassifier를 사용하였고, 주요 설정은 learning_rate=0.05, max_depth=3, max_iter=300, random_state=0이었다. XGB는 XGBoost 기반 회귀 모델(XGBRegressor)을 사용하였다. 주요 설정은 n_estimators=600, max_depth=6, learning_rate=0.05, subsample=0.8, colsample_bytree=0.8, reg_lambda=1.0, random_state=42였다.
FT와 SAIN는 동일한 입력 자질 조건에서 비교하였으며, 두 모델 모두 난수 시드는 42로 고정하였다. 주요 설정은 d_token=24, n_blocks=1, n_heads=4, d_ff=48, dropout=0.10, learning_rate=3e-4, weight_decay=1e-였다. 최적화에는 AdamW를 사용하였다(Loshchilov & Hutter, 2017). 손실 함수는 평균제곱오차로 설정하였고, 학습 에포크는 T5 조건에서 20회, A88 및 H93 조건에서 15회로 설정하였다.
표 7은 원천 데이터의 유창성 점수 분포를 유지한 검증 데이터에서 모델 및 자질군별 전체 성능을 제시한 것이다.
원천 분포 유지 조건에서는 네 모델 모두에서 A8 또는 A88이 가장 높은 성능을 보였다. GBC와 XGB에서는 A8 조건이, FTT와 SAINT에서는 A88 조건이 각 모델에 적용된 조건 가운데 가장 높은 성능을 나타냈다. 전체 조건 중에서는 SAINT-A88이 QWK, ACC, r, Macro-F1에서 가장 높고, RMSE에서 가장 낮았다.
T5는 모든 모델에서 해당 모델에 적용된 음향 자질 조건보다 낮은 성능을 보였다. 통합 자질 조건인 H13과 H93은 일부 모델에서 T5보다 높은 성능을 보였으나, 각 모델에 적용된 A8 또는 A88의 성능을 넘어서지는 못하였다. 예를 들어 GBC에서는 H13이 T5보다 QWK, ACC, Pearson’s r 및 RMSE에서 높은 성능을 보였으나 A8보다 낮았고, FTT와 SAINT에서도 H93은 T5보다 높은 성능을 보인 일부 지표가 있었으나 A88의 성능에는 이르지 못하였다.
원천 점수 분포 유지 조건의 검증 데이터에서 0점 발화는 전체의 75.74%를 차지하므로, 모든 발화를 0점으로 예측하는 최빈 범주 기준 정확도는 .757이다. 각 모델에서 가장 높은 ACC를 보인 조건은 GBC-A8(.765), XGB-A8(.791), FTT-A88(.785), SAINT-A88(.813)이며, 이는 최빈 범주 기준 정확도보다 각각 .008, .034, .028, .056 높았다.
그림 1은 원천 분포 유지 조건에서 자질군 구성에 따른 QWK 변화로서, 여기에서도 표 7과 동일한 양상이 확인된다. 모든 모델에서 각 모델에 적용된 A8 또는 A88의 QWK가 가장 높게 나타났으며, T5는 이들보다 낮은 QWK를 보였다. H13과 H93은 GBC, FTT, SAINT에서 T5보다 높은 QWK를 보였으나, 모든 모델에서 A8 또는 A88의 QWK를 넘어서지는 못했다. GBC와 XGB에서는 A8이, FTT와 SAINT에서는 A88이 각 모델에 적용된 조건 가운데 가장 높은 QWK를 보였다.
또한 2.3에서 제시한 방식에 따라 동일 검증 발화에 대한 쌍체 절대오차를 기준으로 Wilcoxon 부호순위 검정을 수행한 결과, 원천 분포 유지 조건에서 각 모델에 적용된 음향 자질 조건은 시간 자질 조건 및 통합 자질 조건보다 유의하게 작은 예측 오차를 보였다(Holm 보정 p<.001). SAINT-A88은 XGB-A8보다도 유의하게 작은 오차를 보였다(Holm 보정 p<.001).
이와 같이 원천 분포 유지 조건에서 각 모델에 적용된 A8 또는 A88은 T5보다 높은 성능을 보였다. H13은 GBC에서 T5보다 QWK와 Pearson’s r이 높고 RMSE가 낮았으며, H93은 FTT와 SAINT에서 모든 평가 지표에서 T5보다 높은 성능을 보였다. 그러나 H13과 H93은 해당 모델에 적용된 음향 자질 조건의 성능을 넘어서지는 못했다.
표 8은 원천 분포 유지 조건에서 각 모델의 QWK가 가장 높은 자질 조건을 기준으로 산출한 점수별 F1을 제시한 것이다. 이에 따라 GBC와 XGB에서는 A8을, FTT와 SAINT에서는 A88을 적용한 결과를 제시하였다.
점수별 성능에서는 전체 성능과 구별되는 양상이 나타났다. 네 모델에서 QWK가 가장 높은 자질 조건은 모두 0점 구간에서 가장 높은 F1을 보였다. 반면 1점 구간에서는 모든 조건에서 낮은 성능을 보였고, 5점 구간에서는 네 조건 모두 F1이 .000이었다. GBC-A8은 5점으로 1개 발화를 예측하였으나 정분류는 없었고, XGB-A8, FTT-A88 및 SAINT-A88은 5점으로 예측한 발화가 없었다. 2점, 3점, 4점 구간에서는 모델별 차이가 나타났으나, 전반적으로 0점 구간에 비해 낮은 수준의 성능을 보였다. 2점과 3점 구간에서는 SAINT-A88이 가장 높은 F1을 보였고, 4점 구간에서는 XGB-A8이 가장 높은 F1을 보였다. Macro-F1은 SAINT-A88(.341), XGB-A8(.331), FTT-A88(.322), GBC-A8(.317) 순으로 높게 나타났다.
원천 점수 분포 유지 조건에서 확인된 성능이 특정 점수 범주의 높은 비율에 영향을 받는지를 확인하기 위하여, 점수 범주별 표본 수를 동일하게 구성한 균형 점수 분포 조건에서도 성능을 평가하였다. 표 9는 균형 점수 분포 조건에서의 모델 및 자질군별 전체 성능을 제시한 것이다.
균형 점수 분포 조건에서는 원천 점수 분포 유지 조건과 비교하여 모델 및 자질군별 성능 양상이 다르게 나타났다. 그럼에도 SAINT-A88은 전체 조건 중 가장 높은 QWK, ACC, Pearson’s r, Macro-F1과 가장 낮은 RMSE를 보였다. XGB-A8도 QWK, Pearson’s r, RMSE에서 상대적으로 높은 수준을 보였다.
자질군 구성에 따른 성능 양상은 모델별로 다르게 나타났다. GBC에서는 H13이 QWK, ACC, Pearson’s r, Macro-F1에서 가장 높은 값을 보였으나, RMSE는 A8에서 가장 낮았다. XGB에서는 A8과 H13의 차이가 원천 점수 분포 유지 조건보다 작아졌으며, A8은 QWK, Pearson’s r, RMSE에서, H13은 ACC와 Macro-F1에서 상대적으로 큰 값을 보였다. FTT와 SAINT에서는 A88이 T5와 H93보다 높은 성능을 보였다.
그림 2는 균형 점수 분포 조건에서 자질군 구성에 따른 QWK 변화로서, 균형 점수 분포 조건에서 모델 간 QWK 차이가 원천 점수 분포 유지 조건보다 축소된 양상이 확인된다. XGB에서는 A8이, SAINT에서는 A88이 각 모델에 적용된 조건 가운데 가장 높은 QWK를 보였고, FTT에서도 A88이 T5와 H93보다 높은 QWK를 보였다. 반면 GBC에서는 H13이 가장 높은 QWK를 보였다. 그러나 H13과 H93은 모든 모델에서 일관된 최적 조건으로 나타나지 않았다.
4. 논의
본 연구의 결과는 원천 점수 분포 유지 조건에서 각 모델에 적용된 음향 자질 조건이 시간 자질 조건과 통합 자질 조건보다 높은 성능을 보였다는 점으로 정리할 수 있다. 원천 점수 분포 유지 조건에서는 모든 모델에서 A8 또는 A88이 T5보다 높은 성능을 보였다. GBC와 XGB에서는 A8이, FTT와 SAINT에서는 A88이 각 모델에 적용된 조건 가운데 가장 높은 QWK를 보였다. 균형 점수 분포 조건에서도 XGB-A8과 SAINT-A88은 상대적으로 높은 성능을 유지하였다. 반면 H13과 H93은 두 점수 분포 조건에서 일관된 최적 조건으로 나타나지 않았다. 이러한 자질군의 배치는 트리 기반 모델에서 선별 자질 조건을 통해 핵심 음향 자질의 예측적 유용성과 해석 가능성을 검토하고, 표형 데이터용 트랜스포머 기반 모델에서 전체 음향 자질을 통해 자질 간 관계를 학습하도록 한 분석 목적에 따른 것이다. 따라서 A8과 A88의 결과는 두 자질군의 일반적 우열을 모델 구조와 독립적으로 비교한 결과라기보다, 각 모델 계열에 설정된 시간 자질, 음향 자질 및 통합 자질 조건의 성능 양상을 제시하는 것으로 해석할 수 있다. 외국어 유창성 연구가 발화 속도와 휴지 등 시간적 수행 특성을 주요 지표로 다루어 온 것(de Jong, 2018; Skehan, 2009; Tavakoli & Skehan, 2005)과 비교하면, 본 결과는 한국어 학습자 발화의 유창성 수동점수 예측에서 시간 자질과 구분되는 음향 자질을 함께 검토하게 한다.
A8은 음량(loudness), 음높이(pitch), 유성성(voicing), 포먼트(formant) 영역의 자질로 구성되며, 이 가운데 음량 관련 자질의 비중이 높다. 이 자질군은 GBC와 XGB에서 각 모델의 가장 높은 QWK를 보였다. Kang et al.(2017)은 한국어 학습자 발화의 유창성 판단에서 말속도, 기본주파수(F0) 범위, 휴지 빈도를 다루었다. 본 연구의 A8은 시간 자질을 포함하지 않는 조건에서 기본주파수 및 음량 관련 음향 정보를 함께 사용하였다. 이에 따라 본 연구에서는 한국어 학습자 유창성에서 논의되어 온 기본주파수 관련 특성을 시간 자질과 구분되는 음향 자질 조건에서 검토하였다. 또한 음향 자질을 사용한 제2언어 유창성 예측을 제시한 Fontan et al.(2018)과 비교할 때, 본 연구는 한국어 학습자 발화에서 선별 음향 자질군과 전체 음향 자질군을 구분하고 이를 여러 예측 모델에 적용하였다.
시간 자질을 결합한 H13과 H93이 음향 자질 단독 조건보다 일관되게 높은 성능을 보이지 않은 결과는, 시간 자질의 결합이 본 실험에서 설정한 모든 모델 조건에서 성능 향상으로 이어지지 않았음을 보여준다.
점수 분포 조건에 따른 결과는 유창성 자동 평가의 성능을 해석하는 기준과 관련된다. 원천 점수 분포 유지 조건에서 각 모델의 최적 자질 조건은 전체 QWK, ACC, Pearson’s r, RMSE에서 높은 성능을 보였으나, 점수별 F1에서는 0점 구간과 1점·5점 구간 사이에 큰 차이가 나타났다. 특히 5점 범주에서는 네 조건 모두 정분류가 없었으며, GBC-A8에서만 5점 예측 1건이 산출되었고 나머지 세 조건에서는 5점 예측이 산출되지 않았다. 균형 점수 분포 조건에서는 자질군과 모델별 성능 양상이 원천 점수 분포 유지 조건과 다르게 나타났으며, 일부 모델에서는 자질군별 상대적 성능도 달라졌다. 따라서 표 7의 전체 성능, 표 8의 점수별 F1, 표 9의 균형 점수 분포 조건 결과는 유창성 수동점수 예측의 서로 다른 측면을 제시한다. 발음 과제 발화에 부여된 유창성 수동점수를 대상으로 한 본 연구에서, 전체 지표는 전반적 예측 성능을, 점수별 F1은 각 점수 범주의 예측 양상을 제시한다.
5. 결론
본 연구는 외국어로서의 한국어 학습자의 유창성 자동 평가를 위한 음향 자질 탐색 및 예측 모델링을 목적으로 수행되었다. 한국어 학습자 발화의 유창성을 자동으로 평가하는 연구가 제한적인 상황에서, 본 연구는 발음 과제 발화에 부여된 유창성 수동점수를 예측 대상으로 설정하였다. 이를 위해 시간 자질(T5), 선별 음향 자질(A8), 전체 음향 자질(A88), 통합 자질(H13, H93)을 구성하고, 트리 기반 모델과 표형 데이터용 트랜스포머 기반 모델의 성능을 원천 점수 분포 유지 조건 및 균형 점수 분포 조건에서 비교하였다.
실험 결과, 원천 점수 분포 유지 조건에서는 각 모델에 적용된 음향 자질 조건이 시간 자질 조건보다 높은 성능을 보였다. GBC와 XGB에서는 A8이, FTT와 SAINT에서는 A88이 각 모델에 적용된 조건 가운데 높은 성능을 보였으며, 전체 조건에서는 SAINT-A88이 가장 높은 성능을 나타냈다. 통합 자질 조건은 음향 자질 단독 조건보다 일관되게 높은 성능을 보이지 않았고, 점수 분포 조건에 따라 전체 성능과 자질군별 상대적 성능이 달라졌다. 이러한 결과는 한국어 학습자 발화의 유창성 수동점수 예측에서 음향 자질을 탐색하고, 자질군과 예측 모델의 조합에 따른 성능을 비교한다는 연구 목적에 직접적으로 답한다.
본 연구의 기여는 한국어 학습자 발화의 유창성 자동 평가에서 시간 자질과 음향 자질을 구분하고, 선별 음향 자질군과 전체 음향 자질군을 서로 다른 모델 계열의 입력 조건으로 구성하여 성능을 검토한 데 있다. 다만 실험 대상이 발음 과제 발화에 한정되었고, 점수 분포의 불균형이 컸으며, 통합 자질군은 단순 결합 방식으로 구성되었다. 후속 연구에서는 발화 유형을 확장한 데이터에서 자질–모델 조합의 성능을 비교하고, 소수 점수 범주의 예측 양상과 시간·음향 자질의 결합 방식을 추가로 검토할 수 있다.
