융복합적 통합 음성학 교육을 통한 학습자 영어 발음학습 자율성 증진

본 연구는 대전광역시에 소재한 한 대학교에서 2024학년도 2학기에 개설한 음성학 수업의 성과에 기반하였다. 음성 분석, 발화 녹음, MFC 발음평가 실험, ASR·WER 발음평가 활동, 설문조사 참여 등 모든 수업 관련 활동은 강의 학점으로 인정(course credit)되어 성적에 반영되었다. 수강 인원은 총 10명(여성 8명과 남성 2명)이었다. 학습자들은 20대 초반 학부생들로서 기본적으로 영어 실력 향상에 관심이 있고, 이전 3학기 동안 다양한 실용 영어 분야 및 자연어처리를 위한 파이썬 언어를 학습하였다. 해당 수업은 인공지능 기반 자동음성인식 애플리케이션이 시중에 다양하게 출시된 점에 착안하여 학습자들이 최첨단 인공지능 기술과 그 기술을 뒷받침하고 있는 음성학 관련 기초이론을 이해하도록 도왔고, 실제 영어 발음 훈련 또한 가능하도록 실용적 관점에서 접근하였으며, 이론-실습-실험 순서로 설계하여 학습 난이도를 조절하였다.

총 15주 수업에서, 학기 초·중반까지 학습 활동은 다양한 이론 습득, 음성 분석, 녹음 순서로 진행하였다. 구체적으로 조음음성학, 음향음성학, 조음음운론 이론에 기초를 두고, 음성 분석 프로그램인 프랏(Praat 6.4.21 win-intel64) 소프트웨어로 실습하였다(Boersma & Weenink, 2024). 학습자들의 영어 발음을 녹음한 자료는 다중강제선택 발음평가 실험과 ASR·WER 발음평가 활동에서 공통으로 사용되었다. 학기 중반 이후부터는 인공신경망으로서의 인공지능 작동 원리, 디지털 신호처리, 음성으로 입력하여 텍스트로 출력(speech-to-text, STT)하고 텍스트로 입력하여 음성으로 출력(text-to-speech, TTS)하는 과정을 수업에서 다루었다. 파이썬 코드로 인공지능 기반 발음 평가 도구(ASR¹과 WER 측정 조합)를 직접 실행할 때는 학습자 본인의 영어 발음에 한정하여 평가하였다. 구체적으로 학습자가 자기 주도적 학습법을 사용하여 인공지능 기반 영어 발음 평가 도구를 활용해 본인의 발화 음원을 입력 데이터로 사용하고, 정량적 피드백을 얻으며 영어 발음을 향상하도록 하였다.

본 연구에서 영어 발음 향상을 위해 기초로 삼은 총 7개의 학습 분야는 i) 조음음성학, ii) 음향음성학, iii) 조음음운론, iv) 음조와 경계 지수(tone and break indices, ToBI) 억양이론, v) 프랏 활용 음성 분석, vi) 다중강제선택 발음평가 실험, vii) 자동 음성 인식과 단어오류율(ASR·WER)이다. (i)에서 (v) 단계까지 학습자들은 발음 연습을 동반하였다. 표 1에 1번–2번은 기초 질문이고, 표 2 3번–5번은 심층 질문이다. 각 표에는 설문 문항과 함께 학습자 응답률(%)이 표시되어 있다.

표 1의 설문지 기초 조사 결과는 다음과 같다. 학습자들은 음성학 수업 수강을 통해서 프랏을 사용하여 음성을 분석해 본 경험이 가장 도움이 되었다고 응답하였다(10명 중 6명). 조음음운론, 음향음성학, ASR·WER 발음평가가 도움이 되었다고 응답한 학습자는 각각 1명씩이었다. 반면 조음음성학이나 음조와 경계 지수 억양이론 분야는 영어 발음 향상을 위한 음성학 수업에서 학습자들의 선택을 받지 못하였다. 모든 학습 분야가 도움이 되었다고 응답한 1명의 학생을 제외하고는 이 두 분야가 음성학 교육에서 학습자들이 학습 효능감을 크게 느끼는 분야는 아니었다. 다음으로 2번 문항에서는 기술 기반 시대를 살아가는 학습자들이 과학적·논리적 사고력 향상에 도움받은 부분을 조사했을 때, 학습자들은 프랏을 사용하여 음성을 분석해 본 경험을 가장 높이 평가했고(10명 중 5명), 조음음성학과 음향음성학은 20%의 응답률을 기록하며 다음으로 꼽혔다. 이 두 개의 설문 문항 결과를 종합하면, 음조와 경계 지수 억양이론 및 관련 발음 연습은 본 수업에서 다른 학습 요소에 비해 상대적으로 낮은 학습 효능감을 제공한 것으로 나타났다.

표 2의 설문지 심층 조사 결과는 다음과 같다. 문항 3번 질문인 조음음성학, 조음음운론, 음조와 경계 지수 억양이론 및 실습과 관련하여 각 분야에서 학습자들이 가장 교육적 효과를 경험한 분야를 좀 더 자세히 알아보았다.

학습자들은 조음음성학 분야에서 자음 발화보다는 모음의 조음위치 및 조음방법을 정확히 배운 것에 가장 만족하였다. 자음과는 달리[예외: 활음(/j/, /w/)과 반전음(/ɹ/)] 모음은 구강 내 조음 협착이 일어나지 않기 때문에 조음(gesture)적 관점에서는 정확한 조음위치를 직관적으로 습득하는 것이 쉽지 않기 때문에 교육적 효과가 높은 것으로 보인다(Browman & Goldstein, 1986, 1989, 1992, 1995). 문항 4번 질문인 조음음운론과 관련하여, 음절 위치에 따른 조음방법과 협동조음에 대하여 배운 것이 도움이 되었다는 응답률(30%)과 음운환경에 따른 음운변화를 배운 것이 도움이 되었다는 응답률(40%), 그리고 모든 분야에서 도움이 되었다는 응답률(30%) 사이에는 거의 차이가 없었다. 마지막으로 문항 5번 질문인 음조와 경계 지수 억양이론과 관련하여 음조와 경계 지수의 여러 조합이 가능하다는 점과 그를 실제로 적용한 음원을 다양하게 청취해 본 경험이 가장 도움이 되었다는 응답이 가장 많았다(10명 중 7명). 비록 이들 세 분야가 기초 조사 결과상으로 학습자들의 응답이 저조한 항목이었다 하더라도, 심층 조사 결과에서 학습자가 경험한 긍정적 효과를 특정할 수 있었다. 첫째, 조음음성학은 학생들이 자음의 조음위치 및 방법과 모음의 발화 방법 습득 시 도움을 준 것으로 볼 수 있다. 둘째, 음운환경에 의한 음운변화를 조음적 측면에서 배운 것은 유익했으며, 다양한 조합의 음조와 경계 지수 조합의 청취 경험은 다양한 영어 억양 양상 인식에 도움을 준 것으로 볼 수 있다.

설문조사 6번 항목과 7번 항목에서는 음성학 수강 전·후에 학습자 본인이 느끼는 영어 발음 수준을 직관적으로 평가해 보라고 요청하였다. 아래 그림 2(a)는 음성학 과목 수강 전의 결과로 10명의 학습자 평균은 7단계 중 4.00 단계였고, 그림 2(b)는 영어음성학 과목 수강 후의 결과로 학습자 평균은 3.23 단계였다.

그림 2. | Figure 2. 학습자 본인 발음 수준에 대한 직관적 자가 평가 | Learners’ self-rated perception of their pronunciation proficiency

Download Original Figure

설문조사 13번 항목에서는 영어음성학 수강 후 학습자 본인 발화에 향상이 있는지 조사하였고, 10명 중 7명이 영어 발음에 향상이 있었다고 응답하였고(70%), 3명은 없었다고 응답하였다(30%).

위 설문 문항 6번, 7번, 13번의 결과를 종합해 보면, 학습자들은 음성학 수강 이후 전반적인 발음 향상이 있었다고 인식하는 동시에, 발음을 객관적으로 평가하기 위한 다양한 음향적·음성적 지식을 습득함으로써 자신에 대한 평가가 이전보다 더 엄격해졌을 가능성도 있음을 시사한다.

선형 혼합효과 모형 분석 결과는 다음과 같다.⁵ 실험순서에 대한 무선 기울기를 포함한 모형이 유의하게 더 적합한 것으로 나타났다[χ²(2) =16.33, p<.001; (표 3)]. 고정효과 분석 결과는 표 4에 제시되어 있다. 평정은 실험순서(사전–사후) 간 유의한 차이를 보이지 않았다(β=0.165, SE=0.457, p>.05). 반복측정 Cohen의 d(Morris & DeShon, 2002)를 사용하여 실험순서 간 비교에 대한 효과 크기를 산출했을 때, 두 조건 간의 평균 차이는 매우 작았으며(사전–사후=0.058), 차이 점수의 표준편차는 비교적 큰 편으로(SD=1.00), 반복측정 효과 크기는 매우 작은 수준이었다(d=0.06). 이러한 결과는 전체적으로 피실험자의 평정은 두 실험 세션 간에 실질적으로 변화하지 않았으며. 집단 수준에서 유의미한 평정 수치의 상승도 나타나지 않았음을 시사한다. 정확도를 기준으로 비교하였을 때, 평가항목 중에서 명료도에서 평정만이 유의한 결과를 나타내며, 사전·사후 모두에서 가장 높은 평정을 유지하였다(β=0.449, SE=0.099, p<.001). 실험순서와 평가항목의 상호작용은 이해도에서만 유의하였으며, 사후에 비해 사전 평가에서 평정이 더 높은 것으로 나타났다(β=0.346, SE=0.135, p<.05).

무선효과 분석 결과는 표 5에 제시되어 있다. 무선효과 분산은 자극(σ²= 0.951)과 피실험자(σ²=0.680)에 기인하는 변동이 상당함을 보여주었고, 실험순서의 무선 기울기 분산은 비교적 작았다(σ²= 0.078). 마지막으로 표 6에서 확인할 수 있듯이, 고정효과만으로는 설명력이 낮았고(주변 R²=.017), 무선효과가 전체 변동을 설명하는 핵심 요소였다(조건부 R²=.628). 이는 청자의 발음 평정이 실험순서(사전–사후) 간 변화보다 자극 고유의 음성적 특성과 청자 개인의 음향적·음성적 지식에 의해 좌우되었을 수 있다는 점을 시사한다.

본 연구에서는 ASR·WER 활용 발음평가 경험을 전통적 인지평가를 기반으로 한 다중강제선택 발음평가에 통합시켰을 때 청자의 평정 방향 변화에 대하여 조사해 보았다. 실험순서(사전–사후)에 따른 전체적 평정의 상승 혹은 하락은 확인되지 않았던 점이 시사하는 바는 자동화된 피드백에 단기적 노출만으로 청자의 평정을 체계적으로 변화시키기에는 충분하지 않다는 것이다. 그러나 이해도 평정에서 나타난 실험순서와 평가항목의 상호작용은 ASR·WER 활용 발음평가 경험이 특정 평가 차원에서 선택적으로 영향을 미칠 수 있다는 것을 확인시켜 주었다. 교육적·평가적 관점에서 볼 때, ASR·WER 발음 평가 활동 경험이 청자의 전체적인 평정 변화를 이끌지는 않더라도, 특정 평가 차원에 대한 민감도를 높이는 데 도움을 줄 가능성은 다소 열려 있는 것으로 해석할 수 있다.

반면, 평정은 무선효과가 전체 변동의 핵심적인 설명 요인임을 보여주었는데, 구체적으로는 개별 피실험자의 음향적·음성적 발음평가 기준과 자극에 영향을 받는 것으로 나타났다. 이러한 결과는 ASR·WER 활용 발음평가 활동을 수업에서 실제 적용할 시에는 다음과 같은 점을 고려해야 함을 시사한다. 교육적 맥락에서 발음평가 피드백의 효과를 실질적으로 얻기 위해서는 ASR·WER 활용 발음평가에 단기적 노출보다는 지속적이고 반복적인 교육적 적용이 필요할 것으로 보인다. 하지만, 학습자가 ASR·WER 활용 발음평가 활동에만 국한되어 노출되기보다는 전문가 발음평가에 단기적으로나마 함께 노출될 필요성도 고려해 봐야 할 것이다. 구체적으로는 전문가 평가를 인공지능 기반 발음평가의 결과에 타당성을 부여하는 하이브리드 결합 방식을 생각해 볼 수 있다. 장기적으로 비전문 평가자의 평가 타당도와 일관성 향상에 있어 효과적 수단이 될 수 있을 것이다.

다만, 수업 설계 단계에서 ASR·WER 활용 발음평가 활동에 노출되지 않은 대조군이 포함되지 않았다는 점은 인공지능 기반 발음평가 경험이 전통적 인지 평가를 기반으로 한 발음평가에 미친 영향을 객관적으로 해석하는 데 걸림돌이 되었고, 연구의 내적 타당성을 약화하였다. Cook et al.(2002)는 단일 집단 사전·사후 설계는 연구 과정에서 불가피하게 개입하는 성숙, 검사 반복, 측정 도구 변화와 같은 내적 타당도 위협 요인들에 취약하므로, 해당 설계만으로는 특정 중재 효과를 명확히 입증하기 어렵다고 하였다. 본 실험에서 피실험자의 수가 경우에 따라 9-10명으로 소수이기에 실험군과 대조군을 나누어 차별된 교육과정을 실시하지 못한 한계가 존재한다. 후속 연구에서는 대조군을 포함한 실험 설계를 실제 구현함으로써 본 연구에서 부족한 내적 타당성 문제를 보완할 필요가 있다.

이 외에도 설문지의 항목을 좀 더 세밀하게 고안하지 못했던 점과 다른 영어 발음 교육 방법과의 비교가 이루어지지 않은 점은 본 연구의 또 다른 한계점이다. 이와 함께, 심사자가 지적하였듯이, 본 연구에서는 다중강제선택 실험에서 자극으로 사용한 발화에 대하여 정확한 음성학적 분석을 함께 제시하지 않은 점과 영어원어민이나 전문 평가자의 영어 발음평가 등급을 기준으로 제시하지 못한 점은 기준 평정이 처음부터 적절히 제시되지 못한 결함으로 이어진다. 이 부분은 향후 연구에서 필수적으로 보완해야 할 점이다.

여러 가지 미진한 점에도 불구하고 본 연구는 통합적·실천적인 수업 방식을 실천하여 음성학/음운론 이론을 활용한 발음 교육, 디지털 도구(프랏, 파이썬 코드, ASR·WER), 평가 방법론(다중강제선택)을 하나의 교과안에서 포함하는 시도를 하였고, 융합적·통합적 교육의 결과를 보고함으로써, 교육 현장에서 영어 발음 교과 관련 교수자들이 참고할만한 실용적인 수업 모형을 제공한 것에 의의를 두고자 한다.

또 다른 논의 지점은 인공지능 기반 발음평가기의 신뢰성 문제이다. Kim(2023)의 연구는 Whisper를 활용하여 전문 발음 평가자와 유사한 수준의 평가 결과를 도출하였으며, 이를 근거로 인공지능 기반 평가기가 전문 평가자를 효과적으로 대체할 수 있다고 주장하였다. 본 연구에서도 학습자는 클라우드 기반 자동음성인식 시스템을 이용하여 발화를 텍스트로 변환하고 단어오류율을 산출함으로써 발음에 대한 즉각적 피드백을 얻을 수 있었다. 그러나 ASR 기술의 최근 발전은 예기치 않은 역설적 문제를 제기한다. 전통적인 GMM-HMM(Gaussian mixture model-hidden markov model) 기반 시스템에서 DNN-HMM(deep neural network-hidden markov model), RNN(LSTM), 그리고 Transformer 기반 엔드투엔드 모델(OpenAI Whisper)로 발전하면서, 음성인식기는 잡음 환경이나 비표준 발화에 대해 더욱 강건한 인식 능력을 제공하게 되었다(Dong et al., 2018; Graves et al., 2013; Hinton et al., 2012; Hochreiter & Schmidhuber, 1997; Rabiner, 2002). 이러한 기술적 고도화는 부정확한 발음조차 목표 단어로 자동으로 보정되어 인식되는 현상을 초래할 수 있고, 결과적으로 실제 발음 오류가 WER에 반영되지 않는 문제가 발생할 수 있다. 그러나, 심사자가 지적하였듯이, 최신 ASR 시스템에서 관찰되는 부정확한 발화의 과대 인식 현상은 모델이 단어 출력을 판단할 때 사용하는 임계값(threshold) 조정을 통해 완화할 수 있기에 이를 학습자에게 적절히 안내하는 것만으로 간단히 해결할 수도 있다. 이와 함께 교수자는 학습자에게 자동음성인식 기술이 전문 발음 평가자를 대신할 수 있을 만큼 발전하여 학습자 본인 발화 평가에서 편리하게 사용할 수 있지만, 인공지능 기반 발음 인식기가 추구하는 기술력의 방향성을 분명히 전달하여 학습자들이 자동음성인식 기술을 발음평가에 사용할 때 좀 더 신중한 견지를 유지하도록 도와야 한다. 전문가 발음평가나 세부 음향학적 지표에 대한 정확한 이해는 발음평가에 객관성과 타당성을 항상 보완하는 방법이기에, 앞으로 더더욱 향상될 자동음성인식 기술을 이용하여 편리하게 발음평가를 시행하되, 전통적 방법을 병행하여 활용할 때 발음평가의 객관성과 타당성이 보완될 수도 있을 것이다.

유료 프로그램은 학습자의 비용 부담이나 교육 기관의 비용 정책에 따라 사용 여부가 결정되기 때문에, 필요에 따라 교실 학습 환경에서 자유롭게 사용하는 것에 한계는 있다. 또한 성능이 뛰어나지 않은 공용 컴퓨터에서 사전 학습 데이터 다운로드가 어려울 수도 있다. 이를 극복하기 위해서 간단한 코딩 기초 지식을 갖고 사전 학습 데이터 다운로드는 필수가 아닌 인공지능 기반 자동음성인식 도구 활용이 가능하다면, 교육 현장에서 첨단 도구를 간편하게 사용할 수 있어 유리하다.

비록 인공지능 자동 발음평가 프로그램은 학습자의 디지털 리터러시 능력이 요구되어 기초적인 컴퓨터 언어 사용이 선행되어야 가능하다는 한계점이 존재하지만(Kim, 2023), 교수자는 파이썬 언어와 같은 학습자가 비교적 배우기 쉬운 고급 컴퓨터 언어(high-level computer language)를 사용하여 음성학에 코딩 교육을 결합하는 시도를 해볼 만한 가치가 있다. 일련의 학습 과정을 통하여 학습자는 기술 기반 학습 도구 사용을 적극적으로 할 수 있고, 자기 효능감을 높이는 학습 활동을 통하여 자기 주도적으로 영어 발음을 향상할 수 있을 것이다.