La enseñanza de la pronunciación y la corrección fonética asistidas por ordenador


Enseñanza de la pronunciación y corrección fonética asistidas por ordenador


Sistemas de grabación-reproducción

Permiten al estudiante efectuar una grabación de su pronunciación en L2 y compararla auditivamente con el modelo propuesto.

Versión informatizada de los laboratorios de idiomas.

Pro_nunciation.gif

Brown, I. (2001). Pro-Nunciation. The English communication toolkit. CALICO Journal, 19(1), 205-217. Consultado en https://calico.org/p-39-Pro-nunciation%20(10/2000).html

Espanol_Interactivo.gif

Adams, C. R. (1999). Español interactivo 1.01. CALICO Journal, 17(1), 155-167. Consultado en https://calico.org/p-164-%20Espanol%20Interactivo.html

Rhytm_of_French.gif

Renié, D. (1998). Analyse de The Rhythm of French. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 1(2), 171-177. Consultado en https://alsic.revues.org/1559

Pronunciation_Power.jpg

ECLI. (2014). Pronunciation Power App. Edmonton: English Computerized Learning Inc. Consultado en http://www.englishlearning.com/products/learn-english-app/

Problemas de los métodos basados en la audición y la repetición

up arrow

Ayudas visuales

Basadas en la imitación de modelos por aproximación sucesiva.

Estímulo visual presentado conjuntamente con el auditivo.

Visualización de la configuración articulatoria

Representaciones articulatorias “estilizadas” que aportan información sobre la posición de los articuladores.

Vocal_tract.gif

Pueden incorporar descripciones articulatorias simplificadas como “instrucciones” para la pronunciación.

Pronunciacion_y_Fonetica.gif

Corsbie, C., y Gore, J. (2003). Pronunciación y fonética. Ver. 2.0. CALICO Journal, 20(3), 621-631. Consultado en https://calico.org/p-148-Pronunciación%20y%20Fonética%20(4/2002).html

Rhythm_of_French_2.gif

Renié, D. (1998). Analyse de The Rhythm of French. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 1(2), 171-177. Consultado en https://alsic.revues.org/1559

LosSonidosDelEspanol.jpg

Fonética: Los sonidos del español. Iowa City, IA: Departments of Spanish and Portuguese, German, Speech Pathology and Audiology and Academic Technologies, The University of Iowa, 2005. Consultado en http://soundsofspeech.uiowa.edu

Visualización de la configuración articulatoria en tres dimensiones.

Sarahi.jpg

Gutiérrez Ramírez, D. G. A. (2008). Sarahí. Primer modelo de enseñanza lingüística en tercera dimension. Enter@te en línea. Internet, Cómputo y Telecomunicaciones, 7(74). Consultado en http://www.enterate.unam.mx/Articulos/2007/abril/sarahi.html

Comparación entre la posición articulatoria “canónica” y la producción del estudiante.

Problemas de los métodos articulatorios

Visualización de las características acústicas segmentales

Las características acústicas de los sonidos del habla

Las características acústicas de los elementos segmentales

Forma de onda

Forma de onda

Espectro

Espectro

Espectrograma

Espectrograma

Visualización de las características acústicas de los elementos suprasegmentales

Curva melódica natural

Curva melódica

Curva melódica estilizada o patrones melódicos

Representación estilizada de la curva melódica para mostrar el patrón de movimiento a partir de los puntos de inflexión.

Visualización de la melodía y de la entonación.

Patrones.gif

Patrones melódicos del español en posición final de enunciado.

Garrido, J. M. (1996). Modelling Spanish intonation for text-to-speech applications. PhD Thesis, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona.Consultado en http://hdl.handle.net/10803/4885

La entonación y la melodía

Curva de intensidad

Curva de intensidad

Estrategias de trabajo

Imitación de modelos por aproximación sucesiva a través de diversas repeticiones.

La información visual proporciona feedback sobre la pronunciación del estudiante.

Posibilidad de emplear las herramientas de análisis acústico utilizadas habitualmente en fonética como base de ejercicios que facilitan la práctica de ciertos elementos segmentales o suprasegmentales.

PraatLanguageLab1.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. [Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

PraatLanguageLab2.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

PraatLanguageLab3.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

PraatLanguageLab4.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

PraatLanguageLab5.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

PraatLanguageLab6.jpg

Baepler, P., Ekegren, C., Marsh, L., Rondeau, A., y Thompson, P. (2006). Praat language lab. Minneapolis, MN: University of Minnesota. Consultado en http://www.tc.umn.edu/~parke120/praatwebfiles/

Comparación entre representaciones acústicas de la producción del estudiante y representaciones acústica de modelos canónicos previamente almacenados o de la producción del profesor.

Tell_Me_More.gif

Oscilograma y curva melódica del modelo de pronunciación (panel superior) y de la producción del alumno (panel inferior).

Tell Me More (Fuente: Cazade, A. (1999). De l’usage des courbes sonores et autres supports graphiques pour aider l’apprenant en langues. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 2(2), 3-32. Consultado en https://alsic.revues.org/1623).

WinPitch_LTL.gif

Forma de onda, curva de intensidad y curva melódica.

WinPitch LTL (Fuente: Germain, A., y Martin, P. (2000). Présentation d’un logiciel de visualisation pour l’apprentissage de l’oral en langue seconde. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 3(1), 61-76. Consultado en https://alsic.revues.org/1796).

WinPitch_LTL_2.gif

Curva melódica del enunciado modelo (en blanco) y de la producción del estudiante (en azul).

WinPitch LTL (Fuente: Germain, A., y Martin, P. (2000). Présentation d’un logiciel de visualisation pour l’apprentissage de l’oral en langue seconde. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 3(1), 61-76. Consultado en https://alsic.revues.org/1796).

AccentCoach.gif

Taylor, R. P. (2000). Accent Coach. English Pronunciation Trainer. CALICO Journal, 17(3), 564-579. Consultado en https://calico.org/p-48-Accent%20Coach%20(7/1999).html

Estímulo visual estilizado presentado conjuntamente con el auditivo.

Representaciones en las que se pone de relieve la información lingüísticamente significativa.

Waveform.gif


Waveform2.GIF

Forma de onda original y forma de onda modificada del enunciado “Más vale pájaro en mano que ciento volando”.

Speaker.gif

Representación estilizada de la curva de intensidad
Modelo propuesto por el profesor (panel inferior) y producción del alumno (panel superior).

Speaker (v.3) (Fuente: Cazade, A. (1999). De l’usage des courbes sonores et autres supports graphiques pour aider l’apprenant en langues. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 2(2), 3-32. Consultado en https://alsic.revues.org/1623).

Speaker_2.gif

Representación estilizada de la curva melódica
Modelo propuesto por el profesor (panel inferior) y producción del alumno (panel superior).

Speaker (v.3) (Fuente: Cazade, A. (1999). De l’usage des courbes sonores et autres supports graphiques pour aider l’apprenant en langues. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 2(2), 3-32. Consultado en https://alsic.revues.org/1623).

Ventajas y limitaciones

Resultados obtenidos

Hardison, D. M. (2004). Generalization of computer-assisted prosody training: Quantitative and qualitative findings. Language Learning & Technology, 8(1), 34-52. Consultado en http://llt.msu.edu/vol8num1/pdf/hardison.pdf

Grupo experimental: 16 estudiantes universitarias americanas en su segundo año de francés.

Grupo de control: 10 estudiantes.

Práctica de pronunciación: 13 sesiones de 40 minutos cada una.

Evaluación: pretest, postest y una prueba de generalización; 3 hablantes nativos de francés; escala del 1 al 7.

Hardison(2004)_1.jpg

Hardison, D. M. (2004). Generalization of computer-assisted prosody training: Quantitative and qualitative findings. Language Learning & Technology, 8(1), 34-52. Consultado en http://llt.msu.edu/vol8num1/pdf/hardison.pdf

“Taken together, the results of these two experiments demonstrate the effective pedagogical application of speech technology. This training strengthened the association between the prosodic and lexical components of sentences through frequent exposure and through practice opportunities involving sentences of familiar content with informative feedback, and the training also resulted in improved production at both the segmental and suprasegmental levels.”

Hardison, D. M. (2004). Generalization of computer-assisted prosody training: Quantitative and qualitative findings. Language Learning & Technology, 8(1), 34-52. Consultado en http://llt.msu.edu/vol8num1/pdf/hardison.pdf
up arrow

Reconocimiento automático del habla y corrección fonética

Objetivo: aumentar las posibilidades de llevar a cabo actividades centradas en la pronunciación en el contexto de los sistemas de enseñanza asistida por ordenador.

Neri, A., Cucchiarini, C., y Strik, H. (2003). Automatic speech recognition for second language learning: How and why it actually works. En ICPhS 2003. Proceedings of the 15th International Congress of Phonetic Sciences. (pp. 1157-60). Barcelona, Spain, 3-9 August 2003. Consultado en http://hstrik.ruhosting.nl/wordpress/wp-content/uploads/2013/02/a102.pdf

Reconocimiento

Conversión de la onda sonora producida por el estudiante en una secuencia de palabras utilizando los modelos fonéticos y los modelos de lenguaje creados durante la fase de entrenamiento.

El reconocimiento automático del habla

Puntuación (scoring)

Evaluación realizada a partir de la comparación acústica (segmental o suprasegmental) entre la producción del estudiante y el modelo nativo.

Detección de errores

Realizada a partir del grado de confianza del sistema en la detección de segmentos correspondientes a las producciones nativas almacenadas.

Diagnóstico

Identificación del tipo de error a partir de modelos de errores típicos previamente almacenados.

Corrección (feedback)

Presentación al estudiante de los resultados obtenidos en las etapas anteriores.

En algunos sistemas actuales la visualización de la onda sonora no necesariamente se correlaciona con la puntuación.

ASR_CAPT

Fuente: http://slideplayer.com/slide/1581510/

Reconocimiento_Correccion.jpg

Adaptado de Witt, S. M., y Young, S. J. (2000). Phone-Level pronunciation scoring and assessment for interactive language learning. Speech Communication, 30(2-3), 95-108. doi:10.1016/S0167-6393(99)00044-8.

El reconocedor debe entrenarse con corpus de producciones nativas y no nativas.

El entrenamiento puede contemplar producciones propias de la interlengua de los estudiantes.

El problema se simplifica en el contexto de diálogos con respuestas más o menos predeterminadas.

Limitaciones actuales:

Aplicaciones del reconocimiento del habla a la enseñanza de la pronunciación

Tecnologías básicas de reconocimiento automático del habla aplicadas a sistemas comerciales:

Rosetta Stone. (2016). Demostración gratuita. London: Rosetta Stone (UK) Limited. Consultado en http://www.rosettastone.es/demo

talk_to_me_1.gif

1: Audición y reproducción; 2: Forma de onda y curva melódica; 3: Puntuación - Tell Me More Francés.

Tell_Me_More_3.gif

Tell Me More Francés.

Hamon, L. (2003). Analyse de Tell Me More - Français. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 6(2), 141-155. Consultado en http://alsic.revues.org/2255

talk_to_me_2.gif

Tell Me More Francés.

Tell_Me_More_2.gif

Tell Me More Francés.

Reeser, T. W. (2002). Tell Me More - French. CALICO Journal, 19(2), 419-428. Consultado en https://calico.org/p-63-Tell%20Me%20More%20-%20French%20(3/2001).html

talk_to_me_3.gif

Tell Me More Francés.

Tell_Me_More_4.gif

Tell Me More Francés.

Hamon, L. (2003). Analyse de Tell Me More - Français. ALSIC. Apprentissage des Langues et Systèmes d’Information et de Communication, 6(2), 141-155. Consultado en http://alsic.revues.org/2255

TellMeMore_Español_1.jpg

Tell Me More Español.

Lafford, B. A. (2004). Review of Tell Me More Spanish. Language Learning & Technology, 8(3), 21-34. Consultado en http://llt.msu.edu/vol8num3/pdf/review1.pdf

Tell Me More Español.

Tell Me More Spanish. (2016). Washington, DC: Rosetta Stone Ltd. Consultado en http://www.rosettastone.es

FlueSpeak.jpg

FlueSpeak.

Kim, I. S. (2006). Automatic speech recognition: Reliability and pedagogical implications for teaching pronunciation. Educational Technology & Society, 9(1), 322-334. Consultado en http://www.ifets.info/journals/9_1/26.pdf

Fluency.jpg

Fluency.

LTI. (s.d.). Automatic foreign language pronunciation training - Fluency. Pittsburgh, PA: Language Technologies Institute, Carnegie Mellon University. Consultado en http://www.lti.cs.cmu.edu/research/fluency/

Resultados obtenidos

Hincks, R. (2002). Speech recognition for language teaching and evaluating: A study of existing commercial products. En ICSLP 2002 - Interspeech 2002. Proceedings of the 7th International Conference on Spoken Language Processing. (pp. 733-6). Denver, Colorado, USA. September 16-20, 2002. Consultado en http://www.isca-speech.org/archive/icslp_2002/i02_0733.html

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Rebecca Hincks, Language and Communication, KTH, Stockholm.

Hincks_1.gif

Hincks, R. (2002). Speech recognition for language teaching and evaluating: A study of existing commercial products. En ICSLP 2002 - Interspeech 2002. Proceedings of the 7th International Conference on Spoken Language Processing. (pp. 733-6). Denver, Colorado, USA. September 16-20, 2002. Consultado en http://www.isca-speech.org/archive/icslp_2002/i02_0733.html

Hincks_2.gif

Hincks, R. (2002). Speech recognition for language teaching and evaluating: A study of existing commercial products. En ICSLP 2002 - Interspeech 2002. Proceedings of the 7th International Conference on Spoken Language Processing. (pp. 733-6). Denver, Colorado, USA. September 16-20, 2002. Consultado en http://www.isca-speech.org/archive/icslp_2002/i02_0733.html

Hincks_3.gif

Hincks, R. (2002). Speech recognition for language teaching and evaluating: A study of existing commercial products. En ICSLP 2002 - Interspeech 2002. Proceedings of the 7th International Conference on Spoken Language Processing. (pp. 733-6). Denver, Colorado, USA. September 16-20, 2002. Consultado en http://www.isca-speech.org/archive/icslp_2002/i02_0733.html

Grupo experimental: 9 estudiantes adultos de inglés técnico y diferentes L1.

Grupo de control: 15 estudiantes de características similares.

Práctica de pronunciación: un promedio de 12,5h (dt 15) de trabajo con Talk to Me.

Evaluación: pretest y postest.

Hincks(2003)_1.jpg

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Hincks(2003)_2.jpg

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Hincks(2003)_3.jpg

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

“Extra pronunciation training using speech recognition-based language learning software did not demonstrably improve the mean pronunciation abilities of a heterogeneous group of middle-aged students. However, results from the PhonePass test indicate that use of the programme was beneficial for the students who began the course with an “intrusive” foreign accent. . . . ASR training could be useful for beginning students.”

Hincks, R. (2003). Speech technologies for pronunciation feedback and evaluation. ReCALL, 15(1), 3-20. doi:10.1017/S0958344003000211

Mayfield Tomokiyo, L., Wang, L., y Eskénazi, M. (2000). An empirical study on the effectiveness of speech-recognition-based pronunciation tutoring. En Interspeech 2000 - ICSLP. Proceedings of the 6th International Conference on Spoken Language Processing. Beijing, China. October 16-20, 2000. Consultado en http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps

Grupo experimental: 8 estudiantes de inglés con diferentes L1.

Grupo de control: 8 estudiantes de inglés emparejados con los del grupo experimental.

Práctica de pronunciación: ejercicios sobre las fricativas del inglés con Fluency.

Evaluación: pretest y postest; profesor nativo; escala del 1 al 3.

Mayfield_et_al(2000)_1.jpg

Mayfield Tomokiyo, L., Wang, L., y Eskénazi, M. (2000). An empirical study on the effectiveness of speech-recognition-based pronunciation tutoring. En Interspeech 2000 - ICSLP. Proceedings of the 6th International Conference on Spoken Language Processing. Beijing, China. October 16-20, 2000. Consultado en http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps

Mayfield_et_al(2000)_2.jpg

Mayfield Tomokiyo, L., Wang, L., y Eskénazi, M. (2000). An empirical study on the effectiveness of speech-recognition-based pronunciation tutoring. En Interspeech 2000 - ICSLP. Proceedings of the 6th International Conference on Spoken Language Processing. Beijing, China. October 16-20, 2000. Consultado en http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps

“The figures from the paired users show that both in class and with Fluency, users can achieve notable error reduction in their pronunciation of /ð/ and /θ/. The variance of the results from the Fluency group is much larger than that of the class group.”

Mayfield Tomokiyo, L., Wang, L., y Eskénazi, M. (2000). An empirical study on the effectiveness of speech-recognition-based pronunciation tutoring. En Interspeech 2000 - ICSLP. Proceedings of the 6th International Conference on Spoken Language Processing. Beijing, China. October 16-20, 2000. Consultado en http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps
“it seems safer to let the students practice with CAPT systems that are not too ambitious, but that can guarantee correct feedback in the majority of the cases. Finally, the success of these phases does not solely depend on the technical implementation of the ASR system, but relies to a large extent on the way the feedback is presented.”

Neri, A., Cucchiarini, C., y Strik, H. (2003). Automatic speech recognition for second language learning: How and why it actually works. En ICPhS 2003. Proceedings of the 15th International Congress of Phonetic Sciences. (pp. 1157-60). Barcelona, Spain, 3-9 August 2003. Consultado en http://hstrik.ruhosting.nl/wordpress/wp-content/uploads/2013/02/a102.pdf

Problemas pendientes

Priorización de los errores

¿Qué error debe corregirse?

¿Qué errores inciden más en la inteligibilidad?

Estrategias de corrección

¿Cómo mejorar la pronunciación a partir del error?

¿Qué información sobre cómo corregirse se proporciona al estudiante?

¿Cómo se relaciona la representación acústica con la puntuación?

Aplicaciones del reconocimiento del habla a la evaluación de la pronunciación

Permite automatizar la evaluación.

Ofrece la posibilidad de realizar pruebas de nivel por teléfono o a través de la web.

WebGrader

Práctica interactiva con frases y puntuación por segmento, palabra y frase.

webgrader_1.gif

WebGrader - Puntuación por palabra y por frase.

WebGrader, SRI International.

webgrader_2.gif

WebGrader - Puntuación por segmento

WebGrader, SRI International.

WebGrader, SRI International.

Ordinate - Harcourt Assessment

Empresa dedicada a la evaluación automática de la expresión oral.

Pruebas realizadas por teléfono.

Resultados en la web.

Pruebas en español y en inglés.

Las pruebas incluyen la evaluación de la pronunciación.

Ordinate.jpg

Ordinate - Harcourt Assessment, Menlo Park, California.

Problemas

Diferencias entre las puntuaciones automáticas y las puntuaciones de evaluadores humanos.

Kim(2006)_1.jpg

Kim, I. S. (2006). Automatic speech recognition: Reliability and pedagogical implications for teaching pronunciation. Educational Technology & Society, 9(1), 322-334. Consultado en http://www.ifets.info/journals/9_1/26.pdf

“As a matter of fact, this is by no means a solved issue. Speech technologists are still trying to find the best measures with which to provide a meaningful score: these should be based on specific pronunciation aspects on which the student can work (but which are difficult to capture automatically) and, at the same time, they should result in a score that is similar to that provided by human listeners.”

Neri, A., Cucchiarini, C., y Strik, H. (2003). Automatic speech recognition for second language learning: How and why it actually works. En ICPhS 2003. Proceedings of the 15th International Congress of Phonetic Sciences. (pp. 1157-60). Barcelona, Spain, 3-9 August 2003. Consultado en http://hstrik.ruhosting.nl/wordpress/wp-content/uploads/2013/02/a102.pdf

Puede llegarse a niveles aceptables de reconocimiento de enunciados no nativos.

Es posible proporcionar puntuaciones similares a las humanas en aspectos globales.

La puntuación debe integrarse con la detección de errores.

up arrow

Enseñanza de la pronunciación asistida por ordenador

Enseñanza de la pronunciación y corrección fonética

Enseñanza de la pronunciación y corrección fonética en español como lengua extranjera


La enseñanza de la pronunciación y la corrección fonética asistidas por ordenador
Joaquim Llisterri, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona

Last updated: