El conocimiento prosódico en los sistemas de diálogo

Generación de la prosodia:

Módulos prosódicos de los conversores de texto en habla.
Conversión de concepto en habla.

Reconocimiento de la prosodia:

Establecimiento de la relación entre unidades entonativas y actos y subactos de habla asociados con un valor semántico y pragmático.

El conocimiento prosódico en los sistemas de diálogo

La generación de la prosodia

Hirschberg, J. (2002). Communication and prosody: Functional aspects of prosody. Speech Communication, 36(1-2), 31-43. doi:10.1016/S0167-6393(01)00024-3

Estudio de la relación entre la función gramatical y la acentuación en la distinción entre información nueva e información conocida.

Permite mejorar la tendencia a la desacentuación excesiva en los sistemas actuales.

Estudio de los correlatos prosódicos del discurso.

Mejoras en la generación de párrafos.
Introducción de variación en el rango tonal, en la duración de las pausas y en la velocidad de elocución.
Mejoras en la asignación de límites entre unidades prosódicas con la introducción de analizadores más potentes y rápidos.

Estudio de la relación entre la asignación del acento y el fraseo (prosodic phrasing).

Estudio de la relación entre los elementos léxicos, la estructura sintáctica y la estructura prosódica.

Permite mejorar la asignación de la prosodia en las técnicas de síntesis a partir de conceptos.

La prosodia en la gestión del diálogo

Hirschberg, J. (2002). Communication and prosody: Functional aspects of prosody. Speech Communication, 36(1-2), 31-43. doi:10.1016/S0167-6393(01)00024-3

Uso de la prosodia para transmitir información que actualmente se expresa mediante elementos léxicos.

Reducción del tiempo de respuesta del sistema.
Mejora de la naturalidad.

Incorporación de los conocimientos sobre el papel de la prosodia en la alternancia de turnos en la conversación.

Uso de la prosodia para transmitir certeza, duda o cortesía por parte del sistema.

Adaptación a los patrones prosódicos del usuario en lo que se refiere al rango tonal y a la velocidad de elocución.

Sistema más “amigable” para el usuario.

Identificación de actos de habla o de actos de diálogo mediante indicios o parámetros prosódicos de naturaleza acústica.

Modificación de la estrategias de diálogo en función de la información obtenida.

Indicios prosódicos de los actos de habla en los sistemas de diálogo

Shriberg, E., Bates, R., Taylor, P., Stolcke, A., Jurafsky, D., Ries, K., . . . Ess-Dykema, C. (1998). Can prosody aid the automatic classification of dialog acts in conversational speech?. Language and Speech, 41(3-4), 443-492. Consultado en http://www.cstr.ed.ac.uk/downloads/publications/1998/Shriberg_1998_a.pdf

Identificación de actos de habla mediante indicios o parámetros prosódicos de naturaleza acústica.

Medidas relacionadas con la duración.

Enunciativas frente a interrogativas.
Función fática frente a expresiones de acuerdo.

Medidas relacionadas con la frecuencia fundamental (f₀).

Diferentes tipos de interrogativas.
Rasgos globales: valor medio de f₀ y pendiente.

Medidas relacionadas con la energía o amplitud de la señal.

Enunciados incompletos.
Función fática frente a expresiones de acuerdo.

Medidas relacionadas con la velocidad de elocución.

Enunciativas frente a interrogativas

Compensaciones y redundancia entre rasgos prosódicos.

El conocimiento prosódico en los sistemas de diálogo

El tratamiento de las emociones en los sistemas de diálogo

La detección de las emociones

Batliner, A., Hacker, C., Steidl, S., Nöth, E. y Haas, J. (2004). From emotion to interaction: Lessons from real human-machine dialogues. En E. André, L. Dybkjaer, W. Minker, y P. Heisterkamp (Eds.), Affective dialogue systems. (pp. 1-12). Berlin: Springer. Consultado en http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.108.8857

El análisis del comportamiento del usuario no debe incluir únicamente las emociones básicas sino también todos sus estados emocionales.

Análisis de cambios en el comportamiento.

Paso de un estudio centrado en el usuario a un estudio centrado en la interacción.

Si se detecta algo similar al enfado, se inician estrategias de recuperación o se transfiere la llamada a un operador humano.

Si se detecta algo similar a la alegría, se aprovecha para ofrecer un nuevo producto.

Problemas en la detección de emociones en las bases de datos tal como se recogen actualmente.

Necesidad de mejorar las bases de datos.

Con personas que no están actuando ni son actores profesionales.
Recogidas en contextos reales.

La generación de las emociones

Montero, J. M. (2004). La incorporación de emociones a los sistemas de diálogo. En Curso de Tecnologías Lingüísticas “Preguntar al ordenador: Las aplicaciones de los sistemas de diálogo”. Fundación Duques de Soria, Soria, del 12 al 16 de julio de 2004.

Enfado: naturaleza segmental.

Sorpresa: naturaleza prosódica.

Alegría y tristeza: naturaleza en parte segmental, en parte prosódica.

La incorporación de las emociones

Robot-guía que incorpora emociones en la conversión de texto en habla.

Sorpresa, enfado, alegría, tristeza, estrés.

El robot Urbano

Intelligent Control Group, Departamento de Automática, Ingeniería Electrónica e Informática Industrial, Universidad Politécnica de Madrid

Síntesis de las emociones

Las emociones en los sistemas de diálogo

Los sistemas de diálogo

El conocimiento prosódico en los sistemas de diálogo
Joaquim Llisterri, Departament de Filologia Espanyola, Universitat Autònoma de Barcelona

Last updated: