Animació unificada de veu i rostres expressius (Aniveu)

Project: Internal grants/own callsProjects

Project Details

Description

"Quan parlem, les cordes vocals generen ones acústiques que es propaguen a través del tracte vocal i que acaben radiant a l’exterior a través dels llavis. Podem generar infinitat de sons simplement variant la forma del tracte vocal i la manera de vibrar de les cordes. No només emetem sons, sinó que ens comuniquem, tot transmetent diferents emocions com ara l’alegria o la tristesa. Però la veu no és l’única que hi juga un paper important, sinó també el nostre rostre a través de diferents expressions facials.

El Grup de recerca en Tecnologies Mèdia (GTM) té un llarg recorregut en el camp de la simulació numèrica de la veu, partint del projecte europeu EUNISON (2013-2016), on es van generar amb èxit vocals i diftongs, i continuant pel projecte estatal GENIOVOX (2016-2019), en el que es va començar a introduir expressivitat en la veu mitjançant modificacions en els models de polsos glotals (cordes vocals) i de tracte vocal. A continuació, en el projecte “Generació computacional de veu i rostres expressius” (2019-URL-Proj-067), es va realitzar un primer estudi per tal d’afegir una capa d’animació que dotés d’un rostre expressiu a la veu simulada numèricament.

En aquest projecte volem anar un pas més enllà i simular veu expressiva fent servir tractes vocals i rostres realistes units en un mateix domini computacional. D’aquesta manera, la veu generada dependria alhora de la forma del tracte vocal i de l’expressió facial del rostre, a diferència d’aproximacions anteriors, en les que es generaven per separat i per tant no s’obtenia una sincronia real entre imatge i so.

Com a resultat del projecte, es pretén obtenir una animació unificada en la que podrem escoltar la veu i alhora visualitzar les ones sonores propagant-se pel tracte vocal i sortint a través de la boca d’un rostre humà realista. Aquesta animació, entre altres propòsits, permetrà divulgar la recerca feta els darrers anys en aquest camp, tot explicant, de forma molt visual, com funciona la nostra veu."
StatusFinished
Effective start/end date1/01/2031/12/20