Los humanos tenemos un sistema de comunicación único que nos permite transmitir significados complejos, pero para ello empleamos simultáneamente varias modalidades auditivas (ej. lenguaje hablado, prosodia, variación fonológica, entonación) y visuales (ej. mirada, postura, gestos). Pero, ¿cómo se combinan estos canales de información para transmitir información? ¿Cuál es el papel de estas modalidades en la comprensión de conceptos abstractos altamente complejos? Este es el primer proyecto que empleará métodos cuantitativos y experimentales para estudiar la interrelación entre gesto y lenguaje hablado, las dos modalidades comunicativas más informativas, en la comprensión de conceptos abstractos. Se creará un estudio empírico que demuestre hasta qué punto el lenguaje hablado y el gesto se integran para permitir una comunicación y aprendizaje más eficiente de conceptos abstractos.

El proyecto se centrará en dos dominios abstractos que, según algunos estudios, están relacionados a nivel cognitivo: el tiempo y el número. Ambos dominios emplean la magnitud abstracta, que está presente de manera concreta en las gesticulaciones. Este proyecto empleará una base de datos multimodal de gestos temporales creada durante el doctorado del solicitante junto con una nueva base de datos de gestos numéricos para crear la base de datos gestual más grande del mundo a través del repositorio de televisión NewsScape Librar. El proyecto usará grandes cantidades de datos gestuales y lingüísticos para detectar patrones estadísticamente significativos que unan gesto y lenguaje hablado en los dominios de tiempo y número.

Estos patrones se emplearán para la elaboración de video-lecciones que se emplearán en una serie de experimentos psicolingüísticos que investigarán hasta qué punto el uso de ciertos patrones gestuales pueden influir en el aprendizaje de conceptos abstractos. Los resultados del proyecto permitirán un mejor entendimiento de la interconexión entre gesto y lenguaje hablado, el papel del gesto en la adquisición de conceptos abstractos y la creación de la base de datos gestual más grande del mundo.