Tecnología > SUPERCOMPUTADORA
Watson, director de orquesta
La inteligencia artificial compuso en tiempo real una partitura para ser interpretada en vivo
Tiempo de lectura: -'
13 de agosto de 2017 a las 05:00
El pasado viernes 3 de agosto, en el marco del primer Watson Summit Uruguay organizado por IBM, el equipo de realizadores uruguayos Head Brothers y el dúo Pulsar presentaron Watson Says, un innovador espectáculo musical de creación e interpretación conjunta entre humanos e inteligencia artificial.
Esta experiencia multimedia, que combinó sonido, música y proyecciones visuales en vivo, tuvo como principal objetivo explorar las capacidades de la computación cognitiva, es decir, la capacidad de un modelo computarizado de pensar, comprender, escuchar y recordar por sí mismo.
Marco Colasso (ingeniero en sonido) y Juan Pablo Colasso (diseñador de interacción), hermanos responsables de Head Brothers, destacaron en diálogo con Cromo que este proyecto explora los límites de la colaboración entre el hombre y la máquina.
El equipo ingresó a una variedad de escritos a la herramienta, desde discursos de la historia de IBM hasta proyecciones a futuro de la empresa.
Watson analizó estos textos y devolvió una serie de emociones. "Diferentes porcentajes, cantidades de emociones, sobre diferentes partes del texto", dijo uno de los hermanos a Cromo. A partir de esto, hicieron una guía básica, una especie de "esqueleto de emociones", y se inventó una historia.
"Estábamos desarrollando este sistema computacional, cuya entrada son las emociones, y a su vez teníamos que Watson entregaba emociones. Y dijimos 'Genial. Tenemos que hacer esto'", contó uno de los técnicos.
Con esta tecnología, la computadora generó en tiempo real una partitura, la cual fue interpretada por máquinas y músicos en vivo en un show de 15 minutos de duración. Se hizo una composición de toda la parte sonora, de los ambientes que acompañan la narración y de la parte visual, sobre todo a nivel de color, todo adelante del público.
Las notas musicales interpretadas por los músicos también fueron analizadas en tiempo real por Limbic y sirvieron como disparadores para las visuales proyectadas en pantallas en escena.
"La tecnología que hay detrás de Watson está disponible. Y es una tecnología que, hecha a mano, llevaría un montón de tiempo entrenarla para que aprenda a reconocer este tipo de cosas. Acá es prácticamente como ir a un supermercado y elegir un determinado producto. Quiero usar esto con este texto y me da la salida que estoy esperando", explicó Vergara.
Además, afirmó que se podría hacer algo similar con imágenes, emails o llamados telefónicos en vez de textos. "Tiene una aplicabilidad bastante amplia, para cualquier tipo de industria", concluyó.
Esta experiencia multimedia, que combinó sonido, música y proyecciones visuales en vivo, tuvo como principal objetivo explorar las capacidades de la computación cognitiva, es decir, la capacidad de un modelo computarizado de pensar, comprender, escuchar y recordar por sí mismo.
Marco Colasso (ingeniero en sonido) y Juan Pablo Colasso (diseñador de interacción), hermanos responsables de Head Brothers, destacaron en diálogo con Cromo que este proyecto explora los límites de la colaboración entre el hombre y la máquina.
Análisis de emociones
"Realizamos una composición a partir del análisis de varios textos con la herramienta Tone Analyzer de Watson", afirmó uno de los integrantes del equipo. Los realizadores se basaron en el IBM Watson Emotion Analysis, una nueva funcionalidad de la inteligencia artificial de la empresa que permite detectar emociones básicas como felicidad, odio, tristeza, disgusto y miedo en el análisis de textos.El equipo ingresó a una variedad de escritos a la herramienta, desde discursos de la historia de IBM hasta proyecciones a futuro de la empresa.
Watson analizó estos textos y devolvió una serie de emociones. "Diferentes porcentajes, cantidades de emociones, sobre diferentes partes del texto", dijo uno de los hermanos a Cromo. A partir de esto, hicieron una guía básica, una especie de "esqueleto de emociones", y se inventó una historia.
undefined
undefined
Generar la partitura
El siguiente paso fue traducir esas emociones a una partitura musical y visual. Para esto, Head Brothers empleó Limbic, un sistema computacional diseñado y desarrollado por ellos mismos que genera contenidos audiovisuales en tiempo real, basándose en modelos matemáticos y, precisamente, en emociones."Estábamos desarrollando este sistema computacional, cuya entrada son las emociones, y a su vez teníamos que Watson entregaba emociones. Y dijimos 'Genial. Tenemos que hacer esto'", contó uno de los técnicos.
Con esta tecnología, la computadora generó en tiempo real una partitura, la cual fue interpretada por máquinas y músicos en vivo en un show de 15 minutos de duración. Se hizo una composición de toda la parte sonora, de los ambientes que acompañan la narración y de la parte visual, sobre todo a nivel de color, todo adelante del público.
undefined
undefined
Músicos en escena
Para la musicalización en vivo, los hermanos Colasso contaron con la participación de Juanita Fernández y Sebastián Pereira, integrantes del ensamble Pulsar, formado en la Escuela Universitaria de Música. Los músicos interpretaron la partitura generada con instrumentos de percusión tonal como glockenspiel, marimbas, piedras y campanas.Las notas musicales interpretadas por los músicos también fueron analizadas en tiempo real por Limbic y sirvieron como disparadores para las visuales proyectadas en pantallas en escena.
Al acceso de todos
Sebastián Vergara, arquitecto de IBM Uruguay, opinó que la parte más interesante del proyecto de Head Brothers es que se trató de una solución hecha completamente en la nube."La tecnología que hay detrás de Watson está disponible. Y es una tecnología que, hecha a mano, llevaría un montón de tiempo entrenarla para que aprenda a reconocer este tipo de cosas. Acá es prácticamente como ir a un supermercado y elegir un determinado producto. Quiero usar esto con este texto y me da la salida que estoy esperando", explicó Vergara.
Además, afirmó que se podría hacer algo similar con imágenes, emails o llamados telefónicos en vez de textos. "Tiene una aplicabilidad bastante amplia, para cualquier tipo de industria", concluyó.
