La importancia de los videojuegos
Los videojuegos son el medio de comunicación más propio de la contemporaneidad ya que en ellos se reúnen, tanto las propiedades fundamentales de los nuevos medios, como algunas de los denominados ‘viejos medios’. Autores como Bolton han acuñado el término remediación para definir el proceso de inclusión de lenguajes y gramáticas de los viejos medios en los nuevos. Un ejemplo paradigmático es el uso de los códigos narrativos del cine en los videojuegos. Movimientos de cámara, secuencias cinemáticas y utilización de la narrativa audiovisual en general, son solo algunos ejemplos de esta inclusión del cine en otros medios.
Al mismo tiempo, el videojuego aúna propiedades importantes propias de la época digital como interacción, inmersión o participación. La interacción es celebrada como el carácter distintivo de los nuevos medios, ofreciendo así experiencias de carácter totalmente nuevo. Un medio es interactivo, según estas interpretaciones, cuando el individuo puede intervenir directamente sobre su contenido cambiando las imágenes, los textos y los sonidos que ve y escucha.
Por inmersión se entiende experimentar una vivencia que nos centra mentalmente en algo que no sea la realidad circundante inmediata. Hablando de los videojuegos, Janet Murray, estudiosa y una de las fundadoras de la disciplina de los game studies, afirma en su internacionalmente reconocido texto Hamlet and the holodeck: “El deseo secular de vivir una fantasía que despierta un mundo de ficción se ha intensificado con un medio participativo e inmersivo que promete satisfacerla más plenamente que nunca.”(Murray, 1998: 98).
En el contexto de los nuevos medios otra característica central es el concepto de participación. Tanto los nuevos medios, en general, como las obras de arte digital, en particular, abren camino a un nuevo paradigma de audiencia donde la relación con el usuario se hace orgánica, dejando de ser “pasiva” para, en cambio, tener un papel activo y protagonista. Los videojuegos son el medio que quizás representan mejor estas propiedades. Los videojuegos, a pesar de la relevancia que siempre se da a lo visual – su centralidad está inscrita en la misma definición del medio –, son experiencias de naturaleza multimodal donde se implica a la vez sonido, visuales y percepción háptica. (Collins, 2013).
La relevancia del audio en los videojuegos
El sonido, en los videojuegos, contribuye a dar un retorno (feedback), junto a lo visual, a los inputs del jugador. Esto es más obvio en la interfaz, donde los botones dibujados en la pantalla reaccionan produciendo efectos sonoros. Durante el juego, la retroalimentación del audio ayuda al jugador a sentir que sus acciones tienen un efecto; un ejemplo es el sonido que se reproduce cuando se vuelve a cargar una pistola.
El sonido suma información sobre el juego y su propio mundo. El ruido de los enemigos que se aproximan, por ejemplo, advierte al jugador del peligro y lo invita a prepararse a la acción. También ayuda también a llamar la atención sobre eventos importantes del juego. En todo caso, otorga información sobre el juego y su propio mundo y colabora a crear realismo. La música y los efectos sonoros ayudan a sumergir al jugador en el mundo del juego y alientan la suspensión de la incredulidad. Ayudan a poner al jugadora/a en la escena, haciéndolo parte de la acción: las explosiones sin audio no son ni creíbles, ni muy dramáticas.
Audiogames
Desde la perspectiva del jugador, la combinación de acción y sonido crea nuevos significados en la interpretación de la dimensión sonora del juego. Collins acuña el término “sincronía cinemática” (kinematic synchresis) para referirse a esta combinación, centrando en el movimiento el objeto del discurso. El sonido, sin embargo, puede ser también considerado como una interfaz a través de la cual explorar, por ejemplo, el mundo de juego.
Esta es la premisa con que se ha creado Audiogames. Audiogames es una instalación interactiva, un espacio de juego donde el oído y la capacidad de escuchar tienen la mayor importancia. Es una propuesta en el cruce entre arte y ciencia que, a modo de juego, permite a los usuarios experimentar y tratar de desenvolverse en un entorno sonoro tridimensional, interactuando con él y con los objetos que lo pueblan mediante los movimientos de su cuerpo en el espacio.
Audiogames es un proyecto de la asociación cultural Arsgames, una entidad sin ánimo de lucro que desde el 2006 genera y ejecuta proyectos de educación, de arte, de participación ciudadana y de investigación científica, basados en el uso de los videojuegos. La pieza se comienza a desarrollar en el marco del primer playlab, una metodología laboratorial de creación de juegos experimentales que la asociación propone desde el 2010. En esta primera edición, realizada en colaboración con Medialab-Prado Madrid y con el apoyo de Sony Playstation, se han desarrollado propuestas bajo el concepto de interfaz experimental.
Inspiración
Desde su concepción, Audiogames ha pretendido abrir nuevos formatos de investigación científica en el marco de la creación artística. Se configura como un experimento dónde, a partir de la realización de una instalación interactiva para ámbitos museísticos y expositivos, se hibrida con los métodos propios de la investigación académica.
Mientras que instituciones del aparato del arte han apoyado su desarrollo – la galería Espacio Trapezio de Madrid en su primera versión y Laboral centro de arte y creación industrial de Gijón, en su segunda versión –, la hipótesis de investigación, los resultados y los descubrimientos han servido para generar propuestas teóricas presentadas en el marco de congresos universitarios. Este es uno de los elementos más interesantes de esta propuesta, ya que rompe con la rígida separación de ámbitos del conocimiento y de las prácticas creativas logrando generar una espacio híbrido de producción, investigación y creación.
Audiogames encuentra inspiración en los estudios sobre sinestesia, focalizándose especialmente en la relación entre sonido y visión. En la hipótesis que se empezó a trabajar en su comienzo, el efecto sinestésico está centrado en el espectador, que traduce, de modo significativo, la visualización del juego en sonido. Se ha buscado generar una correspondencia entre el sonido escuchado por la persona jugadora desplazándose por el espacio y el color visto por el público en la representación digital del espacio de juego.
Separando la experiencia de juego de la del espectador, se pretendía fomentar la relación sinestésica entre lo escuchado por el jugador y lo visto por el público. De esta forma, se podía utilizar la instalación, en el planteamiento inicial de la obra, como una herramienta de investigación y captura de datos, especialmente en relación a la yuxtaposición entre un sonido y un color determinado (¿Como suena el color amarillo?).
La sinestesia entre colores y sonidos y como objeto de interés en su relación con el movimiento viene de la mano de dos experiencias que han servido de fundamentos teóricos-prácticos para la instalación.
The voice es un sistema de realidad aumentada para personas invidentes que utiliza técnicas de sonificación para ayudar a desplazarse en el espacio y reconocer objetos. Está compuesto por un dispositivo tecnológico relativamente sencillo que convierte los colores y las formas en frecuencias de sonidos. El usuario se entrena a reconocer dichas frecuencias y así a desplazarse autónomamente por el espacio.
El mismo principio de sonificación del espacio, a partir del reconocimiento de una paleta de colores básica, rige el funcionamiento del aparato tecnológico que el artista Neil Harbison se ha instalado de forma permanente en su cuerpo. Por medio de una antena implantada en su cráneo, Harbisson -el primer cyborg oficialmente reconocido por un gobierno- logra suplir un defecto genético que le impide ver los colores. La antena aplica el mismo efecto de sonificación de los colores dando así la posibilidad a Harbisson de escuchar e interpretar colores que, de lo contrario, no entrarían en su campo de percepción.
A diferencia de estos proyectos, Audiogames no ha buscado sonificar ningún espacio real, focalizándose, en cambio, en aumentar por medio de lo sonoro y de modo lúdico espacios ficcionales.
¿Cómo funciona?
Se han desarrollado dos versiones de Audiogames, todas basadas en software libre y funcionando en sistemas operativos GNU/linux. La versión 1.0, desarrollada en el marco de la residencia de creación en Espacio Trapezio de Madrid y presentada durante el festival In-sonora 2011, trabaja con sonidos ambientales y una configuración espacial de 10m de ancho por 6m de largo.
El perímetro del espacio de juego está marcado por una cinta y la persona jugadora se desplaza libremente con ojos vendados y empezando por el centro. Una colección de objetos, cada uno con su masa y sus propiedades físicas, está distribuida de forma aleatoria en el tablero de juego y cada uno de ellos emite un sonido reconocible. El objetivo del juego es capturar todos los objetos sonoros moviéndose por el tablero a partir de la escucha.
Para lograr una buena ubicación de cada uno de los objetos sonoros, hemos utilizado un complejo sistema artesanal que acopla los datos procedentes del cálculo de la distancia en el espacio, rastreo de la rotación de la cabeza, y un motor sonoro binaural reproducido por medio de cascos inalámbricos. En función de la distancia con un objeto sonoro se modifica el volumen –más bajo en la distancia, más agudo en la proximidad–, mientras que la rotación de la cabeza responde a una ubicación en los 360 grados del punto de escucha del jugador.
La distancia espacial está calculada por medio de dos sensores Microsoft Kinect, una de las primeras cámaras 3d a nivel usuario utilizadas en entornos artísticos. Las dos cámaras, situadas especularmente en el suelo, se encargan de registrar la distancia del cuerpo con cualquiera de los objetos virtuales del tablero. Un smartphone colocado encima de los cascos inalámbricos permite enviar, por medio de un programa escrito por el equipo, los datos de rotación de la cabeza directamente al sistema.
Finalmente, un programa escrito en el entorno de programación libre Puredata se encarga de triangular los datos dentro de un sistema de espacialización sonoro 3d. Tal sistema se denomina binaural y, por medio de algoritmos, reproduce el funcionamiento físico de la recepción auditiva que opera la cabeza humana en un entorno real.
La visualización 3d del tablero, así como la misma lógica del juego, se ha programado usando el software de diseño 3d Blender y especialmente el game engine integrado en el mismo programa. El hecho de usar software libre en este proyecto ha sido una gran ventaja ya que ha permitido modificar y adaptar parte del código fuente a las necesidades específicas del proyecto.
Con la segunda versión, expuesta durante el festival Game On! – el arte en juego de Buenos Aires, nos hemos centrado en una sonorización de carácter musical. En ella, cada uno de los objetos representa una nota musical y el simple desplazamiento por el tablero genera una composición musical aleatoria que interactúa con los movimientos del jugador.
Para poder eliminar todos los objetos sonoros, y así pasar de nivel, es imprescindible encontrar la nota más aguda que, a modo de bonus, otorga la capacidad de eliminar todos los objetos con que se entra en contacto. Al contrario, la nota más grave, a modo de malus, representa el game over de la partida. Al chocarse con cualquier de los objetos sonoros, sin haber recogido anteriormente el bonus, se ejercita una fuerza sobre ellos empujándolos así a rebotar por todo el tablero. En este caso, el entorno de juego se convierte en un gran instrumento musical con resultados sorprendentes.
Espacios emersivos
En una época en la que la experimentación de las interfaces apuntaban a la exploración de lo tangible –el tangible user interface era una de las palabras más usada en aquel entonces–, nosotros apostamos por otro paradigma de interacción, igual y contrario. Uno que pusiera lo sonoro y la capacidad de escucha en el centro del proceso interactivo. Esto ha modificado, de forma más o menos consciente, la hipótesis de partida.
Si nuestro objetivo, en principio, era generar un espacio sinestésico investigando la relación entre color y sonido, el resultado, con esta segunda versión, ha sido convertir lo sonoro en la interfaz mediante la cual dialogar con el mundo. Una interfaz intangible, audible, capaz de modificar sensiblemente la percepción espacial. Esa interfaz habilita la interacción con un espacio mixto de datos y cuerpo, donde el jugador se encuentra inmerso. Bonnie Mitchell describe los espacios inmersivos de la siguiente forma:
“Al entrar en el medio ambiente eres transportado a otro lugar y tiempo. Te olvidas del mundo que te rodea y te encuentras completamente inmerso en el momento presente.”
En el caso de Audiogames, lo que que hemos generado es justamente lo contrario. Llamamos a esta clase de experiencia espacio emersivo, para identificar una realidad emocional que emerge de las acciones del avatar en el espacio real del presente. Configurando, así, un nuevo tipo de espacio, aumentado, que acopla lo sensorial propio del humano con los cálculos algorítmicos de las máquinas.
En este espacio emersivo, el audio es la forma más propia de navegar y reconocer. La percepción sonora, a diferencia de lo visual, no tiene un vector de recepción único, siendo omnidireccional e independiente de la posición de la cabeza. Esta propiedad lo convierte en un medio e interfaz especialmente apta para esta clase de propuestas.
Serendipia(s)
Con serendipia se describe el hallazgo casual que puede darse en ciertos casos cuando, al desarrollar una investigación científica a partir de una hipótesis de trabajo, se termina encontrando un fenómeno o elemento no contemplado en la hipótesis de investigación. Con este proyecto, mientras pretendíamos investigar el fenómeno de la sinestesia por medio de una instalación interactiva, nos encontramos con algo inesperado y sorprendente.
Durante la residencia de creación en Laboral – Centro de Arte de Gijón, tuvimos la posibilidad de testear la instalación con un grupo de usuarios invidentes. En ese contexto, lo que nos sorprendió fue la posibilidad de que videntes e invidentes jugaran al mismo juego, compartieran una práctica lúdica de la misma forma. Si es cierto que el ámbito de desarrollo de videojuego para usuarios invidentes es un sector que mantiene su nicho, no cabe duda de que suelen ser propuestas especialmente diseñadas para esta clase de usuarios.
Por otro lado, no hay muchos usuarios videntes que jueguen a estos videojuegos. Audiogames, en cambio, se ha concretizado como un espacio de juego donde usuarios con diferentes capacidades pueden compartir a la vez el acto del jugar. Un espacio de juego inclusivo capaz, desde nuestro punto de vista, de rediseñar las formas y las prácticas de juego, que muchas veces están demasiado personalizadas y con el resultado de separar en lugar de unir.
Con este hallazgo hemos aprendido que es necesario imaginar entornos, interfaces, dispositivos, que puedan unir y acercar diferentes tipos de usuarios y así crear esa “cercanía temporal” – una especie de T.A.Z. emocional – que los juegos y el jugar tienen la capacidad de generar.
Post Scriptum o Game Over
En Audiogames no hay forma de ganar. El último nivel, el 7, no contiene ningún bonus que permita terminarlo. En este caso, pues, el objetivo del juego es pura contemplación de un estadio y en ningún caso la búsqueda de la victoria.
Enlaces relacionados
http://audiogames.arsgames.net
http://www.laboralcentrodearte.org/es
Documentación
Murray, J. H. (2017). Hamlet on the holodeck: The future of narrative in cyberspace. MIT press.
Collins, K. (2013). Playing with sound: a theory of interacting with sound and music in video games. Mit Press.
Mitchell, B., (2009). Inmersive Instalation Art. Disponible en http://immersiveinstallationart.com/
Cita recomendada: CARRUBBA, Luca. El sonido como interfaz y el caso Audiogames. Mosaic [en línea], diciembre 2017, no. 154. ISSN: 1696-3296. DOI: https://doi.org/10.7238/m.n155.1742.
Deja un comentario