Contextualización
Sonic Interaction Design [SID] o Diseño de Interacción Sonora es una de las definiciones más precisas (por autodescripción) para aquel conjunto de prácticas donde la Sonología se hibrida con las tecnologías creativas (principalmente ingenierías electrónicas y programación), y el diseño en su más amplio sentido (desde diseño de interfaces / UX, hasta prácticas de diseño físico que enlazan con el diseño industrial inicialmente y con prácticas Maker posteriormente). A menudo se pueden conectar con proyectos de Media Art o Arte Electrónico, si bien debido a su componente sónico inherente, se trata de proyectos donde el sonido es un actor relevante y central.
La SID representa un marco de investigación transdisciplinar que emerge en las últimas dos décadas (con alguna aportación pionera anterior) debido a la superposición de diversos factores:
–La programación creativa con lenguajes (generalmente abiertos y multiplataforma) que permiten crear aplicaciones especializadas y singulares para proyectos o funcionalidades muy concretas.
–La filosofía DiY heredada de la contracultura Punk inicialmente y practicada posteriormente con las tecnologías ‘Open’ (Open Source, Software Libre, Open Hardware etc) con sus variantes DiT DiWO (Do It Together y Do it With Others).
–Las prácticas Maker, que reverberadas del punto anterior, establecen métodos de fabricación viable para objetos específicos y singulares de un determinado proyecto.
–La tendencia del marco ‘Arte – Ciencia – Tecnología’ en los contextos artísticos / creativos / investigativos, así como su réplica pedagógica ‘STEM’.
–La recuperación de la gestualidad y la corporeidad en la performance sonora en la era post-laptop music. En resumen, la recuperación de la tangibilidad (espacio y cuerpo) en la performance sonora ante la intangibilidad digital.
–La conexión de la Sonología con las Ciencias Cognitivas en materia de percepción, ampliando el registro sonoro formal y compositivo mediante el impacto sobre el cuerpo : tanto de su espacio circundante (propiocepción), como de la reverberación de la ‘audición’ corporal (percepción háptica). A su vez, la ampliación de la fenomenología sonora cuando interviene la cognición y los distintos estados de actividad cerebral.
Programación Creativa: Sonido Algorítmico
En los proyectos de SID es muy habitual la confección de herramientas para elaborar tareas específicas. Debido a que este tipo de proyectos son sistemas complejos en los que se entremezclan electrónica e interfaces físicas, el uso de programación¹, permite interconectar datos provenientes de sensores o bien streaming de datos (de redes locales o directamente de internet), a estructuras de composición sonora variables en el tiempo, mediante lenguajes de control del DSP² en un sistema computerizado.
¹ Pd, pd-2lork, Supercollider, Python, Axoloti Patcher etc.
²Digital Signal Processor, o en términos sencillos tarjeta de sonido de un ordenador que convierte señal acústica digital a señal acústica analógica reproducible esta última en un sistema de sonido común.
En definitiva la escritura de código para elaborar herramientas o funciones específicas del proyecto. Habitualmente se pueden resumir en las siguientes secciones:
1) Algoritmos de transmisión y análisis de datos que provienen de sensores, micrófonos, feeds de bases de datos de internet, feeds de otras aplicaciones en el mismo sistema, etc.
2) Algoritmos sonoros que traducen los datos analizados en la anterior sección y los transforman en estructuras temporales, tímbricas, tonales, clusterizadas, etc. en una composición ejecutada en vivo. Las distintas técnicas de síntesis (síntesis aditiva, sustractiva, granular, entre otras menos comunes) son muy eficientes para esta sección.
3) Algoritmos de arranque que se encargan de arrancar las aplicaciones necesarias del sistema operativo para el funcionamiento autónomo y automatizado del conjunto de interacción.
App de composición sonora generativa basada en los multiversos propuestos por algunas de las teorías de las ciencias físicas. La aplicación está programada en el lenguaje Pd donde el ratio 27.7 y sus harmónicos proporcionales (x2,x3,x4,x5,etc) articulan los cambios en el dominio frecuencial (hz) y el temporal (ms). Esta programación es la que conduce la instalación Ones Hàptiques http://noconventions.mobi/oneshaptiques Código > http://noconventions.mobi/oneshaptiques/code/OHPI27.7_OH16.zip
Un elemento clave en los proyectos de Sonic Interaction es la automatización de numerosas tareas. La automatización (en realidad una automatización parcial) permite separar al performer sonoro de un determinado instrumento, para poder realizar una experiencia participativa y co-creativa donde la composición queda conducida, interpretada y completada mediante la interacción del público³.
³En el artículo ‘El sonido como interfaz y el caso Audiogames’ de Luca Carrubba se señala cómo la interacción del público conduce la experiencia de una instalación inmersiva a modo de videojuego.
Existen diversos tipos de automatización. Debido a que la Sonología es una especialidad compleja donde intervienen no sólo cuestiones matemáticas, físicas y/o de composición musical, sino también componentes emocionales y perceptivos, los sistemas automatizados propios de las técnicas computerizadas, pueden devenir demasiado ‘maquínicos’, rígidos o faltos de expresividad. Para resolver esta cuestión, uno de los métodos más utilizados en automatización, son las estructuras generativas. En resumen estas se centran en el crecimiento y desarrollo temporal inspirado en modelos que estudian e interpretan la naturaleza (tanto en modelos biológicos de organismos, como en modelos biofísicos y geofísicos como por ejemplo los que determinan las predicciones de la Méteo o las dinámicas de fluidos). En las estructuras generativas, los datos que provienen del sistema de interacción acaban de completar la composición que se está ejecutando. El resultado de utilizar estructuras y algoritmos generativos es poder llegar a un nivel alto de automatización de manera que vayan tejiendo una composición más orgánica, que la estrictamente secuenciada de manera lineal en el tiempo. En consecuencia dotar de mayor riqueza y expresividad a la generación sonora, acabados de definir por las variables dinámicas de la interacción de las/os usuarias/os, así como por ciertos cálculos variables de crecimiento (algoritmos de aleatoriedad, de probabilidad, etc).
Ejemplos donde se ha trabajado con programación generativa:
_La artista electrónica y creative coder Alba G. Corral programa numeras aplicaciones con Processing para generar un particular universo generativo visual. https://blog.albagcorral.com/.
ProHPollium es una App de composición sonora generativa basada en el mundo de las abejas. En colaboración con el video-documentalista e investigador apícola Alex Muñoz la instalación Eixams se combina la experiencia de las Ones Hàptiques (dispositivo de escucha dual binaural y háptica) interseccionándola con una colmena monitorizada con sensores que conduce los parámetros de la secuencia generativa. http://eixams.cc.
_SynthPiBOTS Patch generativo de los autómatas sonoro-lumínicos SynthPiBots https://synthpibots.wordpress.com.
Sonificaciones
Como se ha apuntado en el apartado anterior las estructuras generativas permiten automatizar un alto número de procesos en curso de manera que vayan tejiendo una composición más orgánica que la estrictamente pautada y secuenciada linealmente en el tiempo.
Existen otro tipo de estructuras de interpretación de datos a síntesis sonora que si bien distan de las estructuras generativas, conectan con la comunicación de sistemas extensos de información: las sonificaciones. Las sonificaciones son las hermanas de las Visualizaciones de Datos y es una práctica recurrente en los proyectos SID. Debido a que los proyectos SID trabajan con conjuntos de datos es habitual traducir directamente esos datos mediante técnicas de síntesis sonora. El resultado es un tipo de composición desprovista de musicalidad. Esto se produce porque en el proceso de traducción de datos, no se discriminan valores ‘para que quede bien’ en términos compositivos. Del mismo modo que las visualizaciones de datos otorgan una cómoda y comprensible lectura visual a un sistema complejo de datos, las sonificaciones realizan una tarea análoga en el plano auditivo. Por lo tanto y debido a que la audición puede estar desprovista de la percepción visual se trata de una técnica que puede comunicar extensos bloques de información de manera muy veloz.
La primera herramienta de sonificación -y al mismo tiempo muy simple- es anterior a la era digital : el contador Geiger que mediante estímulos sonoros más o menos intensos determina la cantidad de radiación en un determinado espacio. En el marco digital estos procesos pueden conectar diversos conjuntos de datos captados en paralelo de manera que estos se puedan sonificar en distintos instrumentos algorítmicos. De esta manera constituye un método donde poder comprender un sistema complejo de información de manera plástica y rápida. Si bien la visualización de datos es un método ciertamente usado, debido a la hegemonía de la cultura visual, los métodos de sonificación de datos se sitúan aún en un territorio aún poco explorado pero de indudable potencialidad¹.
¹Como ejemplo un tanto pop, citar la sugerente secuencia del film ‘Prometheus’ donde el Ingeniero alienígena activa y pilota una nave mediante una secuencia sonora tocada con un instrumento de viento. Este sería un ejemplo interesante de sonificación inversa, es decir mediante el análisis de unas determinadas notas se ejecutan conjuntos de instrucciones complejas. Esta escena nos sugiere imaginar que con el simple hecho de tocar una u otra melodía / secuencia sonora, se podrían generar acciones complejas diversas, como en el caso hacer despegar una nave. Estirando esta idea, se podría pensar en algo tan sorprendente como programar conjuntos y bloques de código mediante una determinada secuencia sonora. Pero dejemos el diseño especulativo por un momento...
Ejemplos donde se ha trabajado con sonificaciones:
-Méteo Porto Experimento de sonificación de la Méteo, realizado en el workshop realizado en 2012 en el Laboratorio de Criaçao Digital de Guimaraes (Porto). En este los participantes elaboraron una herramienta compuesta XML-P5-OSC-Pd donde poder comprender las fluctuaciones meteorológicas mediante la escucha. https://audiyolab.wordpress.com/workshops/guimaraes/ METEO Sonification Guimaraes LCD [P5 + PD Apps] http://noconventions.mobi/auDIYolab/AuDIYolab_Guimaraes__Production__ptx.zip.
-DNA Spirulina Rhythm Box App de sonificación del ADN de la Spirulina programada en Pd. Generando diversas líneas de tiempo, la sonificacion es múltiple organizando patrones rítmicos basados en los aminoácidos a modo de caja de ritmos.
Gestualidad: Interfaces Físicas
Desde una perspectiva histórica en la Musicología, la revolución que supusieron las herramientas digitales en términos compositivos dejaron ‘daños colaterales’ importantes: la orfandad del cuerpo. Históricamente cualquier instrumento musical había sido interpretado mediante unas técnicas donde la acción corporal era esencial para su propia consecución sonora / musical. Con el advenimiento e impacto de las tecnologías digitales podíamos realizar una composición multi-instrumental como si de una numerosa orquesta se tratara, tan sólo con un simple ordenador. Toda esta abundancia se daba con el ‘sacrificio’ de sacar la corporeidad y performatividad (en este ejemplo colectiva) que anteriormente era necesaria. En resumen teníamos casi ilimitadas posibilidades en las composiciones ejecutadas / performativizadas con técnicas digitales.
Sin embargo después del fuerte impacto vino la vuelta y la nostalgia de lo que se había quedado en el camino: la recuperación del cuerpo en la performance sonora. A finales de los 90s, no había nada más aburrido que ver un directo de laptop-music donde no sabías si el performer estaba haciendo música en vivo, enviando un mail o escribiendo su tesis. Por lo tanto, la gestualidad en la performance sonora fué una demanda ciertamente solicitada y deseada (tanto para el intérprete como para el público) más allá de lo que los nuevos lenguajes en aquel momento podían ofrecer.
La búsqueda por la gestualidad en la Música Electrónica se dividió entre:
a) técnicas mayoritarias que usaban el ordenador como cerebro de un conjunto de dispositivos controladores dotados de un poco más de gestualidad que un simple laptop (midi controlers, HIDs, etc).
b) exploraciones más minoritarias y autoreferenciales: realizar la performance en vivo por medio de programación mostrada al público (Live Coding) o su réplica con electrónica analógica (sin computer) y construida in situ (Circuit Bending).
c) técnicas en formatos más transdisciplinares e híbridos (SID, Artes Escénicas, Artes Electrónicas, Instalaciones, etc.).
Debido a la evolución descrita en las líneas previas, se puede comprender la dimensión del fenómeno de los Sintetizadores Modulares que en los últimos años ha sido un hype en las escenas más independientes de la música electrónica (pese a ser una tecnología que replica técnicas y recursos formales de hace casi medio siglo). La diferencia del fenómeno actual reside en que la práctica maker ha intercedido en estos procesos, pasando de ser un fenómeno de ‘nerds’ sonoros buscando nuevos horizontes y lenguajes compositivos como pasó en los 70s, a la generación de comunidades de fabricantes de estos instrumentos bajo un corte diy / diwo / maker. A su vez este fenómeno -en términos gestuales- ha superado la mencionada fase anterior de la 90s laptop music, dotando una mayor fisicidad y expresividad gestual a los instrumentos electrónicos en vivo.
En el contexto de la SID la gestualidad y el cuerpo (y en consecuencia la relación de éste en un determinado espacio circundante) son factores habituales, debido en parte al ser sistemas (semi) automatizados como se ha mencionado anteriormente. Por lo tanto, la acción del cuerpo(s) en un determinado espacio deviene como el elemento conductor en el sistema de interacción.
En los últimos años aparecieron los dispositivos portables/vestibles (wearables) que implementaban interfícies de control y gestualidad a la performatividad sonora, con dispositivos de perfil más comercial (por ej. el brazalete Myo). Sin embargo las prácticas y metodologías SID al situarse en marcos más investigativos y creativos, a menudo se sostienen con tecnologías ‘open’ más híbridas e interconectables¹. Otro método clásico de implementar la gestualidad en las prácticas SID es el uso de sensores² que permiten captar el movimiento corporal por un determinado espacio. En la parte de confección de los algoritmos de captación de datos se deberán realizar los filtrados pertinentes para que la interacción sea reconocible y no genere ambigüedades. Este es precisamente uno de los puntos más complejos de resolver a menudo en los sistemas de interacción. La experiencia con el uso de sensores (y por lo tanto de los datos que provienen de estos) frecuentemente resulta con medidas contradictorias con lo que sucede en el espacio físico. En consecuencia a menudo se deben solucionar eventos impredecibles o de ‘ruido electrónico’³. Cuando nos encontramos en estos ‘nudos’ de desarrollo, una solución es modificar los algoritmos de manera estructural reduciendo la complejidad en la interacción y/o aumentándola en los algoritmos generativos que opten por una mayor automatización.
¹En una fase inicial fueron los joysticks o las wii controller heredadas de contextos gamers. Posteriormente la implementación de técnicas mixtas que combinaban sensores (habitualmente flexores) y micro-pcbs de envío de datos inalámbricos (X·bee, HC-05, etc.) a unidades de computación de datos (Arduino, Raspberry Pi, Bitalino, etc).
²Sensores de presión, piezoeléctricos, cámaras, micros, InfraRojos, etc.
³Emisiones de datos incongruentes de un determinado sensor que no se corresponden con la acción / reacción prevista.
Ejemplos de proyectos sónicos donde interviene la gestualidad:
-Sonic Hypercube [2018] Exploración del movimiento corporal a través de un espacio cúbico, como generador de una composición sonora en formato caja de ritmos electrónica. http://beagoller.net/hypercube/.
SK8SOUND / Mobility Lab [2014] En el proyecto SK8Sound de MobilityLab se explora dualmente la gestualidad y las sonificaciones en la práctica del skateboarding. http://www.mobilitylab.net/sk8-sound/ [Patch generativo de reconocimiento de los gestos en la práctica urbana del SkateBoard] http://noconventions.mobi/mobilityLAB/SK8Sound-_-BeatZ.zip.
Percepción y Ciencias Cognitivas
Una interesante faceta que ofrecen las prácticas SID, es la conexión con las Ciencias Cognitivas. Esto se debe a que el trabajo sonoro se sitúa más allá del terreno de la musicología, para ir a uno más extenso que es el trabajo sonoro sea este considerado musical o no. Esto lo conecta con áreas artísticas que han explorado este territorio como el Arte Sonoro o la Música Experimental. La conexión de la Sonología con las Ciencias Cognitivas se dan especialmente en materia de percepción, ampliando el impacto sobre el cuerpo y la cognición. De esta manera, trabajar con el espacio inmediato y envolvente del cuerpo permite trabajar registros más allá del auditivo para poder introducir escuchas corporales (percepción háptica¹), muy reverberada del mundo de los videojuegos donde han explorado este sentido para potenciar más sensaciones durante la acción en el juego. En los últimos años algunos instrumentos hápticos de corte comercial permiten potenciar carencias en la performance electrónica en vivo. Por ejemplo instrumentos hápticos-portables que permiten a djs y músicos electrónicos poder tener un mejor seguimiento de lo que sucede abajo de la escena (con un sistema de sonido de gran potencia, el resultado arriba o abajo del escenario es bien distinto, especialmente en la resolución y desarrollo de las frecuencias graves). A pesar de lo poco común que pueda parecer la percepción Háptica, ¿Quién no la ha experimentado en su bolsillo en forma de vibración (llamada o mensaje en el móvil)?
Otra conexión interesante de los proyectos SID con la Percepción y la Cognición es el cruce sónico con la actividad neuronal. En este sentido se pueden realizar efectos sonoros mediante técnicas binaurales² para poder llegar a sincronizarse con los distintos niveles de actividad cerebral desde el estado de consciencia/vigilia a estados meditativos, de sueños lúcidos, de sueño profundo etc. Este punto permite una exploración perceptiva más allá del registro sonoro / musical clásico, abriendo prácticas con finalidades no sólo estético-contemplativas, sino también terapéuticas, neuromédicas o de investigación avanzada³.
¹Háptica Tacto / Percepción a través de la piel, musculatura y tendones. Ej. : Ones Hàptiques Proyecto de investigación entorno a instrumentos de escucha dual (Auditiva/binaural y Háptica/Corporal). En este proyecto se introducen experimentos con BioSensores para detectar cambios en los tendones, músculos y pulso cardíaco. Tambien experimentos que trabajan con las distintas fases de actividad cerebral por medio de escucha binaural. http://noconventions.mobi/oneshaptiques
En este artículo de Beka Iglesias se hace referencia a las tecnologías hápticas en proyectos escénicos combinando experiencias ritualísticas, percepción y tecnologías abiertas desde una perspectiva transfeminista.
²La escucha auditiva binaural, se distingue en que a ambos oídos le llega distinta información sonora que al combinarse puede describir distintos efectos psicoacústicos concretos. Son técnicas donde la escucha se produce via auriculares. De esta manera prescindiendo de los rebotes sonoros de un determinado espacio (que llegarían a ambos canales auditivos), el sonido se puede enfocar de manera independiente para cada canal auditivo pudiendo generar diferentes efectos psicoacústicos interesantes.
³ Ejemplos donde se ha trabajado con las Ciencias Cognitivas:
BrainPoliphony en este proyecto tan especial el propósito es generar instrumentos que pacientes con movilidad reducida puedan interpretar mediante el análisis de la actividad cerebral. Efrain Foglia nos expone el proyecto en esta conversación.
Horizontes
En el artículo ‘Cómo la programación genera gramáticas culturales’, Mónica Rikiĉ reflexiona sobre la conexión entre la programación y la producción cultural, teniendo en cuenta el impacto que genera la primera en la sociedad actual. Seamos o no programadoras/es estamos envueltos de manera forzosa en un sinfín de algoritmos cuando buscamos en el navegador, cuando interactuamos en las redes sociales, cuando utilizamos nuestras Apps en el móbil, etc.
En el lenguaje Mainstream, se tiende a simplificar conceptos como ‘cloud’, ‘IA’ o ‘algoritmos’ situándolos a menudo en posiciones cuanto menos alejadas de lo que son. Por ejemplo ‘cloud’ cuando se trata de un servidor que el 99.9% de las veces está en el ‘ground’, es decir no está almacenado en ninguna nube etérea, o en un servidor volador. En las reflexiones entorno a la IA, tambien se tienden a idealizar conceptos y darles un significado más autónomo del que realmente tienen. En la programación de algoritmos y modelos de machine learning se tiende a pensar que son sistemas cognitivos autónomos ‘que funcionan por sí mismos’ pero en general no están exentos de sesgos de género, clase, raza, orientación sexual, etc. de los programadores que los desarrollan y entrenan (por ejemplo, la mayoría de programadores en las Industrias Tecnológicas son hombres blancos heteronormativos, en consecuencia habitualmente diseñarán comportamientos consciente o inconscientemente desde su perspectiva y privilegio). Otro concepto altamente utilizado como la IoT (Internet of Things) carece de una aproximación realista en torno a los análisis ambientales y ecológicos que se requieren en la actualidad. Se habla de manera naïf de los millones de dispositivos interconectados que vienen de manera inminente, pero no de cómo estos se van a auto-alimentar energéticamente. Este es un punto clave: si los dispositivos periféricos no se piensan en términos de ser auto-alimentados, se corre el riesgo que la contribución de la IoT sea generar más basura electrónica, así como sobrecargar (aún más) los sistemas energéticos centralizados de las Corporaciones (teniendo en cuenta que las cooperativas de producción energética son todavía minoritarias). Es por esta cuestión que se hace interesante y necesario evolucionar el IoT (Internet of Things) para llegar al AoT (Autonomy of Things). Autónomos no sólo en su funcionamiento, sino especialmente en su abastecimiento energético.
Si bien estos recurrentes temas de cultura tech son cada vez más conocidos por el gran público, se hace cada vez más necesaria la trasmisión de conocimientos desde edades precoces, no tanto al uso de herramientas tecnológicas, sino especialmente a su diseño y construcción, que es donde se pueden analizar y comprender mejor las distintas secciones técnicas, así como las decisiones que se quieren tomar y/o los conflictos éticos que emergen de ciertas decisiones. En consecuencia ser más conscientes en cómo usamos, diseñamos y utilizamos las tecnologías bajo una perspectiva ética, crítica, transformadora y más eficiente (tomando el concepto eficiencia de la permacultura y no del sistema corporativo ya que tienen matices y consecuencias distintas).
Qué pueden aportar la SID en materia educativa? Como se ha expresado anteriormente, la interrelación de lo físico con lo intangible, es una manera práctica de salir de la intangibilidad de la computación. Por el hecho que en los proyectos SID se interconectan computación y mundo físico, estos son una vía interesante de poder comprender sistemas complejos y tecnológicamente híbridos, así como las decisiones que afectan a su funcionamiento, desde una perspectiva experimental, lúdica y empírica. A su vez al trabajar con el sonido como objeto central, se adquieren conocimientos de matemática y física (aplicadas empíricamente) que pueden ser muy útiles de aprender y adaptarlas a otras áreas del conocimiento. En definitiva las SID podrían resumir un conjunto de asignaturas fragmentadas habituales de la educación primaria y secundaria a modo de una asignatura-proyecto, y en consecuencia mejorando la absorción de conocimientos transversales aplicados por objetivo.
En materia de investigación, los proyectos SID pueden plantear escenarios de estudio avanzados como por ejemplo el trabajo Brain Poliphony de MobilityLab en asociación con el Centre de Regulació Genòmica de Barcelona, donde se desarrollaron herramientas para poder sonificar la actividad cerebral en personas con parálisis cerebral. En otras palabras, el objeto de crear secuencias musicales en base a la interpretación y reconocimiento de las emociones en personas que habitualmente tienen dificultades motrices para tocar un instrumento musical. El resultado, impresiones y análisis de este proyecto lo expone Efrain Foglia (Mobility Lab) de manera informal pero muy precisa y lúcida en esta conversación. Sin duda un ejemplo de cómo estas prácticas pueden generar escenarios muy sugerentes, críticos e innovadores en materia de investigación entre numerosas áreas de estudio aparentemente desconectadas.
El presente artículo tiene como objeto sintetizar y compartir experiencias previas entorno a proyectos y prácticas que se sitúan en las intersecciones de las artes escénicas / performativas, las ciencias y la tecnología. En el artículo, los comentarios se ilustran mediante ejemplos, tanto de investigaciones propias como de colaboraciones o de grupos de trabajo en los que he participado. Agradecer el interés de Mosaic como medio donde poder compartir estas reflexiones, técnicas, metodologías y ejemplos relativos a estas prácticas transversales. Después de varios años de ‘cacharrear’ llegué a esta publicación [https://mitpress.mit.edu/books/sonic-interaction-design] que de manera sorprendente resumía la mayoría de conceptos y elementos que habíamos ido utilizando en distintos proyectos.
Documentación:
- https://sonification.de/handbook/download/TheSonificationHandbook-HermannHuntNeuhoff-2011.pdf
- https://mitpress.mit.edu/books/sonic-interaction-design
Cita recomendada: MANZANARES, Xavi. Transitando entre especialidades creativas: Diseño de Interacción Sonora. Mosaic [en línea], mayo 2019, no. 171. ISSN: 1696-3296. DOI: https://doi.org/10.7238/m.n171.1929.