Durante mis estudios universitarios, me especialicé en fotografía de bellas artes, centrándome en crear imágenes a través de técnicas interdisciplinarias de bellas artes, tales como trabajos de fotografía analógica. Admiraba a Jo Ann Callis, una innovadora fotógrafa de bellas artes que enseña en el Instituto de las Artes de California (CalArts). Por lo tanto, siempre consideré CalArts como mi lugar soñado para la escuela de posgrado. En mi último año, solicité el programa de posgrado en fotografía/medios en CalArts y me aceptaron inesperadamente en el programa de Arte y Tecnología, donde comencé a explorar los medios interactivos y el arte generativo.
Llevo dibujando desde niña, pero la pintura no es mi medio principal. No me gusta el proceso de crear algo desde cero. En cambio, me gusta el proceso de formar cosas nuevas a través de diferentes arreglos y combinaciones de objetos existentes, por lo que la fotografía me ofrece la posibilidad de reconstruir la realidad. Después de estudiar historia del arte, descubrí que este enfoque se alinea con las técnicas de arte de ensamblaje y los métodos creativos popularizados en el siglo XX. En mi proceso de creación artística, primero creo el sistema y luego colaboro con él para generar nuevas formas, materiales, composiciones y estéticas. En otras palabras, mi arte se crea planteando preguntas conceptuales, diseñando diferentes máquinas críticas para generar un «ready-made» y luego procesando aún más los readymades con decisiones artísticas. Este proceso comparte muchas similitudes con movimientos del siglo XX como el expresionismo abstracto, el dadaísmo y el futurismo. Por ejemplo, el proceso de creación enfatiza las operaciones de oportunidad y elección para ofrecer nuevas posibilidades artísticas.
Cangjie’s Poetry
Cangjie’s Poetry es un sistema multimodal inteligente diseñado como una respuesta conceptual al futuro de la interacción semántica entre humanos y máquinas. Creé este trabajo con el científico informático Donghao Ren. Esta obra se inspira en Cangjie, un legendario historiador chino de alrededor del año 2650 a. de C., al que se le atribuye la invención de los caracteres chinos al observar las características de todo en la Tierra. Entrenamos una red neuronal llamada Cangjie para que aprendiera las construcciones y principios de más de 9.000 caracteres chinos. Después de un entrenamiento exitoso, Cangjie puede interpretar imágenes a través de la lente de estos caracteres y producir nuevos símbolos construidos a partir de trazos chinos. Además, implementamos un modelo previamente entrenado para generar frases descriptivas localizadas de imágenes en lenguaje natural, creando así significado para este sistema simbólico.
En la instalación artística, el sistema Cangjie utiliza una cámara para capturar su entorno, transformando en tiempo real el flujo del mundo real en un conjunto de nuevos símbolos en constante cambio. Estos nuevos símbolos, hechos a partir de trazos chinos e intercalados con las imágenes capturadas, se visualizan de forma algorítmica como un paisaje abstracto y pixelado. Este paisaje se mueve, evoluciona y escribe poesía de forma dinámica en función de los datos de imagen en directo. Proyectamos esta visualización del paisaje semántico en una pared del espacio de exposición como primera proyección. Simultáneamente, Cangjie genera frases descriptivas sobre el entorno basándose en su interpretación. Estas frases, diseñadas como poesía fluida escrita en tinta, se ensamblan con fragmentos de imágenes capturadas en tiempo real y se proyectan como la segunda pantalla del espacio.
Esta obra transforma la interpretación que la máquina hace de su entorno en una experiencia semántica interactiva, construyendo un modo conceptual y futurista de comunicación entre humanos y máquinas. Este trabajo aborda la tensión y la fragilidad inherentes a nuestra coexistencia con las máquinas y sirve como expresión conceptual de un lenguaje futuro que refleja las verdades antiguas. Su objetivo es evocar un sentido de fascinación en esta era de inteligencia artificial. Al igual que el legendario Cangjie hace casi 5.000 años, nuestro sistema Cangjie escribe continuamente poesía en colaboración con humanos, mientras exista el mundo real.
También creamos una edición especial de Cangjie’s Poetry como respuesta artística a la pandemia de COVID-19 y a las normativas de distanciamiento social. En esta versión, en lugar de utilizar la transmisión en directo en tiempo real de los alrededores en la instalación artística como fuente de vídeo para el sistema Cangjie, recopilamos y seleccionamos las películas que recibíamos a diaria de todo el mundo. Editamos el contenido recibido de Canadá, China, Reino Unido, Estados Unidos, Japón, Corea y Egipto. Cangjie interpretó el metraje editado y generó la visualización basándose en su interpretación. Exportamos la animación generada por Cangjie y diseñamos el sonido utilizando la técnica de sinterización granular. Esta edición especial de la visualización es una experiencia audiovisual preexportada de recuerdos colectivos. Transporta y amplía la visión de Cangjie a diferentes lugares recopilando vídeos de todo el mundo.
Cangjie’s Poetry ha obtenido reconocimiento mundial, habiendo recibido la mención honoraria en el prestigioso Prix Ars Electronica, el premio a las artes electrónicas más notable del mundo, así como el premio Red Dot Design Award y el premio Best in Show Award de Siggraph.
ReCollection
ReCollection es una instalación de arte interactivo con IA creada en colaboración con el científico e investigador de IA Rodger Luo desde 2022 hasta 2024. La inspiración para esta obra surgió al presenciar la regresión de memoria de mi abuela debido a la demencia, que causó que sus preciadas historias se disolvieran en palabras fragmentadas. La Dra. Mary Steedly describió los recuerdos como una «negociación densamente estratificada y a veces conflictiva con el paso del tiempo». En 2020, más de 55 millones de personas se enfrentaron a la dolorosa realidad de la pérdida de memoria debido a la enfermedad del Alzheimer y otras demencias relacionadas. Sin embargo, en medio de este conmovedor telón de fondo, la aparición de los sistemas de IA de texto a imagen en 2022 ofreció un destello de una nueva perspectiva, aprovechando el poder del lenguaje para imaginar y volver a ensamblar recuerdos fragmentados, lo que potencialmente entrelazaba lo que el tiempo y la enfermedad habían arrebatado.
Esta obra comienza con una lista de preguntas de diseño conceptual: al coexistir con máquinas, ¿acumularemos recuerdos sintéticos de la imaginación simbiótica colectiva? ¿El lenguaje es capaz de volver a tejer y sintetizar recuerdos? ¿Cómo inspira nuestra memoria colectiva nuevas formas visuales y narrativas alternativas?
ReCollection es un conjunto de artefactos íntimos entre humanos y máquinas que enfatiza las contribuciones de tres fuentes: los artistas, las máquinas y los participantes. Esta aplicación de IA personalizada emplea múltiples técnicas de IA, como el reconocimiento de voz, la autocontemplación de texto y la conversión texto a imagen, para convertir el lenguaje en secuencias de imágenes de nuevos recuerdos. Como experiencia interactiva, los participantes susurran sus recuerdos personales en frases fragmentadas y nuestro sistema completar automáticamente los detalles, creando nuevos recuerdos visuales.
Desarrollamos nuestro sistema de IA personalizado ajustando un modelo de IA basado en transformadores previamente entrenado para que aprendiera de los recuerdos visuales y sus descripciones documentadas de os pacientes con Alzheimer. El sistema imagina nuevos recuerdos de «amor» y «pérdida» interpretando narraciones en tiempo real de los participantes en la instalación. Nuestro sistema sirve como un vibrante e inclusivo iniciador de conversaciones, trascendiendo fronteras con soporte para más de 89 idiomas diferentes y adoptando artefactos culturales diversos.
En la instalación artística, optamos por no mostrar la salida visual directa generada por nuestro sistema de IA. En su lugar, nos inspiramos en prácticas artísticas como el Monotype, una técnica de impresión que data de la década de 1640, y en la fotografía de escaneo de hendidura (slit-scan), conocida por capturar cortes secuenciales de un sujeto a lo largo del tiempo. Nuestro objetivo era presentar ReCollection combinando metodologías generativas con prácticas de bellas artes, investigando nuevas estéticas que exploran imágenes visuales efímeras sometidas a disolución, inclinación, impresión y reimpresión a lo largo del tiempo.
Al proporcionar un marco conceptual para narrativas no lineales que constituyen imaginaciones simbióticas y escenarios futuros de recuerdos, producción cultural y reproducciones, esta obra puede inspirar la cura para la regresión de la memoria. Ofrece un escenario futuro, un experimento mental y un recuerdo íntimo de la simbiosis entre seres y aparatos. Aumenta la concienciación sobre la futura conservación de la memoria y la empatía por la comunidad con demencia a través de una experiencia estética personalizada. Presenta un enfoque artístico y un futuro prototipo para la reproducción y la reimaginación del patrimonio cultural, explorando las tensiones entre las representaciones visuales, el lenguaje y las narrativas.
Astro
En 1970, la hermana Mary Jucunda, una monja con sede en Zambia, escribió al Dr. Ernst Stuhlinger, director asociado de ciencias de la NASA. Le preguntó cómo podía justificar gastar miles de millones de dólares en proyectos que exploraban Marte mientras innumerables niños sufrían pobreza. El Dr. Stuhlinger respondió con una imagen icónica de la Tierra tomada en 1968 desde la luna. Explicó que la Tierra es una isla hermosa pero vulnerable en un vacío infinito. En su carta, dijo: «Aunque nuestro programa espacial parece llevarnos lejos de nuestra Tierra y hacia la Luna, el Sol, los planetas y las estrellas, creo que ninguno de estos objetos celestiales encontrará tanta atención y estudio por parte de científicos espaciales como nuestra Tierra. Se convertirá en una Tierra mejor, no solo por todos los nuevos conocimientos tecnológicos y científicos que aplicaremos a la mejora de la vida, sino también porque estamos desarrollando una apreciación mucho más profunda de nuestra Tierra, de la vida y del hombre».
En 2021, Astro fue invitada a participar en el festival Metaxis para celebrar el 60 aniversario del primer vuelo tripulado al espacio. Inspirada en la carta del Dr. Stuhlinger, Astro es una obra audiovisual que explora la cuestión de «por qué explorar el espacio» desde una perspectiva artística e imaginativa.
Astro es una experiencia audiovisual inmersiva realizada en un formato de cúpula completa. En Astro, la Tierra, el único objeto astronómico conocido que alberga vida, se revela a través de la lente de un ser inteligente en el espacio exterior. A medida que el objetivo se acerca y aleja, el viaje de la observación trae descubrimientos de cambios ecológicos y visiones maquínicas a múltiples escalas con imaginación artística. El público presencia un vasto bosque envuelto en llamas, icebergs derritiéndose que revelan información oculta, antiguos diagramas pseudocientíficos, paseos latentes generados por IA, paisajes basados en datos y elementos visuales algorítmicos generativos. Este trabajo plantea una pregunta profunda: ¿por qué explorar el espacio en el contexto de lo conocido y lo desconocido?
Astro ha brindado una experiencia audiovisual inmersiva provocadora de reflexión a audiencias de todo el mundo. Se ha exhibido en los principales lugares con cúpula completa en países como Alemania, Reino Unido, Canadá, China y EE. UU. Los visitantes internacionales han tenido la oportunidad de presenciar la exploración que Astro hace de los cambios ecológicos y las visiones maquínicas. La obra ha recibido el premio Prix Trames Sonores Award de la Sociedad de Arte y Tecnología (Society for Arts and Technology, SAT) en Montreal por su innovadora fusión de elementos audiovisuales. En 2021, el espectáculo fue especialmente notable por tener lugar en el histórico y famoso Planetario Zeiss de Alemania.
A través de su formato de cúpula completa, Astro ofrece una forma imaginativa y atractiva para que el público explore temas ecológicos complejos a través de la perspectiva de un ser inteligente en el espacio exterior. Proporciona un nuevo punto de vista sobre los desafíos de nuestro planeta y anima a los espectadores a considerar su propio lugar dentro del sistema ecológico.
Cita recomendada: ZHANG, Weidi. Un ensamblaje especulativo. Mosaic [en línea], octubre 2024, no. 201. ISSN: 1696-3296. DOI: https://doi.org/10.7238/m.n201.2403
Deja un comentario