Durant els meus estudis universitaris, em vaig especialitzar en fotografia de belles arts, centrant-me a crear imatges a través de tècniques interdisciplinàries de belles arts, com ara treballs de fotografia analògica. Admirava a Jo Ann Callis, una innovadora fotògrafa de belles arts que ensenya a l’Institut de les Arts de Califòrnia (CalArts). Per tant, sempre vaig considerar CalArts com el meu lloc somiat per a l’escola de postgrau. En el meu últim any, vaig sol·licitar el programa de postgrau en fotografia/mitjans a CalArts i em van acceptar inesperadament en el programa d’Art i Tecnologia, on vaig començar a explorar els mitjans interactius i l’art generatiu.
He dibuixat des de nena, però la pintura no és el meu mitjà principal. No m’agrada el procés de crear alguna cosa des de zero. En canvi, m’agrada el procés de formar coses noves a través de diferents arranjaments i combinacions d’objectes existents, per la qual cosa la fotografia m’ofereix la possibilitat de reconstruir la realitat. Després d’aprendre història de l’art, vaig descobrir que aquest enfocament s’alinea amb les tècniques d’art d’assemblatge i els mètodes creatius popularitzats en el segle XX. En el meu procés de creació artística, primer creo el sistema i després col·laboro amb ell per a crear noves formes, materials, composicions i estètiques. En altres paraules, el meu art es crea plantejant preguntes conceptuals, dissenyant diferents màquines crítiques per a generar un «ready-made» i posteriorment processant encara més els readymades amb decisions artístiques. Aquest procés comparteix moltes similituds amb moviments del segle XX com l’expressionisme abstracte, el dadaisme i el futurisme. Per exemple, el procés de creació emfatitza les operacions d’oportunitat i elecció per a oferir noves possibilitats artístiques.
Cangjie’s Poetry
Cangjie’s Poetry és un sistema multimodal intel·ligent dissenyat com una resposta conceptual al futur de la interacció semàntica entre humans i màquines. He creat aquest treball amb el científic informàtic Donghao Ren. Aquesta obra s’inspira en Cangjie, un llegendari historiador xinès del voltant de l’any 2650 a. de C., al qual se li atribueix la invenció dels caràcters xinesos observant les característiques de tot en la Terra. Entrenem una xarxa neuronal anomenada Cangjie per a aprendre les construccions i principis de més de 9.000 caràcters xinesos. Després d’un entrenament reeixit, Cangjie pot interpretar imatges a través de la lent d’aquests caràcters i produir nous símbols construïts a partir de traços xinesos. A més, implementem un model prèviament entrenat per a generar frases descriptives localitzades d’imatges en llenguatge natural, creant així significat per a aquest sistema simbòlic.
En la instal·lació artística, el sistema Cangjie utilitza una cambra per a capturar el seu entorn, transformant en temps real el flux del món real en un grup de nous símbols en constant canvi. Aquests nous símbols, fets de traços xinesos i entrellaçats amb les imatges capturades, es visualitzen de manera algorítmica com un paisatge abstracte i pixelat. Aquest paisatge es mou, evoluciona i escriu poesia de manera dinàmica en funció de les dades d’imatge en directe. Projectem aquesta visualització del paisatge semàntic en una paret de l’espai d’exposició com a primera projecció. Simultàniament, Cangjie genera frases descriptives sobre l’entorn basant-se en la seva interpretació. Aquestes frases, dissenyades com a poesia fluida escrita en tinta, s’assemblen amb fragments d’imatges capturades en temps real i es projecten com la segona pantalla de l’espai.
Aquesta obra transforma la interpretació que la màquina fa del seu entorn en una experiència semàntica interactiva, construint una manera conceptual i futurista de comunicació entre humans i màquines. Aquest treball aborda la tensió i la fragilitat inherents a la nostra coexistència amb les màquines i serveix com a expressió conceptual d’un llenguatge futur que reflecteix les veritats antigues. El seu objectiu és evocar un sentit d’encant en aquesta era d’intel·ligència artificial. Igual que el llegendari Cangjie fa gairebé 5.000 anys, el nostre sistema Cangjie escriu contínuament poesia en col·laboració amb humans sempre que existeixi el món real.
També vàrem crear una edició especial de Cangjie’s Poetry com a resposta artística a la pandèmia de la COVID-19 i a les normatives de distanciament social. En aquesta versió, en lloc d’utilitzar la transmissió en directe en temps real dels voltants en la instal·lació artística com a font de vídeo per al sistema Cangjie, vàrem recopilar i seleccionar les pel·lícules que rebíem a diari de tot el món. Vàrem editar el contingut rebut del Canadà, la Xina, Regne Unit, els Estats Units, el Japó, Corea i Egipte. Cangjie va interpretar el metratge editat i va generar la visualització basant-se en la seva interpretació. Vàrem exportar l’animació generada per Cangjie i dissenyar el so utilitzant la tècnica de sinterització granular. Aquesta edició especial de la visualització és una experiència audiovisual preexportada de records col·lectius. Transporta i amplia la visió de Cangjie a diferents llocs recopilant vídeos de tot el món.
Cangjie’s Poetry ha obtingut reconeixement mundial, havent rebut l’esment honorari en el prestigiós Prix Ars Electronica, el premi a les arts electròniques més notable del món, així com el premi Red Dot Design Award i el premi Best in Show Award de Siggraph.
ReCollection
ReCollection és una instal·lació d’art interactiu generat per IA creada en col·laboració amb el científic i investigador d’IA Rodger Luo des de 2022 fins 2024. La inspiració per a aquesta obra va sorgir en presenciar la regressió de memòria de la meva àvia a causa de la demència, que va causar que les seves preuades històries es dissolguessin en paraules fragmentades. La Dra. Mary Steedly va descriure els records com una «negociació densament estratificada i a vegades conflictiva amb el pas del temps». El 2020, més de 55 milions de persones es van enfrontar a la dolorosa realitat de la pèrdua de memòria a causa de la malaltia de l’Alzheimer i demències relacionades. No obstant això, enmig d’aquest commovedor teló de fons, l’aparició dels sistemes d’IA de text a imatge en 2022 va oferir una espurna d’una nova perspectiva, aprofitant el poder del llenguatge per a imaginar i tornar a assemblar records fragmentats, la qual cosa potencialment entrellaçava el que el temps i la malaltia havien robat.
Aquest treball comença amb una llista de preguntes de disseny conceptual: en coexistir amb màquines, acumularem records sintètics de la imaginació simbiòtica col·lectiva? El llenguatge és capaç de tornar a teixir i sintetitzar records? Com inspira la nostra memòria col·lectiva noves formes visuals i narratives alternatives?
ReCollection és un conjunt d’artefactes íntims entre humans i màquines que emfatitza les contribucions de tres fonts: artistes, màquines i participants. Aquesta aplicació d’IA personalitzada empra múltiples tècniques d’IA, com el reconeixement de veu, la finalització automàtica de text i el text a imatge, per a convertir el llenguatge en seqüències d’imatges de nous records. Com a experiència interactiva, els participants murmuren els seus records personals en frases fragmentades i el nostre sistema completa automàticament els detalls, creant nous records visuals.
Desenvolupem el nostre sistema d’IA personalitzat ajustant un model d’IA basat en transformadors prèviament entrenat per a aprendre dels documentals que tracten dels records visuals dels pacients amb Alzheimer i les seves descripcions. El sistema imagina nous records d’«amor» i «pèrdua» interpretant narracions en temps real dels participants en la instal·lació. El nostre sistema serveix com a iniciador de converses vibrant i inclusiu, transcendint fronteres amb suport per a més de 89 idiomes diferents i adoptant diversos artefactes culturals.
En la instal·lació artística, vàrem decidir no mostrar la sortida visual directa generada pel nostre sistema d’IA. En el seu lloc, ens inspirem en pràctiques artístiques com el Monotype, una tècnica d’impressió que data de la dècada de 1640, i en la fotografia d’escaneig d’esquerda (slit-scan), coneguda per capturar talls seqüencials d’un subjecte al llarg del temps. El nostre objectiu era presentar ReCollection combinant metodologies generatives amb pràctiques de belles arts, investigant noves estètiques que exploren imatges visuals fugaces sotmeses a dissolució, inclinació, impressió i reimpressió al llarg del temps.
En proporcionar un marc conceptual per a narratives no lineals que constitueixen imaginacions simbiòtiques i escenaris futurs de records, producció cultural i reproduccions, aquesta obra pot inspirar la cura per a la regressió de la memòria. Ofereix un escenari futur, un experiment de pensament i un record íntim de la simbiosi entre éssers i aparells. Augmenta la conscienciació sobre la futura conservació de la memòria i l’empatia vers la comunitat amb demència a través d’una experiència estètica personalitzada. Presenta un enfocament artístic i un futur prototip per a la reproducció i la reimaginació del patrimoni cultural, explorant les tensions entre les representacions visuals, el llenguatge i les narratives.
Astro
El 1970, la germana Mary Jucunda, una monja amb seu a Zàmbia, va escriure al Dr. Ernst Stuhlinger, director associat de ciències de la NASA. Li va preguntar com podia justificar gastar milers de milions de dòlars en projectes que exploraven Mart mentre innombrables nens sofrien pobresa. El Dr. Stuhlinger va respondre amb una imatge icònica de la Terra presa el 1968 des de la lluna. Va explicar que la Terra és una illa bella però vulnerable en un buit infinit. En la seva carta, va dir: «Tot i que el nostre programa espacial sembla portar-nos lluny de la nostra Terra i cap a la Lluna, el Sol, els planetes i les estrelles, crec que cap d’aquests objectes celestials trobarà tanta atenció i estudi per part de científics espacials com la nostra Terra. Es convertirà en una Terra millor, no sols per tots els nous coneixements tecnològics i científics que aplicarem a la millora de la vida, sinó també perquè estem desenvolupant una apreciació molt més profunda de la nostra Terra, de la vida i de l’home».
El 2021, Astro va ser convidada a participar en el festival Metaxis per a celebrar el 60 aniversari del primer vol tripulat a l’espai. Inspirada en la carta del Dr. Stuhlinger, Astro és una obra audiovisual que explora la qüestió de «per què explorar l’espai» des d’una perspectiva artística i imaginativa.
Astro és una experiència audiovisual immersiva realitzada en un format de cúpula completa. En Astro, la Terra, l’únic objecte astronòmic conegut que alberga vida, es revela a través de la lent d’un ésser intel·ligent en l’espai exterior. A mesura que l’objectiu s’acosta i allunya, el viatge de l’observació porta descobriments de canvis ecològics i visions maquíniques a múltiples escales amb imaginació artística. El públic presencia un vast bosc en flames, icebergs fonent-se que revelen informació oculta, antics diagrames pseudocientífics, passejos latents generats per IA, paisatges basats en dades i elements visuals algorítmics generatius. Aquest treball planteja una pregunta profunda: per què explorar l’espai en el context del que és conegut i desconegut?
Astro ha brindat una experiència audiovisual immersiva i que convida a la reflexió a audiències de tots els continents. S’ha exhibit en els principals llocs amb cúpula completa en països com Alemanya, Regne Unit, el Canadà, la Xina i EUA. Els visitants internacionals han tingut l’oportunitat de presenciar l’exploració que Astro fa dels canvis ecològics i les visions maquíniques. L’obra ha rebut el premi Prix Tramis Sonores Award de la Societat d’Art i Tecnologia (Society for Arts and Technology, SAT) a Montreal per la seva innovadora fusió d’elements audiovisuals. El 2021, l’espectacle va ser especialment notable per tenir lloc en l’històric i famós Planetari Zeiss d’Alemanya.
A través del seu format de cúpula completa, Astro ofereix una forma imaginativa i atractiva perquè el públic explori temes ecològics complexos a través de la perspectiva d’un ésser intel·ligent en l’espai exterior. Proporciona un nou punt de vista sobre els desafiaments del nostre planeta i anima als espectadors a considerar el seu propi lloc dins del sistema ecològic.
Cita recomanada: ZHANG, Weidi. Un assemblatge especulatiu. Mosaic [en línia], Octubre 2024, no. 201. ISSN: 1696-3296. DOI: https://doi.org/10.7238/m.n201.2403
Deja un comentario