Entrevista a Joan Llobera, investigador en realidad virtual y ciencias cognitivas

Joan Llobera estudió Ingeniería de Telecomunicaciones en un doble diploma entre la Universitat Politècnica de Catalunya y Télécom ParisTech y un máster pluridisciplinar en ciencias cognitivas (Ecole Haute Etudes en Sciences Sociales). Luego trabajó un tiempo en la industria audiovisual y decidió volver a la investigación. Completó su doctorado en realidad virtual en la facultad de psicología de la Universitat de Barcelona, y un postdoc en la Ecole Polytechnique Fédérale de Lausanne. En 2015 fue contratado por la fundación i2cat para redactar un proyecto H2020, fundación a la que acabó integrándose como parte del equipo de Media. Gracias al resultado de una beca de la fundación Hasler, también fundó Timepath SL para intentar realizar su visión sobre la creación y consumo de contenido narrativo de realidad virtual –algo cercano a, literalmente, sentirse como estar dentro de una película, gracias a un nuevo tipo de personaje interactivo.

Tu trayectoria, tanto académica como profesional, es original y multidisciplinaria, ya que has pasado por diferentes estudios y áreas de investigación. ¿Podrías explicarnos cuál fue este recorrido?

Los problemas empezaron en el instituto. Tenía que escoger qué iba a estudiar, y dudaba entre ingeniería de telecomunicaciones, en la UPC [Universitat Politècnica de Catalunya], y el grado de cine, en la ESCAC. Al final, por diversas razones, acabé en ingeniería. Pero nunca conseguí digerir del todo esa decisión.

En los primeros años de universidad, seguí con mis clases de música, y escribiendo relatos por mi cuenta. Pero en la ingeniería echaba en falta el aspecto humanístico, y como la flexibilidad curricular no parecía ser suficiente para lo que quería averiguar, al empezar tercero me apunté también a Filosofía, en la Universitat de Barcelona, donde estudié durante dos años.

Ya en cuarto año de ingeniería, vi que quería aprender más matemáticas y tratamiento de señal. Esa era la parte que parecía más interesante de la ingeniería de telecomunicaciones. También vi que la única parte que me interesaba era la investigación. Y estudiar dos carreras en paralelo me estaba costando muchísimo. Así que decidí pedir un doble diploma para acabar los estudios en Telecom ParisTech, una escuela de ingeniería donde el tratamiento de señal es muy bueno, con mucha base matemática.

Ahí surgió de forma natural la posibilidad de cursar un máster de ciencias cognitivas –el entorno académico de París es fantástico. Vi en ello una oportunidad para aunar mis inquietudes humanísticas con mi formación de ingeniería, y las ganas que tenía de hacer investigación. Hice las prácticas de investigación en el IRCAM, un centro de creación musical e investigación tecnológica, haciendo un estudio sobre las bases cerebrales de una ilusión acústica dirigido por Daniel Pressnitzer, analizando e interpretando datos de actividad cerebral que recogía en el Hôpital de la Pitié Salpetrière.

Sin embargo, ahí también vi como el laboratorio donde cursé ese proyecto se disolvió. Su líder, Stephen McAdams, se fue a McGill, en Canadá, y mi director del proyecto de máster se mudó a la Ecole Normale Superieure. También  sentí que tampoco quería hacer una tesis doctoral en esa dirección. A pesar de que la neurociencia y el tratamiento de señal me gustan, me faltaba algo más relacionado con la creación de experiencias. Todavía no había asumido esa decisión. Así que volví a Barcelona, sin saber muy bien qué hacer.

Entonces surgió la oportunidad de seguir un curso de formación profesional de realización audiovisual en Mallorca –estaban creando la televisión autonómica ahí, el curso lo organizaba La Periférica, una productora de gente maravillosa en Palma, ¡y era gratis! Así que lo pedí, me cogieron, y me mudé ahí unos meses. Una vez terminado, sin ver un trabajo claro, volví a Barcelona. Estuve casi dos años trabajando en la industria audiovisual, en trabajos muy simples. Quería entender mejor cómo funcionaba la industria, en la práctica, y tener tiempo para dirigir pequeños cortometrajes de pruebas, y escribir un guión de largometraje.

Al terminar, parecía obvio que no me llamaría un productor de cine para convertir ese guión en una película. No sabía por dónde seguir desarrollando estos proyectos -esto era en 2005, tenía 24 años, una edad en la que aquí nadie te toma en serio, y cero contactos en la industria audiovisual-. Así que me quedé otra vez sin saber qué hacer. Entonces, por una casualidad, surgió una oportunidad para hacer un doctorado de realidad virtual.

La realidad virtual tiene un papel clave en tu carrera. ¿Cuándo surgió tu interés por la misma? ¿Cómo se concretó?

Mel Slater se mudó a Barcelona. Venía del University College de Londres, con una nueva plaza de profesor de investigación ICREA. Lideraba diversos proyectos europeos sobre realidad virtual, y viajaba muchísimo. Cuando le conocí tenía un pequeño equipo aquí -Bernhard, Christoph, Torsten y Andrea-. Un profesor inglés trabajando con un austríaco, dos alemanes y un italiano. Yo siempre bromeaba diciendo que aquello parecía la ONU.

En seguida estuvimos de acuerdo en la idea de hacer una tesis doctoral sobre historias en realidad virtual -para mí era perfecto: permitía combinar ciencias cognitivas, ingeniería, y creación de contenido-. La verdad es que lo propuso él, y me pareció una locura. Después pensé que tampoco tenía nada mejor que hacer, y me arriesgué. Aunque lo cierto es que todavía tardamos un buen tiempo en encontrar cómo financiarlo. No fue un proceso fácil, conseguir hacer precisamente ese doctorado.

Has trabajado en la creación de experiencias de realidad virtual y, en particular, en los personajes virtuales… ¿Cuáles son las dificultades y los retos para mejorar estos personajes y experiencias?

Crear contenido de realidad virtual es muy complicado. Tienes que modelar en 3D, crear mecanismos de interacción, y encajarlo todo en una simulación que funcione en tiempo real.

Para los personajes virtuales, todavía es más difícil. En realidad virtual los usuarios esperan que los personajes se muevan e interactúen como personas reales. Pero las soluciones de inteligencia artificial desarrolladas para los videojuegos están pensadas para interacción basada en botones, y con lógicas de juego competitivas, imitando el combate. No funcionan bien para interacción social con personajes que muestran una psicología compleja -como hace un actor-. Hace falta una solución distinta.

En la actualidad existen multitud de estudios que avalan los beneficios de la realidad virtual para tratar demencias, fobias o enfermedades mentales como el Alzheimer, ¿podrías explicarnos, a grandes rasgos, cómo funciona? ¿Afecta la realidad virtual a nuestra actividad cerebral? ¿Cuáles son las ventajas e inconvenientes en comparación con otros métodos más tradicionales?

La realidad virtual es una simulación en la que sientes que estás dentro de un espacio físico, y donde puedes sentir, fácilmente, que tienes un cuerpo distinto al tuyo. Esto es ideal para las ciencias cognitivas. Permite manipular, en un  entorno realista, cualquier variable relevante. Permite la integración de la reacción del usuario, así como su estado atencional. Y todo esto sin exponer al paciente a una situación de riesgo, porque al fin y al cabo, son sólo píxeles.

Poder manipular el entorno de forma interactiva es ideal para las fobias: permite exponer al paciente a estímulos que sabe que no son reales, y sobre los que puede tener control. Por ejemplo, el paciente o el terapeuta pueden decidir qué grado de exposición tiene el paciente a arañas virtuales, o a un precipicio virtual, y dosificar esta exposición según el estado del paciente.

La posibilidad de manipular el estado atencional del paciente permite especular sobre beneficios en casos de demencia –la atención es un mecanismo cerebral bien establecido, y tiene una influencia manifiesta en el aprendizaje. También permite trabajar aspectos de la integración sensorimotora de forma controlada. Por ejemplo, si comprobamos que jugar a ping-pong es bueno para que pacientes de Alzheimer conserven o recuperen movilidad, podemos hacer una versión virtual donde el tiempo suceda más lentamente, para que pacientes que se mueven más lentamente poco a poco puedan mejorar su movilidad hasta, quizá, llegar a jugar al ping-pong real.

Y respecto al impacto en la actividad cerebral: en general, tenemos que considerar que cualquier cosa, la vida entera, afecta nuestra actividad cerebral. La única diferencia es que la realidad virtual permite manipular estímulos muy parecidos a los cotidianos, y hacerlo de forma muy controlada. Esta es su principal ventaja respecto a otras terapias más tradicionales.

Aparte de la medicina, la realidad virtual se está intentando aplicar también a muchos otros campos, como la televisión. De hecho, una de tus áreas de investigación se centra en fusionar televisión y realidad virtual. ¿Estamos avanzados en este proceso? ¿Crees que en algún momento podrán llegar a converger las dos o, de lo contrario, seguirán caminos distintos, como lo hicieron en su momento la radio y la televisión?

Sí. De hecho, el proyecto que escribí para la fundación i2cat en 2015, llamado ImmersiaTV, se basa en explorar esta dirección. Para ello muchos actores en la industria audiovisual han promovido el uso de vídeo omnidireccional. No es una experiencia de realidad virtual, pero sí que permite al usuario mirar alrededor girando la cabeza, y resulta muy fácil de producir para gente que viene de la producción de vídeo. Nuestro trabajo se ha centrado principalmente en mostrar que puede ser sencillo producir vídeo, combinando el formato tradicional y el omnidireccional, de forma que pueda consumirse de forma síncrona a través de la televisión, las tabletas y los cascos de realidad virtual.

Creo que podrán converger, pero al precio de transformar toda la industria audiovisual. Por ejemplo, MindShow es una empresa norteamericana que permite crear vídeos de animación a partir de actuar en realidad virtual con un cuerpo virtual. Este tipo de procesos aparecerán cada vez más a menudo, y quizá, solo quizá, convergerán de forma progresiva.

A lo largo de esta entrevista hemos indagado más en tu faceta de investigador, sin embargo, también te has atrevido con el mundo empresarial con la creación de Timepath. ¿Podrías explicarnos en qué consiste y cómo surge la idea?

En 2012 trabajaba de investigador postdoc en el laboratorio de Olaf Blanke, en la EPFL, en Suiza. Pero el proyecto de investigación en el que trabajaba no fue renovado.

También empezaron a llegar noticias que hacían evidente que la realidad virtual se convertiría en una industria. Oculus conseguía más de un millón de dólares en Kickstarter, Facebook lo compró por una cantidad vertiginosa de dinero, Valve anunció que también desarrollaba un casco… De repente estas noticias aparecían cada semana.

Tej Tadi había terminado hacía poco su doctorado en el mismo laboratorio donde trabajaba, y estaba creando una empresa de realidad virtual para rehabilitación, una empresa que ha funcionado increíblemente bien –Mindmaze-. También me orientó y me ayudó un poco.

Así que pedí varias becas para transformar mi doctorado en un proyecto empresarial. Al final conseguí una beca de la fundación Hasler que me permitió trabajar en el laboratorio de Ronan Boulic, adaptando la solución de mi doctorado a las herramientas de producción de realidad virtual actuales, y desarrollar un plan de negocio. Acabé presentando el resultado como finalista en 4YFN, la competición de startups del World Mobile Congress.

De ahí surgió Timepath. Timepath es una spin-off de la Universidad of Barcelona dedicada a simplificar la creación de personajes autónomos y la creación de historias de realidad virtual (RV). Timepath ofrece una experiencia de RV única, caracterizada por una narración y psicología de personajes característica de las películas con la posibilidad de interacción que hoy sólo encontramos en los videojuegos.

Como hemos visto, conoces y perteneces a ambos mundos, al de la investigación académica y al de las empresas. Por una parte, se te han otorgado becas de investigación a nivel europeo para llevar a cabo diferentes proyectos, y por otra, has creado Timepath. Conocedor de los dos caminos ¿cuál de ellos recomendarías a una persona que busca desarrollar un proyecto o idea?

La investigación genera conocimientos. La satisfacción es esencialmente intelectual. Igual que escribir un cuento o componer una canción. Pero la investigación también implica un laborioso esfuerzo de recopilación, análisis e interpretación de datos. Y hacerlo en este país, ahora mismo, es de una dificultad ridícula. Además, si no tienes un puesto como jefe de grupo –y para investigadores “jóvenes” como yo, prácticamente no hay- no puedes tomar prácticamente ninguna decisión. No es un deporte para todo el mundo, hay que ser muy testarudo. O emigrar. O tener mucha suerte.

Las empresas generan productos. Yo no he creado una empresa para ganar dinero, sino para materializar una idea. Pero para realizar esta idea es necesario crear un producto que resulte fácil de usar, y que genere ingresos de forma sostenible. En este caso, además, hay factores de riesgo adicional. La producción de realidad virtual es una industria que hace 4 años no existía -literalmente-. Hace dos años el vídeo omnidireccional generaba inversiones millonarias. Ahora la industria se empieza a dar cuenta que quizá esto no sea suficiente. Nadie sabe cómo será en dos o tres años. Quizá haya un lugar para un nuevo tipo de formato basado en personajes interactivos. Pero quizá no.

De forma general, para desarrollar un proyecto o una idea propia yo recomendaría apostar fuerte, pero apostar a largo plazo. Si tienes una idea, pero no estás dispuesto a dedicar unos años de tu vida a materializarla, asumiendo que tendrás que aprender un montón de cosas y que te equivocarás algunas veces por el camino, quizá es mejor no apostar por ello. Creo que casi siempre es mejor encontrar un proyecto al que unirte, sea porque el proyecto o las condiciones te resultan interesantes. Hay muchos sitios con proyectos maravillosos.

Si a pesar de todo esto todavía quieres crear tu propio proyecto de investigación o tu plan de negocio, tienes que tener siempre en mente que quizá no funcionará. Obviamente, quieres que funcione. Y haces todo lo que puedes para que así sea. Sin embargo, puede que no lo haga. De hecho, la mayoría de las veces no funciona. Así que lo que haces y aprendes en el camino para conseguir lo que persigues tendría que ser suficiente recompensa. Si aun así te compensa seguir ese camino, y lo tienes claro desde el principio, entonces tanto da si es un proyecto de investigación, o una idea de negocio. Hazlo sin dudar.

Y ya para acabar, se dice que la realidad virtual podría ser la próxima gran revolución… ¿Crees que las personas que afirman esto están en lo correcto? ¿Consideras que ya está en marcha dicha revolución o crees que hacen falta todavía determinados factores para una verdadera ‘revolución de la realidad virtual’?

Es un medio distinto. De eso no cabe duda. Mirar la televisión es muy distinto a experimentar realidad virtual inmersiva. Del mismo modo que mirar el mar, desde la ventana, es muy distinto a estar inmerso en el agua, empapado, en medio del océano.

En medicina y terapia, cambiará muchas cosas. Lo que nadie sabe es si tendrá el éxito que tuvieron, por ejemplo, los teléfonos móviles en el mercado de consumo. El modelo comercial se parece bastante al que se adoptó para los smartphones, y yo creo que la industria que hace hardware de consumo apuesta por esto porque, en buena parte, el mercado de los smartphones está muy saturado. El hardware todavía tiene que mejorar, pero es increíble cómo ha evolucionado en 4 años. No creo que ese sea el factor crítico. Ahora ya no.

Creo que será una revolución si crear contenido es algo democrático, accesible. Social, incluso. Si crear realidad virtual se parece a algo como crear una obra de teatro, sin problemas de ingeniería, ni esfuerzos de programación, entonces sí. Si los creadores se pueden centrar en la escenografía, en la interacción con los personajes y en el desarrollo narrativo, entonces sí.

A mí me parece natural pensar así porque con la tecnología de Timepath podemos crear un proceso que permita precisamente esto: crear una experiencia de realidad virtual muchísimo mejor que lo que permite el vídeo, y hacerlo a un coste modesto, de forma muy parecida al teatro, y de modo mucho más accesible que la producción de realidad virtual actual.

No soy el único que piensa así. Para mi guión de largometraje nunca me llamó ningún productor de cine. En cambio, un buen día me llamó Ricard Gras, un productor de realidad virtual que tiene 60 personas a su cargo, intrigado por saber más de Timepath. Le encantó la idea, y se ha pedido una reducción de jornada para integrarse en Timepath como jefe de producto.  Así que quizá sí hay un lugar en la industria para esto.

Cita recomendada: MOSAIC y BOURDIN, Pierre. Entrevista a Joan Llobera, investigador en realidad virtual y ciencias cognitivas. Mosaic [en línea], noviembre 2017, no. 154. ISSN: 1696-3296. DOI: https://doi.org/10.7238/m.n154.1736.