Índice
- Introducción
- The Next Rembrandt: ¿se puede recrear la pintura del artista?
- La inteligencia artificial al servicio del arte y la cultura
- Conclusiones
- Bibliografía y recursos
Introducción
En abril de 2016 el mundo pudo conocer el nuevo retrato pintado por Rembrandt van Rijn, el pintor barroco holandés característico por el verismo y la representación psicológica de sus retratados. En la era de la comunicación y la digitalización este acontecimiento consiguió llegar a todas las partes del mundo y estar presente en todos los medios. Despertó una gran expectación, dado que era una obra nunca antes vista y los siglos habían seguido acrecentando la fama del artista. Pero solo había algo que fallaba: Rembrandt murió en 1669, 347 años antes.
The Next Rembrandt: ¿se puede recrear la pintura del artista?
Esta debió ser la pregunta del grupo de expertos que se plantearon el reto de crear una nueva pintura de uno de los artistas holandeses más famosos, el cual había muerto siglos atrás. El equipo que llevó a cargo la idea estuvo formado por profesionales de Microsoft Netherlands, la agencia creativa J Walter Thompson (ahora Wunderman Thompson) y con el apoyo de ING, Tu Delft, Mauritshuis y el museo Rembrandthuis. Gracias a las tecnologías actuales como las impresoras y escáneres 3D y las tecnologías de inteligencia artificial, recrear un retrato de Rembrandt estaba al alcance de las posibilidades.
¿Por qué un Rembrandt es un Rembrandt? Recogida y análisis de datos
Pero abordar esta propuesta no era una tarea sencilla. Para empezar, si querían replicar una pintura de Rembrandt, era esencial conocer al detalle como era su pincelada, la composición de la escena, los colores, la luz e incluso la materia pictórica. Pero la materia prima para todo esto eran piezas físicas, además de algunas digitalizaciones hechas en años anteriores. Lo que necesitaban era todos los datos posibles y existentes sobre la producción artística del pintor holandés.
Las imágenes que ya estaban digitalizadas previamente fueron mejoradas en calidad y resolución (hasta un 300% más), gracias a algoritmos de aprendizaje profundo que también contribuyeron a reducir el ruido. Este proceso sirvió para mejorar la calidad de las imágenes de pinturas que presentaban algún daño. Por otro lado, el escaneo 3D sirvió para recoger imágenes nunca antes digitalizadas. También se usó para obtener los datos sobre la pincelada, el trazo de las herramientas en la materia pictórica y la altura y profundidad de los volúmenes que surgen al acumular capas de óleo sobre un mismo punto.
A esto se unieron los datos sobre composición en las representaciones de grupos y de retrato, se estableció una escala para calibrar los años de más producción de su trayectoria, la localización donde se pintaron sus cuadros en cada etapa y una posible segmentación demográfica de los personajes representados. Se analizó la edad media de los personajes representados (de manera orientativa), la dirección de la cabeza y la mirada, el tipo y color de sus vestimentas y detalles del rostro, tanto a nivel de facciones como de la geometría oculta en el mismo.
Todos los datos recogidos para poder identificar los puntos clave y reproducir una pintura de Rembrandt sumaron más de 150GB en la base de datos. Gracias al reconocimiento de patrones de la inteligencia artificial, los datos pudieron clasificarse en diferentes categorías y extraer hasta 67 características que hacían de Rembrandt un pintor único.
El hombre de Rembrandt: identificando un personaje a través de patrones
«Hay muchos datos de Rembrandt disponibles: se dispone de una enorme cantidad de datos técnicos de todos estos cuadros procedentes de diversas colecciones. ¿Y podemos crear algo con ellos que se parezca a Rembrandt? Es una pregunta atractiva». – Joris Dik, Universidad Técnica de Delft
Tras el análisis, consiguieron un perfil identificativo de los retratos del pintor. La mayoría fueron realizados entre 1632 y 1642, representando mayormente hombres (51% de las figuras representadas) de entre 30 y 40 años. Todos ellos eran caucásicos y con vello facial, que vestían prendas negras con cuellos blancos (solapas o lechuguillas) y sombreros oscuros. Además, en la mayoría de las pinturas los representados miraban a la derecha.
Basándose en estos datos, diversos expertos crearon un sistema que pudiese reproducir la pintura de Rembrandt tomando aquellos puntos clave que le hicieron único: el retrato psicológico, el uso innovador de la luz para resaltar partes importantes y más expresivas del rostro y la suavidad y difuminado de las partes ensombrecidas. Este software había aprendido de las pinturas de Rembrandt los secretos sobre su geometría, la composición y los materiales pictóricos gracias al algoritmo de reconocimiento facial que estudió los retratos. Se identificaron los parámetros que rigen la separación entre ojos, el volumen de las mejillas y el resto de matemáticas ocultas en los rostros de Rembrandt. Y entonces se pudo crear un nuevo rostro.
Dando forma física a los datos: Pintar el cuadro
«Observamos varios cuadros de Rembrandt y escaneamos la textura de su superficie, su composición elemental y qué tipo de pigmentos se utilizaron. Ese es el tipo de información que necesitas si quieres generar virtualmente un cuadro de Rembrandt». – Joris Dik, Universidad Técnica de Delft
Con todos estos datos trasladados a impresoras 3D y programas alimentados con los mapas topográficos de las pinturas escaneadas, quedaba la ultima parte: transformar los datos en pintura.
Primero se generó el retrato en 2D con los algoritmos, empezando por la composición de los elementos del rostro. Más tarde se incluyó la proyección de la luz para generar el claroscuro característico de la pintura barroca. Después se escogió la tinta (enfocada a imitar la textura de la pintura) y se imprimió un total de 13 capas apiladas que dieron como resultado un nuevo retrato. Un rostro de alguien que era inexistente pero había sido pintado supuestamente por Rembrandt.
Este proceso tuvo en cuenta el material y textura que pudieron tener la mayoría de lienzos de Rembrandt, las capas de base y la pincelada. El caso de la pincelada (y su huella en la pintura) fue aun mas especial: gracias a los datos recogidos por escáneres de rayos-X, se pudo entrenar un sistema que identificase patrones entre sus pinturas y la representación que se planificaba, para así poder reproducir la dirección de los trazos en esta nueva pintura. Para ello, se establecieron patrones entre más de 165.000 fragmentos de pintura.
Con la impresión y la presentación del cuadro en público, llega el final del proceso de recrear una pintura del artista holandés. Pero no termina todo aquí, sino que da comienzo a una serie de debates sobre los limites de la pintura en la era de la inteligencia artificial y la cuestión de la veracidad. Sobre si es posible que los antiguos maestros sigan creando en la era digital. Y sobre si estas creaciones, además de aparentar y ser similares a las imágenes originales, transmiten al espectador las mismas sensaciones que una pintura autentica de Rembrandt van Rijn.
La inteligencia artificial al servicio del arte y la cultura
Las revoluciones tecnológicas han afectado a todas las áreas durante el paso del tiempo. No únicamente cambian procedimientos y teorías en cuanto a los sistemas de producción, sino todas las áreas de nuestra vida se ven afectadas por la tecnología, ya sea por cambios, por adopción de nuevas herramientas, etc. Actualmente vivimos la revolución de la inteligencia artificial y su democratización mediante aplicaciones generativas. La IA ya está cambiando la forma en que trabajamos y nos relacionamos con los entornos digitales. Y también la creación y el significado de las obras artísticas (sea música, escritura o pintura, entre otras).
IA para reconocer y analizar pinturas
Los algoritmos de inteligencia artificial pueden ayudarnos a descubrir detalles en las pinturas que han pasado desapercibidos. También permite identificar nuevas pinturas anónimas hasta el momento y relacionarlas con pintores gracias al análisis de su pincelada o estructura. De la misma manera, el reconocimiento de patrones puede ayudar a identificar figuras y mejorar la comprensión de los mensajes y simbologías representadas. Ejemplo de ello es la reciente colaboración entre el Barcelona Supercomputing Center y el Museo del Prado. Este proyecto, enfocado en la pintura de Fra Angelico, extiende la apuesta del museo por avanzar en la relación entre IA y arte.
La inteligencia artificial aplicada al arte puede servir para el reconocimiento de obras. Con el estudio y análisis de la pincelada pueden cotejarse datos que ayuden a identificar un posible fraude en un óleo antes de salir a subasta o ser adquirido por un museo. Este mismo análisis podría identificar pinturas pertenecientes a un mismo taller reescribiendo la autoría de algunos cuadros que, siendo reconocidos por haber sido pintados por un artista famoso, realmente estuvieran hechos por sus discípulos.
Repensar la reconstrucción histórica mediante la inteligencia artificial
Otras tecnologías de IA ya se están utilizando para la recreación histórica, permitiendo volver a etapas y lugares extintos por el paso del tiempo. En cambio, en este ámbito es de vital importancia la veracidad de los datos y el trabajo con datos primarios y no con recreaciones anteriores. Estas pueden ser inexactas y conducir, ya no a errores, sino a replicar sesgos históricos reproducidos en películas y otros materiales de ficción, por ejemplo.
A todo esto se une las actuales herramientas de IA generativa, que ponen al alcance de todos crear imágenes a partir de una descripción. Estas producciones ya están cuestionando y reescribiendo los limites de lo que se considera o no arte y de quien es el autor en estos casos (si quieres saber más sobre la IA y los derechos de autor, consulta este post).
Por tanto, con el actual panorama que dibujan las IA generativas como Midjourney y la posibilidad de usar la tecnología para analizar y recrear pinturas de artistas de hace siglos, solo queda preguntarnos: ¿puede la IA ser creativa?
Conclusiones
El proyecto «The Next Rembrandt» plantea una interesante investigación sobre el artista holandés a la par que sienta un precedente por la creación de una obra plástica matérica (mas allá de la imagen digital) hecha en base a algoritmos e inteligencia artificial.
La tecnología, de la mano de expertos de la informativa y del arte y la cultura, nos permite conocer más a fondo la figura y obra de Rembrandt van Rijn. Conocer la geometría oculta en sus composiciones, la segmentación en datos de los personajes representados y hasta las capas de pintura que tenía cada cuadro, es muy interesante para seguir debatiendo sobre su trabajo más de tres siglos después de su muerte.
Pero a su vez abre un nuevo debate en el campo del arte que se ha incrementado con el reciente lanzamiento de herramientas de IA generativa: ¿puede ser creativa la inteligencia artificial? ¿dónde están los límites entre la copia y la inspiración y cómo se gestionan los derechos de autor en una era donde puede ser aún más sencillo el plagio?. Además, esta obra producida tecnológicamente evoca la forma de representar y pintar de Rembrandt, pero al mirarla de frente no transmite lo mismo. Entonces se plantea un nuevo interrogante, ¿nos emociona la pintura y la representación que hay en el lienzo, o es el hecho de pertenecer a un autor conocido lo que nos conmueve?.
La IA abre un mundo de nuevas posibilidades, así como de nuevas reflexiones sobre la producción y la percepción de las obras de arte. ¿Cómo evolucionará el mundo en un contexto de creatividad por algoritmos?
Bibliografía y recursos
- Rembrandt «pinta» un cuadro 347 años después de su muerte. (2016, 12 abril). 20 Minutos. (https://blogs.20minutos.es/trasdos/2016/04/12/next-rembrandt-pintura-tecnologia/)
- The Next Rembrandt: Recreating the work of a master with AI. (2017, 30 agosto). Microsoft News Centre Europe. (https://news.microsoft.com/europe/features/next-rembrandt/)
- Dutch Digital Design. (2018, 1 mayo). The Next Rembrandt: bringing the Old Master back to life. Medium. (https://medium.com/@DutchDigital/the-next-rembrandt-bringing-the-old-master-back-to-life-35dfb1653597)
- The Next Rembrandt. (s. f.). The Next Rembrandt. (https://www.nextrembrandt.com)
- The Next Rembrandt. (2016, 5 abril). The Next Rembrandt [Vídeo]. YouTube. (https://www.youtube.com/watch?v=IuygOYZ1Ngo)
- The Next Rembrandt. (s. f.-b). Wunderman Thompson. (https://www.wundermanthompson.com/work/next-rembrandt)
- Gershon, L. (2022, 10 enero). New Tech Can Distinguish Brush Strokes of Different Artists. Smithsonian Magazine. (https://www.smithsonianmag.com/smart-news/new-tech-can-distinguish-brush-strokes-of-different-artists-180979332/)
- Neural Network Pinpoints Artist by Examining a Painting’s Brushstrokes | NVIDIA Technical Blog. (2023, 22 mayo). NVIDIA Technical Blog. (https://developer.nvidia.com/blog/neural-network-pinpoints-artist-by-examining-a-paintings-brushstrokes/)
- Gomez, J. (2019, 21 octubre). ¿Puede ayudarnos la Inteligencia Artificial a viajar en el tiempo para conocer nuestro patrimonio? euronews. (https://es.euronews.com/next/2019/10/21/puede-ayudarnos-la-inteligencia-artificial-a-viajar-en-el-tiempo-para-conocer-nuestro-pat)
- BSC Saint George on a Bike project launches a citizen science campaign to improve the dissemination and knowledge of European cultural and artistic heritage with Artificial Intelligence. (s. f.). BSC-CNS. (https://www.bsc.es/news/bsc-news/bsc-saint-george-bike-project-launches-citizen-science-campaign-improve-the-dissemination-and)
- Baumann, B. (2019, 29 mayo). El arte y la inteligencia artificial. dw.com. (https://www.dw.com/es/el-arte-y-la-inteligencia-artificial/a-48944514)