Ayuda:Generar imágenes con Splice

De Bestiario del Hypogripho

Este artículo tiene contenido abordado desde la perspectiva de la "vida real".     Este artículo se compone de contenidos redactados por Jakeukalane (y creados por terceras personas).  Este artículo se compone de contenidos redactados por Avengium (y creados por terceras personas).  Este artículo carece de imágenes ilustrativas. Puedes ayudarlo consiguiendo una (o más) imágen/es apropiada/s e incorporándola/s.  Este artículo carece de bibliografía real que sustente su contenido; se beneficiaría de su adición.  Este artículo es de dificultad intraficcional negligible o nula (0). Debería ser apto para todo público. 

Splice consiste en un método para transferir semánticamente la apariencia visual de una imagen natural a otra. En concreto, el objetivo de splice es generar una imagen en la que los objetos de una "imagen de estructura" de origen se "pintan" con la apariencia visual de sus objetos semánticamente relacionados en una "imagen de apariencia" de destino.

Método

Paper: Splicing ViT Features for Semantic Appearance Transfer. Narek Tumanyan, Omer Bar-Tal, Shai Bagon, Tali Dekel. Submitted on 2 Jan 2022.

El método de splice funciona entrenando a un generador que recibe como entrada un único par de imágenes de estructura/apariencia. Para integrar la información semántica en este marco la idea clave es aprovechar un modelo de Transformador de Visión (ViT) (Vision Transformer en el original, en inglés), preentrenado y fijo que sirve como un previo semántico externo.

En concreto, el modelo deriva nuevas representaciones de la estructura y la apariencia extraídas de las características profundas del ViT, desligándolas de los módulos de autoatención aprendidos. A continuación, se establece una función objetivo que empalma (splice) las representaciones de estructura y apariencia deseadas, entrelazándolas en el espacio de características ViT.

El marco en un modelo de este tipo, que sus desarrolladores llaman "Splice", no implica un entrenamiento adversario (un GAN), ni requiere ninguna información de entrada adicional, como la segmentación semántica o las correspondencias, y puede generar resultados de alta resolución, por ejemplo, trabajos en HD. Es posible con un modelo de tipo splice resultados de alta calidad en una variedad de pares de imágenes sin entrenamiento o etiquetado previo, bajo variaciones significativas en el número de objetos, su pose y apariencia.

Splice en Google Colaboratory

Solución de errores de Splice

Aquí se citan algunos de los errores que te puedes encontrar y cómo solucionarlos.

No puedo subir imágenes

MessageError: TypeError: Cannot read properties of undefined (reading '_uploadFiles')
Upload widget is only available when the cell has been executed in the current browser session. Please rerun this cell to enable

Solución: Estás en una ventana de incógnito o no tienes habilitadas las cookies de terceros (Chrome). Ve a chrome://settings/content/cookies y deselecciona "Bloquear cookies de terceros".

  • Se han reportado fallos en el navegador Brave.

RuntimeError: CUDA out of memory

Este error se produce si la imagen es demasiado grande. Generalmente alguna de las dimensiones de las imágenes es mayor de 1200px (se han reportado fallos con imágenes menores de 1000px también).

IndexError: list index out of range

  • No sabemos porqué salió el error. Prueba de nuevo, reiniciando el notebook.

⚜️

 Avatar Jakeukalane.png  Artículo redactado por Jakeukalane
Para proponer cualquier cambio o adición, consulte a los redactores.
Icon bolígrafo azul 1.png 
 DarenGa by nosoyridley dbhf432.png  Artículo redactado por Avengium
Para proponer cualquier cambio o adición, consulte a los redactores.
Icon bolígrafo azul 1.png