Ayuda:Generar imágenes con Splice
Splice consiste en un método para transferir semánticamente la apariencia visual de una imagen natural a otra. En concreto, el objetivo de splice es generar una imagen en la que los objetos de una "imagen de estructura" de origen se "pintan" con la apariencia visual de sus objetos semánticamente relacionados en una "imagen de apariencia" de destino.
Método
El método de splice funciona entrenando a un generador que recibe como entrada un único par de imágenes de estructura/apariencia. Para integrar la información semántica en este marco la idea clave es aprovechar un modelo de Transformador de Visión (ViT) (Vision Transformer en el original, en inglés), preentrenado y fijo que sirve como un previo semántico externo.
En concreto, el modelo deriva nuevas representaciones de la estructura y la apariencia extraídas de las características profundas del ViT, desligándolas de los módulos de autoatención aprendidos. A continuación, se establece una función objetivo que empalma (splice) las representaciones de estructura y apariencia deseadas, entrelazándolas en el espacio de características ViT.
El marco en un modelo de este tipo, que sus desarrolladores llaman "Splice", no implica un entrenamiento adversario (un GAN), ni requiere ninguna información de entrada adicional, como la segmentación semántica o las correspondencias, y puede generar resultados de alta resolución, por ejemplo, trabajos en HD. Es posible con un modelo de tipo splice resultados de alta calidad en una variedad de pares de imágenes sin entrenamiento o etiquetado previo, bajo variaciones significativas en el número de objetos, su pose y apariencia.
Splice en Google Colaboratory
Solución de errores de Splice
Aquí se citan algunos de los errores que te puedes encontrar y cómo solucionarlos.
No puedo subir imágenes
MessageError: TypeError: Cannot read properties of undefined (reading '_uploadFiles')
Upload widget is only available when the cell has been executed in the current browser session. Please rerun this cell to enable
Solución: Estás en una ventana de incógnito o no tienes habilitadas las cookies de terceros (Chrome). Ve a chrome://settings/content/cookies y deselecciona "Bloquear cookies de terceros".
- Se han reportado fallos en el navegador Brave.
RuntimeError: CUDA out of memory
Este error se produce si la imagen es demasiado grande. Generalmente alguna de las dimensiones de las imágenes es mayor de 1200px (se han reportado fallos con imágenes menores de 1000px también).
IndexError: list index out of range
- No sabemos porqué salió el error. Prueba de nuevo, reiniciando el notebook.
⚜️
|
Artículo redactado por Jakeukalane Para proponer cualquier cambio o adición, consulte a los redactores. |
|
|---|
|
Artículo redactado por Avengium Para proponer cualquier cambio o adición, consulte a los redactores. |
|
|---|
