Ver el código de «Ayuda:Generar imágenes con VQGAN+CLIP»

{{Aviso|<big>''The English version of this page is available [[/English|here]].</big>}}
{{Ambidiestro|{{Icon_R}}|{{Mini_Jakeukalane_r}}{{Mini_Avengium_r}}{{Mini_imagen|autor=de Khang Le|autor2=de Jakeukalane|autor3=de licencia Creative Commons}}{{Mini_bibliografía}}{{Mini_dificultad_0}}|}}
'''[https://compvis.github.io/taming-transformers/ VQGAN]''' es una red generativa antagónica. Las Redes Neuronales Generativas Antagónicas (o Adversarias), también conocidas como GANs (Generative Adversarial Networks, en inglés), son una clase de algoritmos de inteligencia artificial que se utilizan en el aprendizaje no supervisado, implementadas por un sistema de dos redes neuronales que compiten mutuamente en una especie de juego de suma cero. Fueron [https://arxiv.org/abs/1406.2661 presentadas por Ian Goodfellow] ''et al''. en 2014.

Esta técnica puede generar imágenes que parecen auténticas a observadores humanos. Por ejemplo, una imagen sintética de un gato que consiga engañar al discriminador (una de las partes funcionales del algoritmo), es probable que lleve a una persona cualquiera a aceptarlo como una fotografía real. La diferencia de VQGAN con redes GAN anteriores es que permite salidas en alta resolución.

'''[https://openai.com/blog/clip/ CLIP]''' (Contrastive Language Image Pretraining) es otra inteligencia artificial que permite transformar textos en imágenes. Es decir, en '''VQGAN+CLIP''', CLIP introduce entradas de texto a VQGAN. Aquí te explicamos cómo usarlo.

==VQGAN+CLIP en Google Colaboratory==
Entrando en [https://colab.research.google.com/drive/1go6YwMFe5MX6XM9tv-cnQiSTU50N9EeT VQGAN+CLIP (z+quantize method con augmentations).ipynb] realizada en Google Colaboratory por [https://github.com/crowsonkb Katherine Crowson] puedes arrancar un modelo VQGAN preformateado con unos valores y combinado con un modelo CLIP. Aquí te explicamos cómo hacerlo funcionar. Si prefieres una explicación en vídeo lee los [[#Vídeos|enlaces externos]] de esta página. El canal Cogitare en YouTube te muestra cómo usarlo y el canal Dot CSV cómo funciona de manera técnica. En el [https://discord.gg/bdH6swK4TJ canal de discord de DotCSV] siguen proponiendo correcciones diariamente al notebook.

===Pasos previos===
* 1) Entra en [https://colab.research.google.com/drive/1go6YwMFe5MX6XM9tv-cnQiSTU50N9EeT VQGAN+CLIP (z+quantize method con augmentations).ipynb]

* 2) Arriba a la derecha pulsa en <code>Conectar</code> para que se te asigne una máquina.

<gallery heights="160px" mode="packed">
Archivo:VQGAN_conectar.gif
</gallery>

[[Archivo:VQGAN_play.png|miniaturadeimagen|izquierda|''Botón de Play''.]]
[[Archivo:VQGAN_esperando.png|miniaturadeimagen|300px|derecha|''Las celdas se pueden ejecutar una tras otra, sin esperar a que acabe la anterior<ref name="espera">Antes de tener dominio del programa se recomienda esperar a que termine cada celda de ejecutar (para no saltarse pasos). Pero en realidad no es necesario. Se puede programar de principio a fin (incluso vídeo) rellenando los parámetros correctos. Obviamente, si la máquina caduca, el vídeo no podrá descargarse, por lo que hay que echarle un ojo de vez en cuando.</ref>. Cuando una celda está en espera se muestra así''.]]
* 3) En la página hay círculos negros con una flecha con apariencia de "Play". Pulsa en estos botones para ejecutar cada una de las celdas.




* 4) Pulsa en la celda con el texto: <code>Licensed under the MIT License</code>.'''

<gallery heights="180px" mode="packed">
Archivo:VQGAN_advertencia.png|Nos saldrá esta advertencia.
</gallery>

* 5) Pulsa en la celda con el texto: <code>!nvidia-smi</code>. Aquí aparecen los datos del PC remoto que va a ejecutar el modelo VQGAN+CLIP. La VRAM puede ser como ésta: 0MiB / 15109MiB. A más VRAM, más poder de renderizado. Con menos de 15109MiB podría no merecer la pena usar la máquina (tardando de media: 1 iteración 4 segundos, es decir, cuatro veces más que una de 15 GiB de RAM).

<gallery heights="260px" mode="packed">
Archivo:VQGAN_nvidia-smi.png
</gallery>

* 6) Pulsa en la celda con el texto: <code>Instalación de bibliotecas</code>. Verás que en esa celda, aparecen barras de progreso. Eso son las instalaciones y descargas en curso. Espera a que acabe de descargar<ref name="espera"/>.
<gallery heights="330px" mode="packed">
Archivo:VQGAN_instalación_CLIP.gif|Este proceso ya no muestra la misma salida, pero es equivalente
</gallery>

* 7) Pulsa en la celda con el texto: <code>Selección de modelos a descargar</code>. Puedes elegir descargar otros modelos pero el modelo por defecto <code>imagenet_16384</code> es bueno. <code>imagenet_1024</code> también es ligero. <code>Time total</code>, <code>time spent</code>, <code>time left</code> indican cuánto tiempo falta de descarga. Espera a que acabe de descargar.

* 8) Pulsa en la celda con el texto: <code>Carga de bibliotecas y definiciones</code>.

* 9) Pulsa en la celda con el texto: <code>Parámetros</code>.

A la derecha de la celda parámetros hay una caja de texto que permite personalizarlos de manera más sencilla. Cada vez que modifiques los <code>Parámetros</code> '''vuelve a ejecutar la celda''' para que se actualice.

===Parámetros===
{| class="wikitable"
|-
! Nombre del parámetro !! Texto por defecto !! Descripción
|-
| <code>textos</code> || <code>A fantasy world</code> || Este parámetro es el texto que VQGAN+CLIP va a interpretar como concepto de la imagen. Si se escribe "fuego", dibujará fuego, y si se escribe "agua", representará agua. Más información en la sección "[[#Texto y contexto|texto y contexto]]".
|-
| <code>ancho</code> || <code>480</code> || El ancho de cada imagen que VQGAN+CLIP generará dentro de esa página de Colaboratory. Se recomienda no modificarlo (más allá de 600) puesto que la máquina virtual tiene una memoria limitada. Es mejor utilizar después [https://bigjpg.com/ bigjpg]. Puedes cambiar la proporción para que no sea cuadrada (Una ayuda aquí: [https://tools.feline.cl/es/calculadora-de-proporciones/ Calculadora de proporciones]).
|-
| <code>alto</code> || <code>480</code> || El alto de cada imagen que VQGAN+CLIP generará dentro de esa página de Colaboratory. Se recomienda no modificarlo (más allá de 600) puesto que la máquina virtual tiene una memoria limitada. Es mejor utilizar después [https://bigjpg.com/ bigjpg]. También puedes cambiar la proporción.
|-
| <code>modelo</code> || <code>imagenet_16384</code> || Este parámetro decide qué modelo de VQGAN se va a ejecutar. Son cajas que permiten seleccionar uno o varios modelos. '''El que selecciones tiene que haber sido descargado previamente'''. El número indica la cantidad de modelos que contiene por lo que <code>imagenet_16384</code> es mejor que <code>imagenet_1024</code> (aunque más pesado).
|-
| <code>intervalo_imagenes</code> || <code>50</code> || Esto indica al programa cada cuantas iteraciones imprime el resultado en la página. Si se escribe 50, imprimirá los resultados de las iteraciones 0, 50, 100, 150, 200, etc.
|-
| <code>imagen_inicial</code> || <code>None</code> || Para usar una imagen inicial, sólo debes subir un archivo al entorno del Colab (en la sección a la izquierda), y luego modificar <code>imagen_inicial</code>: poniendo el nombre exacto del archivo. Ejemplo: <code>sample.png</code>. Ver [[#Subir imágenes|Subir imágenes]].
|-
| <code>imagenes_objetivo</code> || <code>None</code> || Una o más imágenes que la IA tomará como "meta", cumpliendo la misma función que ponerle un texto. Es decir, la IA intentará imitar la imagen o imágenes. Se separan con <code><nowiki>|</nowiki></code>.
|-
| <code>seed</code> || <code>-1</code> || La semilla de esa imagen. -1 indica que la semilla será aleatoria cada vez. Al elegir -1 sólo verás en la interfaz de Colaboratory la semilla elegida en la celda "Hacer la ejecución", tal que así: <code>Using seed: 7613718202034261325</code> ([[Medio:VQGAN_seed.png|ejemplo]]). Si quieres averiguar las iteraciones y semillas de las imágenes que has descargado, están en los comentarios de la imagen. En Linux los visores normales incorporan los comentarios. En Windows los visores por defecto no pueden ver los metadatos, pero con [http://exif.regex.info/exif.cgi Jeffrey's Image Metadata Viewer] los puedes ver<ref group="r">'''Nota''': Una alternativa a los metadatos XMP son los datos introducidos mediante esteganografía. Estos metadatos se pueden visualizar mediante la librería stegano de python ([https://stylesuxx.github.io/steganography/ Steganography Online]).</ref><ref group="r">'''Nota 2''': Aunque la semilla sea idéntica los resultados aún así variarán un poco debido a las "augmentaciones". Las aumentaciones son variaciones pseudoaleatorias introducidas en cada iteración. Se pueden desactivar, lo que haría que fuera un poco más rápido, pero a costa de perder calidad. Ver [[#¿Cómo puedo desactivar las augmentaciones?|¿Cómo puedo desactivar las augmentaciones?]]</ref>.
|-
| <code>max_iteraciones</code> || <code>-1</code> || El número máximo de iteraciones antes de que el programa pare. Por defecto es -1, eso significa que el programa no va a parar a menos que no se cuelgue o se pare por otra razón. Se recomienda cambiarlo por un valor como <code>500</code>, <code>600</code>, <code>1000</code> o <code>3000</code>. Un número más alto a veces no es necesario (la variabilidad desciende a mayor número de iteraciones). Recuerda que hacer estos cálculos es muy costoso energéticamente (y si dejas demasiado tiempo la sesión realizando cálculos tendrás una limitación en Google Colaboratory).
|}

===Texto y contexto===
{{AP|Ingeniería de prompts}}
====Idioma====
La IA está entrenada mucho más en inglés por lo que muchas veces el contexto es mejor introduciendo la entrada en inglés. Esto se puede apreciar en las [[#Imágenes|Imágenes]] al poner como entrada <code>greek temples in space</code> el resultado es mejor que con <code>Templos griegos en el espacio</code>.

====Entradas separadas====
Separar conceptos con barras verticales (también llamadas plecas o tuberías) ( <code>|</code> ) produce dos entradas distintas de texto, cada una con una "valor de pérdida"<ref group="r">''Hinge loss'' o pérdida de articulación, es un tipo de [[esw:Función de pérdida|función de pérdida]] específico para las inteligencias artificiales. Ver [[w:hinge loss|hinge loss]]. <ul>Traducción semiautomática: En el aprendizaje automático, la "pérdida de articulación" es una función de pérdida que se utiliza para entrenar clasificadores. La pérdida de articulación se utiliza para la clasificación de "margen máximo", sobre todo para las máquinas de vectores de soporte (SVM).</ul></ref> independiente. Esto permite asignar efectos o adjetivos de manera independiente a diferentes elementos.

En la celda de ejecución se pueden ver separadas por comas y entrecomilladas.

* '''Texto''': <code>Cosmic egg</code>.
* Name='cosmic egg'. (esto es lo que ejecuta el programa).

* '''Texto''': <code>Bronze | space</code>
* Name='bronze' , 'space'.

Va a producir un resultado diferente de:
* '''Texto''': <code>Bronze, space</code>.
* Name='bronze, space'.

====Usar adjetivos====
Se pueden utilizar adjetivos / estilos para variar la imagen sin variar los objetos que queremos que dibuje.

No hay una cantidad fija de estilos, hay tantos estilos como se nos puedan ocurrir.

=====Según artista=====
* Beksinski style / Dali style / Van Gogh style / Giger style / Monet style / Klimt / Katsuhiro Otomo style / Goya<ref group="r">En Goya y otros artistas se ha apreciado que las primeras iteraciones son mejores.</ref> / Miguel Angel (Sistine Chapel style) / Joaquin Sorolla style / Moebius style / in Raphael style (a veces contribuye a mejorar los trazados de los rostros).
** también se pueden mezclar.

En <code>Wiki-art</code> se consiguen mejores resultados incluso.

=====Según estilo de arte=====
* Calidades y distorsiones de cámara: 4k / chromatic aberration effect / '''cinematic effect''' / diorama / dof / depth of field / field of view / fisheye lens effect / '''photorealistic''' / '''hyperrealistic''' /  raytracing / shaders / stop motion / tilt-shift photography / ultrarealistic / vignetting.
* cell shading / flat colors / full of color / electric colors.
* anime / comic / graphic novel / visual novel.
* Materiales: acrylic painting style / clay / coffee paint / collage / embroidery / glitch / graphite drawing / gouache / illuminated manuscript / ink drawing / medieval parchment / detailed oil painting / tempera / watercolor.
* isometric / lineart / lofi / lowpoly / photoshop / pixel art / vector art / voxel art.
* Períodos históricos: baroque / German Romanticism / impressionism / Luminism / pointillism / postimpressionism / Vienna Secession.
** Ver más aquí [[w:Art movement##19th_century|Art movement]] (en español: [[esw:Movimiento_artístico#Siglo_XIX|Movimientos artísticos]].
* También se pueden utilizar tipo de pintura por regiones:
** chinese painting / indian art / tibetan paintings / nordic mythology style / soviet art style, etc.

=====Según películas o videojuegos=====
* in Ghost in the Shell style / in Star Wars style / in Ghibli style / in Metropolis film style / Death Stranding style…
** (cuanta más relación tenga el texto de entrada con la película o videojuego más se parecerá). Ver [https://www.imdb.com/list/ls080540337/ Las 1000 Mejores películas de la historia (2020)].

=====Según programa de renderizado=====
Imita el resultado, no es que realmente esté usando esos motores gráficos<ref group="r">Es decir, la IA se ha entrenado con muchas imágenes, algunas de las cuales estaban etiquetadas con "rendered en X" por lo que imita esos resultados</ref>):
* '''rendered in Unreal Engine'''<ref group="r">Vía [https://twitter.com/arankomatsuzaki/status/1399471244760649729?s=20 Aran Komatsuzaki].</ref><ref group="r">En el apartado [[#Asignar pesos|Asignar pesos]] se muestra una forma de intentar quitar el logo de Unreal Engine que a veces aparece flotando por la imagen.</ref>, el más usado.
* rendered in vray.
* rendered in povray.
* zbrush / cycles.
* rendered in rtx.
* rendered in octane.
* rendered in cinema4d.
* rendered in autodesk 3ds max.
* rendered in houdini.
* etc.
* Se pueden combinar.
** Pendiente: Comprobar: https://www.g2.com/products/octanerender/competitors/alternatives
https://imgur.com/a/SALxbQm

======Efectos específicos======
* Añadir brdf / caustics / global-illumination / non-photorealistic / path tracing physically based rendering / raytracing / etc.

=====Efectos / luces=====
* diamond / fire / fog / glow / incandescent / iridiscent / lava / red-hot / shining / etc.

=====Otros modificadores=====
* Trending on (sitio web): por ejemplo "trending on artstation"<ref group="r">Aunque la palabra "trending" evoque algo actual, el conjunto de datos (=dataset) no se actualiza cada día. Es decir, ese "trending" será tomando los datos del momento en el que se hizo el conjunto de datos (=dataset).</ref>
* black hole / dismal / grim / liminal / minimalistic / surprising / vibrant.

====Asignar pesos====
También se pueden utilizar porcentajes y CLIP interpretará los decimales (0.1, 0.5, 0.8) como pesos de ese concepto en el dibujo (1 sería el total). También se pueden usar "porcentajes" (pero sin el símbolo de porcentaje). Se pueden usar pesos negativos para eliminar un color, por ejemplo.

* No interesa poner pesos inferiores a -1.
* Los pesos son relativos entre ellos (se recalcula el total y no tiene porqué coincidir con los números que se han puesto). Por eso se recomienda que sumen 100% —o 1— (más que nada para nosotros mismos saber los pesos reales).

Ejemplo de pesos con decimales:
* '''Texto''': <code>rubber:0.5 | rainbow:0.5</code>. Equivalente a <code>rubber:50 | rainbow:50</code>.
** Mal hecho: "0.5 rubber | 0.5 rainbow". (La asignación de pesos va después del concepto y después de <code>:</code>).
** Mal hecho: "awesome:100 adorable:300". (No está separado por <code>|</code>)
** Mal hecho: "rubber:50% | rainbow:50%". (Los <code>%</code> no son signos admitidos).

Otros ejemplo de pesos (total 100):
* '''Texto''': <code>sky:35 | fire:35 | torment:20 | dinosaurs:10</code>

Ejemplo:
* '''Texto''': <code>fantasy world | pink:0</code>
* Resultado: No tiene rosa. 
'''Nota''': ''Eliminar una palabra mediante valores negativos puede cambiar por completo la imagen, con resultados inesperados. Si se es muy específico se pueden conseguir los resultados deseados, pero aún así la imagen cambiará mucho''.

''''Nota 2''': Es mejor eliminar un concepto mediante valores a 0.

Por ejemplo para quitar el logo de Unreal:
* '''Texto''': <code>… | logo of unreal:-1</code>. Podría dar un resultado satisfactorio.

* '''Texto''': <code>… | logo of unreal:0</code>. Suele dar mejor resultado.

Mientras:
* '''Texto''': <code>… | logo:-1</code>. Dará un resultado totalmente diferente al ser demasiado poco específico.

====Otros consejos====
* Para imágenes astronómicas se consigue mejor resultado cuando se asignan pesos a los parámetros, así se definen mucho mejor los elementos (por ejemplo una galaxia).
* Los textos demasiado cortos suelen salir mal pero si son muy específicos no tanto.
* La IA deforma la cara de la gente cuando le pones el nombre de alguien en específico.
** Los humanos son el punto débil de la IA.
** Un truco que parece funcionar bien es usar como punto de partida una imagen de una [https://www.artbreeder.com/compose/portraits cara humana producida por Artbreeder] (una página web que también usa IAs con GAN).
* El punto de partida usando imágenes del propio VQGAN también es muy eficiente.

<gallery heights="630px" mode="packed">
Archivo:VQGAN_proceso.jpg|''Usar imágenes anteriores del propio VQGAN+CLIP da muy buenos resultados'', por Anarius.
</gallery>

===Subir imágenes===
<gallery heights="400px" mode="packed">
Archivo:VQGAN_subir_imagen.gif
</gallery>
Para usar una imagen inicial primero tienes que subirla.
# Ve a la parte izquierda y pulsa en "<code>Archivos</code>"
# Selecciona el icono que representa la subida "<code>Subir al almacenamiento de sesión</code>".
# Carga la imagen que quieras desde tu sistema de archivos (ponle un nombre reconocible).
# La imagen sólo permanecerá durante la sesión, luego se borrará.
# Después hay que modificar el apartado <code>imagen_inicial</code> o <code>imagenes_objetivo</code> poniendo el nombre exacto del archivo. En el apartado de <code>imagenes_objetivo</code> se pueden poner varias imágenes, usando <code>|</code> como separador.

===Otras técnicas===
====Adaptar las imágenes a formas concretas====
Para adaptar la imagen final a una forma concreta se pueden usar imágenes de inicio con máscaras de color haciendo esa forma. (Opcional, puede ser simplemente un cuadrado de color blanco, aunque será más preciso si se parte de la iteración 0) y se selecciona en el input cosas que se amolden a esa forma (por ejemplo, en una máscara redonda, un reloj, una pizza, una bola de cristal, etc.)

<gallery heights="330px" mode="packed">
Archivo:VQGAN_inicial_por_Abulafia.png|Se coge una imagen producida por la iteración 0.
Archivo:VQGAN_máscara_por_Abulafia.png|Y en un programa de edición (GIMP o Photoshop) se elige una forma, dando fondo uniforme (del color que elijas). Esta imagen se usará como <code>imagen_inicial</code>.
Archivo:Fisheye view of a corridor por Abulafia.png|Ejemplo: Con entrada <code>fisheye view of a corridor <nowiki>|</nowiki> graphite draw</code> y usando como <code>imagen_inicial</code> la máscara (por Abulafia).
</gallery>

Puedes añadir y descargar máscaras desde el [https://drive.google.com/drive/folders/1b6PBGZW3AcizJ7yJsyapWmfAAH4yEC5a Drive colaborativo de DotHub].

====Guiar a la IA a un resultado====
* Cuando se llega a una iteración en que se desvía de lo que se quiere. Se puede parar y usar ese último frame como nueva <code>imagen_inicial</code>, modificando un poco la descripción. De ese modo hasta cierto punto se puede "guiar" a la IA hacia lo que se quiere.
* Se itera un número N de pasos. Entonces se toma la imagen resultante, se le hace un pequeño zoom o desplazamiento y el resultado se usa como <code>imagen_inicial</code>, para empezar de nuevo y hacer otros N pasos, etc. 

Al final, tomando solo las imágenes que salen al final de cada una de esas iteraciones (una de cada N), Se monta el vídeo. Si se usa un número de pasos muy pequeño, salen cosas raras. Si usas muchos pasos tarda muchísimo. Un N=20 va más o menos bien.

===Post-ejecución===
Una vez hayas decidido los parámetros:
# Pulsa en la celda con el texto: <code>Hacer la ejecución…</code>
# Espera a que vayan apareciendo imágenes en ese celda.
# Cuando quieras guardar una imagen pulsa el botón derecho + Guardar imagen y guarda con el nombre que quieras.

===Generar un vídeo===
Se presiona su correspondiente "Play". 
Si no se especifica el rango para el vídeo, generará un vídeo de todos los ''frames'' y puede tardar un rato. Para evitarlo puedes cambiar los parámetros en la celda como <code>init_frame</code>, <code>last_frame</code> y también los <code>FPS</code>.

Cuando termina el proceso a veces no carga y no es evidente dónde está el vídeo generado. Está en <code>Archivos</code> (barra lateral izquierda).

<gallery heights="330px" mode="packed">
Archivo:VQGAN_vídeo.png
</gallery>

'''Actualización''': Hay un nueva celda específica llamada <code>Descargar vídeo</code>, que realiza la descarga de manera automática.

===Crear un zip con todas las imágenes===
 Esto aún no se ha activado en la versión en línea pero con el código que se muestra es totalmente funcional.
Si queremos descargar todos los pasos, hemos generado demasiadas imágenes y nos resulta muy tedioso guardarlas de una o en una o si, simplemente, hemos borrado o detenido la celda donde estaban las imágenes, aún se pueden descargar.

Los pasos intermedios que se generan (aunque no se muestren) se quedan en la carpeta <code>/steps</code>. Si queremos descargar todos los pasos, no es realizable el hacerlo a mano, por lo que los vamos a introducir en un único archivo y así descargarlos más fácilmente.
* Esto se aplica después de haber generado imágenes.
* Si la máquina se ha desconectado, no habrá archivos en <code>/steps</code> por lo que este procedimiento será inútil. Sí que puede que se conserven las imágenes que se muestran en la interfaz principal, por lo que se podrían guardar en grupo usando la extensión '''Download All images'''. Los enlaces a este complemento están en [[#Más herramientas|Más herramientas]].

<gallery heights="330px" mode="packed">
Archivo:VQGAN_crear_zip.png|Celda de crear zip
</gallery>

{| class="wikitable"
|-
! Nombre del parámetro !! Texto por defecto !! Descripción
|-
| <code>imagen_inicial</code> || <code>0</code> || Determina la primera imagen que se incluirá en el zip.
|-
| <code>imagen_inicial</code> || <code>-1</code> || Determina la última imagen que se incluirá en el zip. El <code>-1</code> es el valor para la última.
|-
| <code>paso</code> || <code>50</code> || Determina el intervalo entre una imagen y la siguiente. Por defecto es 50 igual que en el menú superior. Si se pone el intervalo a <code>1</code> guarda todos los pasos intermedios. El zip resultante pesará bastante, dependiendo de la cantidad de imágenes. Además, también influye en el tiempo que tarde en descargar. Si es demasiado grande puede tardar mucho y/o desconectarse la máquina en medio de la descarga. Normalmente al reconectar no se han borrado los archivos (pero puede darse el caso).
|-
| <code>nombre_del_archivo</code> || <code>archivos.zip</code> || Es el nombre del archivo que se descargará. Las imágenes dentro de la carpeta también tendrán este nombre y una numeración. Se recomienda poner nombres distintivos.
|}

Una vez generado el archivador zip generado <s>está en la barra lateral izquierda, en <code>Archivos</code></s> debería descargarse automáticamente.

 Esta sección trata sobre un elemento que aún no está en línea. Si aún así quieres probarlo, este es el código. Requiere abrir una nueva entrada para comandos:

====Abrir nuevas entradas para comandos====
Para introducir una nueva entrada nos vamos con el ratón justo en el borde de una celda y al pasar por encima aparecerán dos pestañas: <code>+ Código</code> y <code>+ Texto</code>. Pulsamos <code>+ Código</code>. Otra opción es usar <code>Control+M B</code><ref name="control"/>.

<gallery heights="130px" mode="packed">
Archivo:VQGAN_+_Código.png|Al añadir una nueva celda podemos ejecutar comandos personalizados
</gallery>

Y pegar esto:

====Código para generar zip====
<pre>
# @title Crear un zip con todas las imágenes (o algunas)
imagen_inicial = 0 #@param {type:"integer"}
imagen_final = -1 #@param {type:"integer"}
paso = 50 #@param {type:"integer"}
nombre_del_archivo = "archivos.zip" #@param {type:"string"}

import zipfile

if imagen_final == -1:
  imagen_final = i

zipf = zipfile.ZipFile(nombre_del_archivo, 'w', zipfile.ZIP_DEFLATED)
for i in tqdm(range(imagen_inicial, imagen_final+1, paso)):
  fname = f"{i:04}.png"
  zipf.write(f"steps/{fname}", f"{nombre_del_archivo.split('.')[0]}-{fname}")
zipf.close()
print(nombre_del_archivo, "creado. Descargando… Se abrirá el diálogo de descargas cuando finalice la descarga.")
from google.colab import files
files.download(nombre_del_archivo)
</pre>

Si se hace más de un zip hay que dar permiso en Chrome para descargar varios archivos.

'''Importante en el caso de descargar todas las imágenes''': Si tenemos muchos archivos y poco espacio puede fallar (especialmente si se combina con utilizar modelos muy pesados, como <code>COCO-stuff</code> o después de haber generado un vídeo). Si ese fuera el caso y no fuéramos a usar de nuevo la máquina con ese modelo podríamos borrar el modelo en concreto para hacer espacio o el vídeo, una vez descargado.

<!--===Crear un zip con todas las imágenes (2)===
 Esta sección es una versión obsoleta de la anterior.

Ver [[#Abrir nuevas entradas para comandos|Abrir nuevas entradas para comandos]].

====Introducir un comando para añadir a un archivador====
2) Pegamos en esa celda este código. Genera un archivador (sin comprimir) de las imágenes de 50 en 50:
<pre>!cd steps && zip -0 -r ../archivo.zip **00.png && zip -0 -r ../archivo.zip **50.png</pre>
* Explicación:
** <code>!</code> indica la ejecución de un programa.
** <code>cd steps</code>. Le indicamos que vaya a la carpeta <code>steps</code>. Con esto se evita que el archivo comprimido tenga dentro una carpeta y al descomprimir haya dos carpetas una dentro de otra.
** <code>zip</code> es el nombre del programa de compresión
** <code>-0</code>: no comprime, así es más rápido, simplemente introduce todos los datos en un único archivo.
** <code>-r</code>: se aplica recursivamente.
** <code>../archivo.zip</code>: es el nombre del archivo comprimido. Podría ser cualquier otro nombre, con la extensión <code>.zip</code>. Se genera en el directorio superior a steps, para que sea más fácil descargarlo
* <code>steps/*00</code> y <code>*50.png</code>: Indica la ruta y los archivos a los que afecta el comando. Al repetirse el comando se agrega en el mismo archivo.
* '''Nota'''. Si has ejecutado varias veces el programa sólo se guardará la última. Si en esas diferentes ejecuciones el parámetro de iteraciones pedido era diferente (mayor en la ejecución anterior), el zip final incorporará algunas imágenes de esas ejecuciones.
* '''Nota 2'''. Se recomienda cambiar el nombre de <code>archivo.zip</code> a nombres diferenciados. Además, así evitamos que se vayan añadiendo a los anteriores archivadores.

3) Si por algún motivo quisiéramos todas las imágenes generadas (no sólo de las iteraciones que se muestran), podríamos usar este comando. 
<pre>!zip -0 -r archivo.zip steps</pre>

* Hay que tener en cuenta que en un ejecución de 2000 iteraciones pesará del orden de 800 MiB.

Se puede jugar con estos valores, cambiando los nombres de archivos afectados afectados usando comodines para obtener diferentes distancias entre archivos.

* Se recomienda poner un nombre descriptivo (por ejemplo el principio de la entrada de texto, para no encontrarnos con muchos archivadores llamados "<code>archivo.zip</code>".

* Para descargarlo/s nos iremos al panel izquierdo, <code>Archivos</code> y veremos el/los archivo/s generado/s ahí. Pulsando en los tres puntos verticales → <code>Descargar</code> empezará el proceso de descarga.-->

===Controlar el notebook desde el teclado / ejecución automatizada===
====Controlar el notebook desde el teclado====
Para controlar el notebook desde el teclado necesitamos entender el concepto de "foco". El foco es el lugar donde se encuentra la "selección" en cada momento. Si una ventana, elemento, celda, cuadro de texto, etc. tiene foco significa que puede recibir directamente órdenes desde el teclado.

Las combinaciones de teclas que usaremos para navegar por el notebook son pocas: <code>Control+Enter</code> para ejecutar una celda, <code>↓</code> para cambiar de celda y <code>↹</code> (la tecla tabulador, encima del bloqueo de mayúsculas), para movernos por menús o dentro de una celda.

'''Pasos''':

1) Centrar el foco en la primera celda (bajando con <code>↓</code> una vez).

2) Ejecutar la segunda celda (<code>Licensed under the MIT License</code>). Saldrá un menú donde tenemos que aceptar (<code>↹</code> y <code>Enter</code>), pasaremos a la siguiente celda y las ejecutaremos de manera sucesiva<ref name="espera"/> hasta llegar a <code>Parámetros</code> que es una celda de texto, por lo que no se ejecuta. En <code>Parámetros</code> iremos eligiendo los campos necesarios moviéndonos con el tabulador (<code>↹</code>).

3) movernos con el tabulador hacia atrás (<code>Shift+↹</code>) o hacia delante hasta llegar a la cabecera de una celda y seguimos moviéndonos para abajo <code>↓</code> para ejecutar <code>Hacer la ejecución</code>. En el caso de querer guardar como zip (ver [[#Crear un zip con todas las imágenes|Crear un zip con todas las imágenes]]) o <code>Guardar como vídeo</code>, nos moveremos a sus respectivas celdas. Actualmente tendríamos que introducir manualmente la celda (ver [[#Abrir nuevas entradas para comandos|Abrir nuevas entradas para comandos]]).

====Ejecución automatizada====
Ir a la sección de <code>Parámetros</code> (o <code>Selección de modelos a descargar</code> en el caso de querer usar uno diferente del de por defecto) y una vez rellenados los parámetros deseados ir al menú <code>Entorno de ejecución</code> → <code>Ejecutar anteriores</code> o presiona <code>Control+F8</code>.

===Montar Google Drive===
{{Notice_borrador|Esta sección|Sé paciente}}
En el menú lateral pinchamos en <code>Activar Drive</code>. Es botón añadirá automáticamente un bloque de código. Si no carga/funciona el menú lateral prueba a [[#Abrir nuevas entradas para comandos|añadirlo en una nueva celda]], con este código:
<pre>from google.colab import drive
drive.mount('/content/drive')</pre>
<!--https://discord.com/channels/334718425048023041/560621742188527617/936337191997685791
Cosa que resolvimos arrastrando del drive a la carpeta content donde se descargan los modelos XD
-->

===Preguntas frecuentes de VQGAN+CLIP===
====¿Cómo parar la ejecución del programa?====
Por defecto <code>max_iteraciones</code> es <code>-1</code>, eso significa que no va a parar de hacer iteraciones. Si quieres parar el proceso puedes pulsar el botón circular de fondo gris con una X blanca con tooltip "borrar resultado". Antes de borrar asegúrate de guardar lo que quieras.

El atajo para detener una celda es <code>Control+M I</code><ref name="control">Estos atajos se activan pulsando primero las dos teclas unidas por el + y después la letra adicional.</ref>.

<gallery heights="100px" mode="packed">
Archivo:VQGAN_barra_estado.png|También se puede parar en la X que aparece en la barra de estado inferior.
</gallery>

A veces una celda se queda "colgada". Entonces se puede borrar en el botón de eliminar (símbolo de la papelera). Para restaurarla usa <code>Control+M Z</code><ref name="control"/>.

====¿Cómo sé si una celda se ha ejecutado?====
Si te posicionas en el botón de "Play" de una celda se ve si se ha ejecutado y el resultado de la ejecución.

<gallery heights="220px" mode="packed">
Archivo:VQGAN_estado_ejecución.png|Estado de ejecución.
</gallery>

====Subo una imagen pero sale distorsionada desde el inicio====
Eso es porque 480x480 es una imagen cuadrada. Si subes una imagen con una proporción diferente a 1:1, se distorsionará desde el principio. Calcula la proporción de la imagen que vas a subir y utiliza la misma proporción en los campos <code>ancho</code> y <code>alto</code> si quieres que no se produzca esta distorsión. Puedes usar esta [https://tools.feline.cl/es/calculadora-de-proporciones/ Calculadora de proporciones].

====A veces pongo un valor, pero no lo toma====
Eso es porque no has vuelto a ejecutar la celda. Cualquier cambio en los campos de <code>Parámetros</code> necesita que la celda vuelva a ejecutarse.

====He puesto un valor límite pero quiero continuar con más iteraciones====
No es necesario volver a iterar desde el principio para continuar con un resultado (aunque tendrías que conocer el <code>seed</code> o haberlo averiguado mediante la herramienta [https://stylesuxx.github.io/steganography/ Steganography Online]), puedes usar como <code>imagen_inicial</code> la última imagen iterada. Ver [[#Guiar a la IA a un resultado|Guiar a la IA a un resultado]].

====No sé si tengo que volver a ejecutar todo desde el principio (la máquina se ha desconectado)====
Aunque a veces conserva los paquetes y definiciones en memoria aunque haya pasado mucho tiempo, otras veces no y hay que volver a empezar desde el principio. Se puede comprobar fácilmente mirando si la celda se ha ejecutado en la sesión actual. Ver [[#¿Cómo sé si una celda se ha ejecutado?|¿Cómo sé si una celda se ha ejecutado?]] o intentando ejecutar la celda <code>Parámetros</code> y mirando el error.

====¿Qué modelo me conviene?====
{{Notice_borrador|Esta sección|Sé paciente}}
Los modelos no tienen ventajas evidentes entre ellos. Han sido entrenados con conjuntos de imágenes diferentes por lo que producirán resultados diferentes, no necesariamente mejores o peores.
* '''ImageNet''': El proyecto ImageNet es una gran base de datos visual diseñada para su uso en la investigación de software de reconocimiento visual de objetos. El proyecto ha anotado a mano más de 14 millones de imágenes para indicar qué objetos se representan y en al menos un millón de las imágenes, también se proporcionan cuadros delimitadores. Contiene más de 20.000 categorías con una categoría típica, como "globo" o "fresa", que consta de varios cientos de imágenes (vía [[w:ImageNet|wikipedia en inglés]]).
** <code>imagenet_1024</code> (913.57 MiB - FID<ref name="fid">La '''puntuación de distancia de inicio de Frechet''', o '''FID''' para abreviar, es una métrica que calcula la distancia entre los vectores de características calculados para imágenes reales y generadas. Vía: [https://machinelearningmastery.com/how-to-implement-the-frechet-inception-distance-fid-from-scratch/ How to Implement the Frechet Inception Distance (FID) for Evaluating GANs].</ref>: 8.0): Utiliza el conjunto de datos (=''dataset'') de ImageNet con un "codebook" de 1024 elementos.
** <code>imagenet_16384</code> (934.68 MiB -FID<ref name="fid"/>: 4.9): Utiliza el conjunto de datos de ImageNet con un "codebook" de 16384 elementos<ref group="r">Es decir, el número de elementos que utiliza el modelo para definir una única imagen Ver [https://www.youtube.com/watch?v=90QDe6DQXF4&t=450s ¡Esta IA crea ARTE con tus TEXTOS! (y tú puedes usarla 👀) <nowiki>[</nowiki>Minuto 7:30<nowiki>]</nowiki>].</ref>.

Frente a lo que pudiera suponerse, que uno tenga un ''codebook'' más grande no significa exactamente que sea más potente, simplemente le permite capturar más características de las imágenes. Eso puede ser bueno o no, dependiendo de qué tipo de resultados se quieran conseguir. El de 1024 es un poco "más libre" por así decir a la hora de generar imágenes. Tiende a crear cosas más abstractas, más caóticas, y más artísticas. Su "visión del mundo" tiene menos categorías, lo que le obliga a abstraer más.

16384 es mucho mejor para fondos suaves o minimalistas.

Se puede ver una comparativa entre algunas imágenes de 1024 vs 16384 en este colab: [https://colab.research.google.com/github/CompVis/taming-transformers/blob/master/scripts/reconstruction_usage.ipynb Reconstruction usage].

* <code>COCO-Stuff</code> ([https://github.com/nightrome/cocostuff Proyecto] - 7.86 GiB - FID<ref name="fid"/>: 20.4): COCO-Stuff es una modificación con "augmentos" del un conjunto de datos (=''dataset'') [https://cocodataset.org/ COCO de Microsoft], con imágenes cotidianas (calles, personas, animales, interiores…).

* <code>faceshq</code> (3.70 GiB). Especializado en caras.

* [https://github.com/cs-chan/ArtGAN/tree/master/WikiArt%20Dataset Wikiart]: Las imágenes del conjunto de datos de WikiArt se obtuvieron de [https://www.wikiart.org/ WikiArt.org]. Licencia: [https://archive.ph/2021.06.12-134406/https://github.com/cs-chan/ArtGAN/tree/master/WikiArt%20Dataset#selection-2137.20-2137.72 Solo para fines de investigación no comerciales]. Es decir, es un conjunto entrenado con cuadros de arte por lo que los resultados generalmente serán pinturas. Un resultado similar se podría conseguir en los conjuntos de datos de <code>imagenet</code> usando estilos de pintores famosos.
** <code>wikiart_1024</code> (913.75 MiB): Versión de wikiart con un codebook de 1024 elementos.
** <code>wikiart_16384</code> (958.75 MiB): Versión de wikiart con un codebook de 16384 elementos.
* <code>s-flckr</code> (3.97 GiB ): Conjunto desde Flickr.
* <code>ade20k</code> (4.61 GiB - FID<ref name="fid"/>: 35.5) ('''Nota''': no está por defecto, ver [[#¿Cómo puedo añadir nuevos modelos?|¿Cómo puedo añadir nuevos modelos?]]): [https://groups.csail.mit.edu/vision/datasets/ADE20K/ Conjunto de datos con segmentación semántica del MIT]. Contiene más de 20K imágenes centradas en escenas con anotaciones exhaustivas con objetos a nivel de píxel y etiquetas de partes de objetos. Hay un total de 150 categorías semánticas, que incluyen cosas como cielo, carreteras, césped y objetos discretos como personas, coches, camas, etc.

====¿Cómo puedo añadir nuevos modelos?====
{{Notice_borrador|Esta sección|Se completará próximamente}}
 Por completar.
[https://colab.research.google.com/drive/19DEwnEMBdU1CexNBow-cCPobSXkKSdCt Notebook modificado con ade20k, ffhq y celebahq]. <!-- bilingüe: https://colab.research.google.com/drive/1sWDH7ABvyHfQmDWf3kv-F7vh6LMS2-wN -->

====He dejado abierto toda la noche VQGAN y ahora no conecta a una máquina con GPU====
Aunque "no esté haciendo nada" que la conexión exista ya gasta tiempo asignado con lo que si dejas la máquina parada durante un tiempo largo la próxima vez no te asignarán una máquina con GPU.

'''Solución''':
# Evita dejar la máquina conectada más tiempo del necesario. 
# Espera el tiempo suficiente (1 día o así) a que pase la limitación. 
# Utiliza otra cuenta de gmail diferente.
# Si tienes una paciencia infinita, puedes usar la máquina sólo con CPU. Tarda del orden de 30 veces más.

====¿Cuáles son los límites de uso de Colab?====
Colab puede proporcionar recursos gratuitos en parte al tener límites de uso dinámicos que a veces fluctúan y al no proporcionar recursos garantizados o ilimitados. Esto significa que los límites de uso general, así como los períodos de inactividad, la vida útil máxima de la máquina virtual, los tipos de GPU disponibles y otros factores varían con el tiempo. Colab no publica estos límites, en parte porque pueden (y a veces lo hacen) variar rápidamente.

Las GPU y las TPU a veces se priorizan para los usuarios que usan Colab de forma interactiva en lugar de para los cálculos de larga duración, o para los usuarios que recientemente han usado menos recursos en Colab. Como resultado, los usuarios que usan Colab para cálculos de larga duración, o los usuarios que recientemente han usado más recursos en Colab, tienen más probabilidades de encontrarse con límites de uso y tener su acceso a GPU y TPU restringido temporalmente. Los usuarios con grandes necesidades computacionales pueden estar interesados en utilizar la interfaz de usuario de Colab con un tiempo de ejecución local que se ejecuta en su propio hardware. Los usuarios interesados en tener límites de uso más altos y estables pueden estar interesados en Colab Pro<ref group="r">[https://discord.com/channels/842089197254475856/842089197254475859/849138109476372531 Referencia].</ref>.

====¿Cómo puedo subir una imagen desde internet directamente?====
{{Notice_borrador|Esta sección|En investigación}}
Si tienes poca conexión a veces la funcionalidad de subir una imagen falla o no carga. Se puede utilizar este código para descargar la imagen desde una URL de internet.
<pre>!wget https://url.hacia.tu/imagen.jpg</pre>
Permite descargar una URL desde internet hacia el notebook. Ver [[#Abrir nuevas entradas para comandos|Abrir nuevas entradas para comandos]].

Si utilizas la opción -O puedes elegir el nombre deseado (fíjate en el orden):

<pre>!wget -O destino.jpg https://url.hacia.tu/imagen.jpg</pre>

Se pueden descargar varias imágenes separando cada comando wget por un enter.

====¿Cómo puedo ejecutar VQGAN+CLIP en local?====
{{Notice_borrador|Esta sección|Se completará próximamente}}
El problema es que ejecutarlo en local te pedirá una gráfica muy potente. Aproximadamente necesitas a partir de 15GB de GPU aproximadamente para que te vaya decente. Con mínimo 10GB, correrá, pero extremadamente lento.

Hay personas que han conseguido hacerlo usable con tarjetas gráficas (1060) de 6GB. Una posible solución de optimización sería modificar el parámetro <code>cutn</code> (por ejemplo a <code>32</code>). Si se baja demasiado el parámetro (que tiene que ver con la calidad), no da resultados buenos, pero si es muy alto, consume mucha memoria.

En [[#Ejecución local|Ejecución local]] hay versiones de Docker y en github.

====¿Cómo puedo desactivar las ''augmentaciones''?====
Las ''augmentaciones'' son variaciones aleatorias en cada paso que mejoran la calidad final de la imagen. Es decir, si se desactivan se pierde calidad, pero la ejecución será más rápida (aunque no mucho 1.01 segundos cada iteración vs 1.31 segundos cada iteración (en una Tesla T4). También puede variar sustancialmente el contenido.

En la celda <code>Carga de bibliotecas</code> pulsamos dos veces y aparecerá el código editable. Buscamos (<code>Control+F</code>) este código <code>class MakeCutouts(nn.Module):</code> y quitamos de <code>self.augs = nn.Sequential()</code> todo lo que va entre paréntesis, Quedando así:

<pre>class MakeCutouts(nn.Module):
    def __init__(self, cut_size, cutn, cut_pow=1.):
        super().__init__()
        self.cut_size = cut_size
        self.cutn = cutn
        self.cut_pow = cut_pow
        self.augs = nn.Sequential()
        self.noise_fac = 0.1</pre>

<gallery heights="120px" mode="packed">
Archivo:VQGAN_con_aumentaciones.png|Estado normal
Archivo:VQGAN_sin_aumentaciones.png|Estado final sin ''augmentaciones''
</gallery>

Resultados:

<gallery heights="400px" mode="packed">
Archivo:VQGAN_ejemplo_con_augmentaciones.png|<code>medusa hydra chimera hybrid monster flying in saturn <nowiki>|</nowiki> vray unreal engine style</code>, i=550. Con ''augmentaciones'' (por defecto).
Archivo:VQGAN_ejemplo_sin_augmentaciones.png|<code>medusa hydra chimera hybrid monster flying in saturn <nowiki>|</nowiki> vray unreal engine style</code>, i=550. Sin ''augmentaciones''.
</gallery>

No se recomienda.

===Solución de errores de VQGAN+CLIP===
[[Archivo:VQGAN_error.png|miniaturadeimagen|150px|''Si la celda ha dado error, el botón de play se muestra en rojo''.]]

Aquí se citan algunos de los errores que te puedes encontrar y cómo solucionarlos.

====NameError: name 'textos' is not defined====
<pre>NameError                                 Traceback (most recent call last)
<ipython-input-6-b687f6112952> in <module>()
      2 device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu')
      3 print('Using device:', device)
----> 4 if textos:
      5     print('Using texts:', textos)
      6 if imagenes_objetivo:

NameError: name 'textos' is not defined</pre>
'''Solución''': Has pulsado en <code>Hacer la ejecución…</code> antes de cargar los parámetros. Detén la celda <code>Hacer la ejecución..</code> y pulsa en ejecutar la celda de <code>Parámetros</code>. Después pulsa de nuevo en "<code>Hacer la ejecución…</code>" de nuevo.

====NameError: name 'argparse' is not defined====
<pre>NameError                                 Traceback (most recent call last)
<ipython-input-8-9ad04e66b81c> in <module>()
     29 
     30 
---> 31 args = argparse.Namespace(
     32     prompts=textos,
     33     image_prompts=imagenes_objetivo,

NameError: name 'argparse' is not defined</pre>
'''Solución''': Esto significa que no has ejecutado la celda "<code>Carga de bibliotecas y definiciones</code>". (Por supuesto también puede ser que se haya caducado la máquina virtual).

====ModuleNotFoundError: No module named 'transformers'====
<pre>ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-12-a7b339e6dfb6> in <module>()
     13 print('Using seed:', seed)
     14 
---> 15 model = load_vqgan_model(args.vqgan_config, args.vqgan_checkpoint).to(device)
     16 perceptor = clip.load(args.clip_model, jit=False)[0].eval().requires_grad_(False).to(device)
     17 

11 frames
/content/taming-transformers/taming/modules/transformer/mingpt.py in <module>()
     15 import torch.nn as nn
     16 from torch.nn import functional as F
---> 17 from transformers import top_k_top_p_filtering
     18 
     19 logger = logging.getLogger(__name__)

ModuleNotFoundError: No module named 'transformers'</pre>

<gallery heights="120px" mode="packed">
Archivo:VQGAN_añadir_transformers.png</gallery>

'''Solución''': Sucede con <code>coco</code>, <code>faceshq</code> y <code>sflickr</code>. Hay que [[#Abrir nuevas entradas para comandos|abrir una celda]] antes de <code>Carga de bibliotecas y definiciones</code> y poner:

<pre>!pip install transformers</pre>
Y ejecutar esa celda.

====ModuleNotFoundError: No module named 'taming'====
<pre>ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-10-c0ac0bf55e51> in <module>()
     11 from omegaconf import OmegaConf
     12 from PIL import Image
---> 13 from taming.models import cond_transformer, vqgan
     14 import torch
     15 from torch import nn, optim

ModuleNotFoundError: No module named 'taming'</pre>
'''Solución''': Posiblemente reiniciar el entorno o ver la solución de [[#ModuleNotFoundError: No module named 'transformers'|ModuleNotFoundError: No module named 'transformers']].

====ModuleNotFoundError: No module named 'taming.modules.misc'====
<pre>ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-11-b687f6112952> in <module>()
     13 print('Using seed:', seed)
     14 
---> 15 model = load_vqgan_model(args.vqgan_config, args.vqgan_checkpoint).to(device)
     16 perceptor = clip.load(args.clip_model, jit=False)[0].eval().requires_grad_(False).to(device)
     17 

12 frames
/usr/lib/python3.7/importlib/_bootstrap.py in _find_and_load_unlocked(name, import_)

ModuleNotFoundError: No module named 'taming.modules.misc'</pre>
'''Solución''': Uno de los paquetes necesarios para ejecutar el programa falla. Ejecuta de nuevo la celda de instalación de paquetes e inténtalo de nuevo.
* Si elegías el modelo "<code>faceshq</code>" te podía salir este error. Este error ya ha sido corregido (2021-06-11).

====FileNotFoundError: [Errno 2] No such file or directory====
<pre>FileNotFoundError                         Traceback (most recent call last)
<ipython-input-10-f0ccea6d731d> in <module>()
     13 print('Using seed:', seed)
     14 
---> 15 model = load_vqgan_model(args.vqgan_config, args.vqgan_checkpoint).to(device)
     16 perceptor = clip.load(args.clip_model, jit=False)[0].eval().requires_grad_(False).to(device)
     17 

1 frames
/usr/local/lib/python3.7/dist-packages/omegaconf/omegaconf.py in load(file_)
    181 
    182         if isinstance(file_, (str, pathlib.Path)):
--> 183             with io.open(os.path.abspath(file_), "r", encoding="utf-8") as f:
    184                 obj = yaml.load(f, Loader=get_yaml_loader())
    185         elif getattr(file_, "read", None):

FileNotFoundError: [Errno 2] No such file or directory: '/content/wikiart_16384.yaml' (alternativa: Orange.png)</pre>
'''Solución''': Esto puede significar dos cosas:

# Has elegido un modelo que no has descargado antes. Comprueba que el modelo elegido se haya descargado. También puede ser que la máquina haya caducado (es decir, se ha borrado todo). En este último caso tendrías que ejecutar todo desde el principio.
# Has puesto un nombre en <code>imagen_inicial</code> que no se corresponde con la imagen que has subido. Este programa detecta como diferentes las mayúsculas de las minúsculas por lo que <code>Orange.png</code> es diferente que <code>orange.png</code>. Pon el nombre correcto en <code>imagen_inicial</code>.
* Si por accidente has subido una imagen con un nombre muy complicado puedes cambiarle el nombre desde la propia interfaz.

<gallery heights="130px" mode="packed">
Archivo:VQGAN_cambiar_nombre.png|En el panel de <code>Archivos</code> a la derecha de cada archivo hay unas columnas de puntos donde al pulsar se puede cambiar el nombre.
</gallery>

====RuntimeError: CUDA out of memory====
<pre>RuntimeError                              Traceback (most recent call last)
<ipython-input-13-f0ccea6d731d> in <module>()
    131     with tqdm() as pbar:
    132         while True:
--> 133             train(i)
    134             if i == max_iteraciones:
    135                 break

8 frames
/usr/local/lib/python3.7/dist-packages/taming/modules/diffusionmodules/model.py in nonlinearity(x)
     29 def nonlinearity(x):
     30     # swish
---> 31     return x*torch.sigmoid(x)
     32 
     33 

RuntimeError: CUDA out of memory. Tried to allocate […] (GPU 0; […] total capacity; […] already allocated; […] free; […] reserved in total by PyTorch)</pre>
'''Solución''': Esto puede significar varias cosas:

# Has elegido unas dimensiones de imagen demasiado grandes. El tamaño 480x480px es suficiente (aunque en teoría podría soportar hasta 420000 píxeles en total, es decir ~648x648). Para ampliar las dimensiones de la imagen utiliza las herramientas enlazadas en [[#Ampliación de imágenes|Ampliar imágenes]].
# Te has quedado sin memoria por usarlo mucho tiempo. Tendrás que iniciar una nueva sesión.
# Google te ha asignado una GPU de baja memoria (<15109MiB). Tendrás que iniciar una nueva sesión.

====RuntimeError […] is too long for context length X====
<pre>RuntimeError                              Traceback (most recent call last)
<ipython-input-10-f0ccea6d731d> in <module>()
     46 for prompt in args.prompts:
     47     txt, weight, stop = parse_prompt(prompt)
---> 48     embed = perceptor.encode_text(clip.tokenize(txt).to(device)).float()
     49     pMs.append(Prompt(embed, weight, stop).to(device))
     50 

/content/CLIP/clip/clip.py in tokenize(texts, context_length)
    188     for i, tokens in enumerate(all_tokens):
    189         if len(tokens) > context_length:
--> 190             raise RuntimeError(f"Input {texts[i]} is too long for context length {context_length}")
    191         result[i, :len(tokens)] = torch.tensor(tokens)
    192 

RuntimeError: Input […] is too long for context length 77</pre>
'''Solución'''. El texto introducido es muy largo. Introduce un texto más corto. Tiene que ser menor de 350 caracteres<ref group="r">Como tal no hay límite de caracteres, sino de tokens (que son un grupo de caracteres), pero los tokens varían dependiendo de lo que escribas. Según tengo entendido, son máximo 75 tokens aproximadamente 350 caracteres.</ref>. Ver [https://www.contarcaracteres.com/ Contar caracteres].

====TypeError: randint() received an invalid combination of arguments====
<pre>TypeError                                 Traceback (most recent call last)
<ipython-input-8-b8abd6a7071a> in <module>()
     43     z, *_ = model.encode(TF.to_tensor(pil_image).to(device).unsqueeze(0) * 2 - 1)
     44 else:
---> 45     one_hot = F.one_hot(torch.randint(n_toks, [toksY * toksX], device=device), n_toks).float()
     46     if is_gumbel:
     47         z = one_hot @ model.quantize.embed.weight

TypeError: randint() received an invalid combination of arguments - got (int, list, device=torch.device), but expected one of:
 * (int high, tuple of ints size, *, torch.Generator generator, Tensor out, torch.dtype dtype, torch.layout layout, torch.device device, bool requires_grad)
 * (int low, int high, tuple of ints size, *, torch.Generator generator, Tensor out, torch.dtype dtype, torch.layout layout, torch.device device, bool requires_grad)</pre>
'''Solución''': No se conoce aún qué provoca este error, puesto que solo aparece con determinadas configuraciones (no por defecto). La solución temporalmente debería ser cambiar los parámetros hasta que funcione.

====ValueError: could not convert string to float====
<pre>ValueError                                Traceback (most recent call last)
<ipython-input-8-f0ccea6d731d> in <module>()
     45 
     46 for prompt in args.prompts:
---> 47     txt, weight, stop = parse_prompt(prompt)
     48     embed = perceptor.encode_text(clip.tokenize(txt).to(device)).float()
     49     pMs.append(Prompt(embed, weight, stop).to(device))

<ipython-input-5-32991545ebb9> in parse_prompt(prompt)
    129     vals = prompt.rsplit(':', 2)
    130     vals = vals + ['', '1', '-inf'][len(vals):]
--> 131     return vals[0], float(vals[1]), float(vals[2])
    132 
    133 

ValueError: could not convert string to float: ' los leones la levantan y[…]'</pre>
'''Solución''': El texto contenía dos puntos <code>:</code>, carácter ilegal si no es en una sentencia determinada (<code>red:-1</code>, por ejemplo).

====WARNING:root:kernel restarted====
<gallery heights="330px" mode="packed">
Archivo:VQGAN_kernel_restarted.png
</gallery>
Aunque intentes reconectar, o volver a ejecutar las celdas, la máquina parece que se ha quedado muerta. Por (por ejemplo) el error <code>WARNING:root:kernel […] restarted</code>. 

'''Solución''': Forzar la finalización de la sesión, yendo a la pestaña superior al lado de <code>Conectar</code> → <code>Gestionar sesiones</code> → <code>Finalizar</code>.

<gallery heights="330px" mode="packed">
Archivo:VQGAN_desconectar.gif</gallery>

==Ejemplos==
===Imágenes===
* Sin entrada de imagen:
<gallery heights="330px" mode="packed">
Archivo:Greek_temples_in_space_VQGAN_300.png|'''Texto''': <code>greek temples in space</code>. 300 iteraciones.
Archivo:Templos_griegos_en_el_espacio_VQGAN_300.png|'''Texto''': <code>Templos griegos en el espacio</code>. 300 iteraciones.
Archivo:Chinese_bronze_funeral_VQGAN_300.png|'''Texto''': <code>Chinese, bronze, funeral</code>. 300 iteraciones.
Archivo:Diplodocus_surf_VQGAN_300.png|'''Texto''': <code>Diplodocus, surf</code>. 300 iteraciones.
</gallery>

* Con entrada de imagen:
<gallery heights="330px" mode="packed">
Archivo:Dussianos_por_Khang_Le.png|'''Entrada de imagen''': ([[Dussianos|Dussiano]]), por Khang Le.
Archivo:Dussian spaceship_VQGAN_50.png|Salida de imagen con 50 iteraciones y texto "<code>Modern spaceship insect alien</code>".
Archivo:Dussian spaceship_VQGAN_1500.png|Salida de imagen con 1500 iteraciones y texto "<code>Modern spaceship insect alien</code>".
</gallery>
<gallery heights="330px" mode="packed">
Archivo:Eli mascota menéame.png|'''Entrada de imagen''': Eli, la mascota de menéame, por Meneame.net
Archivo:Orange_elephant_VQGAN_400.png|'''Texto''': <code>orange elephant</code>. 400 iteraciones.
Archivo:Orange_elephant_photorealistic_VQGAN_850.png|'''Texto''': <code>orange elephant, photorealistic</code>. 850 iteraciones.
Archivo:Orange_elephant-photorealistic_VQGAN_850.png|'''Texto''': <code>orange elephant <nowiki>|</nowiki> photorealistic</code>. (misma semilla que la anterior). 300 iteraciones.
</gallery>

===Ejemplos de vídeo===
<youtube>https://www.youtube.com/watch?v=6t--OQ36lQQ</youtube>

==Véase también==
* [[Ayuda:Imágenes]].
* [[Ayuda:Imágenes libres]].

==Referencias==
{{Referencias}}
<references/>

==Enlaces externos==
{{Enlaces externos}}
===Información===
* * [http://bit.ly/VQGANwiki http://bit.ly/VQGANwiki]. Enlace corto del este artículo.

====Vídeos====
* [https://www.youtube.com/watch?v=-wDSDtIAyWQ Taming transformers for high-resolution image synthesis].
* [https://www.youtube.com/watch?v=xEUM1IOH-Jg Cogitare: De TEXTO a OBRA DE ARTE | Te enseño a usar esta IA revolucionaria], de Cogitare.
* De dot_CSV:
** [https://www.youtube.com/watch?v=90QDe6DQXF4 ¡Esta IA crea ARTE con tus TEXTOS! (y tú puedes usarla 👀)], de dot_CSV.
** [https://www.youtube.com/watch?v=0BW9W9cuwR0 ¡Descubre Cómo la IA será MÁS POTENTE! - 👁‍🗨VISIÓN + LENGUAJE NATURAL💬], de dot_CSV.
** [https://www.youtube.com/watch?v=ztvtcKDrSwM ¿Es esta IA el FIN de los DISEÑADORES GRÁFICOS? ¿Puede la IA ser CREATIVA?]. DALL-E es una IA diferente a VQGAN.
* [https://www.youtube.com/watch?v=o7dqGcLDf0A These Neural Networks Have Superpowers].

====Información técnica====
* [https://compvis.github.io/taming-transformers/ Taming transformers for high-resolution image synthesis].
* [https://github.com/openai/CLIP Proyecto CLIP en github].
* [https://www.iartificial.net/redes-neuronales-generativas-adversarias-gans/ Redes Neuronales Generativas Adversarias].

====Otras guías====
* [https://yourgeekweb.com/es/2021/06/01/como-crear-imagenes-artisticas-facilmente-con-una-ia-vqgan/ Cómo crear imágenes artísticas fácilmente con una IA: VQGAN].
* [https://elandroidefeliz.com/brutal-aplicacion-de-texto-a-imagen-vqganclip/ Brutal aplicación de texto a imagen (VQGAN+CLIP)].

===Ejecución local===
* [https://github.com/sborquez/VQGAN_CLIP_docker Docker para ejecutarlo localmente].
* [https://hub.docker.com/repository/docker/sborquez/vqgan_clip Imagen en docker] por xekex#5678.
* [https://gist.github.com/newcarrotgames/7d23090b3cfafad89087f041634c1b94 Gist en github con instalación en local].

===Otras herramientas===
====Recursos para imágenes de inicio====
* [http://phylopic.org/ Phylopic]. Siluetas de animales. Dominio público.
* [https://drive.google.com/drive/folders/1b6PBGZW3AcizJ7yJsyapWmfAAH4yEC5a Drive colaborativo de DotHub].
* [http://deepfacedrawing.geometrylearning.com/index_EN_621.html Garabatos a caras].
* [https://www.artbreeder.com Artrbreeder].
** [https://www.artbreeder.com/compose/portraits Producir caras humanas con Artbreeder].

====Ampliación de imágenes====
{{AP_S|[[Ayuda:Ampliadores de imágenes con IA]].}}
* [http://waifu2x.udp.jp/index.es.html Waifu2x]. Ampliador de imágenes. Gratuito. 
** Instalable. Ver [https://github.com/nagadomi/waifu2x waifu2x], [https://github.com/AaronFeng753/Waifu2x-Extension-GUI waifu2x extension-gui], [https://github.com/lltcggie/waifu2x-caffe/releases waifu2x-caffe], [https://github.com/DeadSix27/waifu2x-converter-cpp waifu2x-converter-cpp].
* [https://deepai.org/machine-learning-model/waifu2x DeepAI Waifu2x]. Gratuito.
* [https://bigjpg.com/ bigjpg]. Ampliador de imágenes. Sólo 20 gratis.
* [https://iconos8.es/upscaler Upscaler]. Ampliador de imágenes. Sólo 3 gratis.
* [https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/image_enhancing.ipynb Notebook ESRGAN]. ([https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/image_enhancing.ipynb Comparativa con waifu2x]).

====Visores de metadatos====
* [http://exif.regex.info/exif.cgi Jeffrey's Image Metadata Viewer]. Visor de datos EXIF.
* [https://stylesuxx.github.io/steganography/ Steganography Online]. Visor de datos introducidos mediante esteganografía. (Usar la pestaña "Decode").

====Más herramientas====
* [https://imgops.com Imgops.com]. Múltiples operaciones de imágenes.
* [https://tools.feline.cl/es/calculadora-de-proporciones/ Calculadora de proporciones].
* [https://www.contarcaracteres.com/ Contador de caracteres].
* [https://chrome.google.com/webstore/detail/download-all-images/nnffbdeachhbpfapjklmpnmjcgamcdmm Dowload all images para Chrome].
* [https://addons.mozilla.org/es/firefox/addon/save-all-images-webextension/ Download All Images para Firefox].

====Generadores de entradas de texto====
* [https://6b.eleuther.ai/ EleutherAI]. Generador IA potente.
* [https://colab.research.google.com/drive/1CtTHoW-qRN1PtPOip7E_Pgok_gK5s0vO?usp=sharing GPT-J6B Demo].
* [https://colab.research.google.com/github/EleutherAI/GPTNeo/blob/master/GPTNeo_example_notebook.ipynb GPT-Neo].
* [https://noemata.net/pa/titlegen/ Noemata titlegen]. No IA. Genera nombres "surrealistas". Pueden ser una entrada de texto interesante si no se te ocurre otra cosa.

====Notebooks====
* [https://colab.research.google.com/drive/1Y5i50xSFIuN3V4Md8TB30_GOAtts7RQD Lucid Sonic Dreams]. A partir de una música hace una animación.
* [https://colab.research.google.com/github/eyaler/clip_biggan/blob/main/ClipBigGAN.ipynb BigGAN + CLIP].
* [https://colab.research.google.com/drive/15UwYDsnNeldJFHJ9NdgYBYeo6xPmSelP codebook sampling method (original)].
* [https://colab.research.google.com/drive/1NCceX2mbiKOSlAd_o7IU7nA9UskKN5WR TheBigSleep].
* [http://bit.ly/VQGAN http://bit.ly/VQGAN]. Enlace corto del notebook [https://colab.research.google.com/drive/1SZxa0KWn40jOSVrrUPvLaI_DEuGZ2FDF?usp=sharing#scrollTo=Y0e8pHyJmi7s .]
* [https://colab.research.google.com/drive/1FoHdqoqKntliaQKnMoNs3yn5EALqWtvP DeepDaze (notebook original)].
* [https://colab.research.google.com/drive/1_YOHdORb0Fg1Q7vWZ_KlrtFe9Ur3pmVj DeepDaze (notebook simplificado)].

===Redes sociales===
* [https://discord.gg/bdH6swK4TJ Discord de DotHub, en español].
* [https://discord.gg/5WqZdCnQS6 Discord de El Bestiario del Hypogripho Dorado]. Por si tienes dudas sobre el tutorial.
* [https://www.reddit.com/r/deepdream/ Reddit, en inglés].

==Agradecimientos==
Agradecimiento especial a Eleiber#8347 por contestar mis dudas y proporcionar correcciones. También a Abulafia#3734 por explicarme técnicas y a elchampi#0893 por compartir sus dudas. Y a muchos usuari@s del discord de DotHub que han compartido sus técnicas o dudas. También a los usuarios de Reddit que me han ayudado.

==⚜️==
{{Caja_Jakeukalane_r}}
{{Caja_Avengium_r}}
[[Categoría:Ayuda]]
[[Categoría:Generar imágenes]]