Brazil XL

Treinando IAs de imagens brasileiras

Luciano Santa Brígida

Histórico

Como funciona o Stable Diffusion

Grafo de treinamento:

De forma bem resumida:

https://stable-diffusion-art.com/samplers/

O Stable Diffusion é uma técnica de aprendizado profundo que gera imagens realistas ao simular um processo de difusão. Ele começa com uma imagem inicial aleatória e, em seguida, aplica pequenas alterações a cada passo, guiadas por um modelo de aprendizado profundo, até que a imagem final seja alcançada.

Problema: sub-representação

Eu vou tomar um tacacá

Antes do treinamento

Dançar, curtir, ficar de boa

Após o treinamento

um modelo de IA é um zip probabilístico

Em muitos conjuntos de dados de treinamento, certos termos e conceitos podem ser sub-representados, levando a um viés no modelo treinado. Isso pode resultar em um desempenho inferior quando o modelo é usado para gerar imagens que incluem esses termos e conceitos sub-representados.

Demonstração de Vieses

Stable Bias

O que é um LoRA

DLC / Expansão para IAs

Stable Diffusion + LoRA + LoRA + LoRA...

LoRA, ou Low-Rank Adaptation, é uma técnica de aprendizado profundo que permite a um modelo aprender representações mais ricas e detalhadas de dados. Ele faz isso ao focar em pequenas regiões da entrada de cada vez, permitindo que o modelo capture detalhes finos que podem ser perdidos por outros métodos.

Por que treinar seu próprio modelo

  • Promoção da Diversidade Cultural
  • Influência Cultural
  • Política de Inclusão
  • Educação
  • Produtividade

Como treinar um modelo LoRA

Passo-a-Passo

  1. Coleta de Dados
  2. Legenda das imagens
  3. Treinamento
  4. Gerar imagens

Coleta de Dados

Escolha um conjunto diversificado de 30+ imagens

https://openverse.org/

Legenda das imagens

Adicione uma legenda para cada imagem

legendagem com kohya_ss

Treinamento

  • Defina o modelo
  • Defina as opções de treinamento
  • Realize o treinamento

Treinamento

Tempo pode variar de alguns minutos a algumas horas

Treinamento com kohya_ss

Gerar imagens

Use o modelo para gerar imagens

Inferência com Comfy UI

Demonstração de Resultados

Vamos ver como ficaram os modelos treinados.

Referências

Muito Obrigado!

Quais suas dúvidas?

www.linkedin.com/in/lucianosb/