Experimentei as novas ferramentas de IA da Adobe: Firefly e Generative Fill. Cá estão algumas descobertas interessantes

Estamos quase na metade de 2023, e um dos tópicos mais quentes nas discussões de marketing e tecnologia é definitivamente o chegada das ferramentas de lucidez sintético que foram disponibilizadas há menos de um ano.

Os eventos estão acontecendo tão rápido que é difícil até encontrar adjetivos para descrever leste momento, mas tenho certeza que entre eles estarão “emocionantes” e “terríveis”.

Porquê designer e ilustrador, escoltar os últimos desenvolvimentos nessa dimensão faz secção do trabalho, logo experimentei o Midjourney alguns meses detrás.

Eu nunca usei (ou qualquer outro software de imagem porquê DALL-E 2 etc.) em meu processo até agora, mormente depois que a comunidade artística resolveu questões de direitos autorais sobre o banco de dados dessas ferramentas e o uso antiético que permite, o que é para primar imagens que não são exclusivamente cópias do estilo de qualquer artista humano, mas na verdade usaram fragmentos de imagem desses artistas humanos para gerar uma imagem de IA.

No final de março, a Adobe deu um grande passo e entrou no jogo ao lançar seu próprio padrão de lucidez sintético: o Adobe Firefly. Basicamente, o Firefly é um padrão de IA generativo focado em imagens e textos que funcionarão além do software existente (e possivelmente novo) dentro da Creative Cloud.

Existe uma versão separada com uma interface simples para que as pessoas possam explorar alguns dos recursos. E cá você pode encontrar uma transmissão ao vivo em que Eric Snowden, vice-presidente de design da Adobe, apresenta alguns dos conceitos do Firefly e mostra algumas das ferramentas que já temos e o que está por vir.

De concordância com Snowden, um dos principais objetivos do Firefly é melhorar diretamente a geração e manipulação de imagens em programas Adobe porquê Photoshop e Illustrator.

Em outras palavras, o Firefly será um meio para um término e agilizará o fluxo de trabalho da produção, resolvendo tarefas que levam muito tempo para um designer criativo hoje. Indo um passo adiante, na semana passada, em 23 de maio, a Adobe disponibilizou o Generative Fill no Photoshop beta.

A seguir, compartilharei algumas conclusões interessantes, prós e contras e as principais conclusões deste “primeiro encontro” com Firefly.

Esse talvez tenha sido o principal tema que chamou minha atenção na abordagem da Adobe às ferramentas de IA. A empresa parece estar muito preocupada com a geração moral de imagens de IA, e uma dessas evidências é o uso de imagens licenciadas do Adobe Stock e imagens expiradas com direitos autorais para treinar o padrão. Snowden observa que:

“Acho que nosso padrão é treinado em uma imagem licenciada do Adobe Stock e material com direitos autorais expirados… eles cresceram tentando ser realmente transparentes sobre o que contêm e nós realmente vamos fabricar um padrão comercialmente seguro para que as pessoas possam usá-lo, depois o final do período de teste beta, as pessoas podem usá-lo em trabalhos comerciais. Eu acho que é muito importante para nós.“

Esse posicionamento contraria a polêmica sobre o treinamento de IA a partir de bancos de dados de imagens proprietárias sem o conhecimento ou consentimento explícito de seus autores, porquê é o caso de ferramentas porquê Midjourney e DALLE-2. Snowden continua falando sobre transparência:

“Nós temos essa iniciativa chamada Content Authenticity, acho que há 3 ou 4 anos e é realmente sobre a origem do teor, porquê quem fez o quê, porquê foi feito e eu sempre brinco que é porquê informação cevar para o teor, perceptível? É porquê “Você merece saber o que há no teor que consome e pode resolver…”. Você pode fazer uma escolha informada com base nisso. Não é um julgamento, mas é porquê ser transparente e é por isso que todas as imagens criadas com Firefly são marcadas porquê autênticas, é por isso que são conhecidas por terem sido criadas por IA e acho que conforme esse mundo evolui, por exemplo, tendo essa teoria de porquê o que foi criado se torna muito importante, e acho que isso também nos diferencia. Tentamos ser o mais transparentes provável ao usar IA, porque acho que essa será uma informação importante para todos nós que precisamos saber no horizonte.“

Outro tópico importante em que a autenticidade do teor pode ajudar é identificar imagens falsas se qualquer visual criado com o Firefly for marcado porquê um ativo gerado por IA.

Essa é uma abordagem importante porque as ferramentas de lucidez sintético estão se desenvolvendo em um ritmo rápido e, em alguns casos, já é difícil expor se a foto é real ou se foi manipulada de alguma forma. Assim, torna-se importante desenredar se a IA esteve envolvida ou não e evitar notícias falsas ou outro uso antiético dessas ferramentas.

Esta imagem gerada por IA ganhou um publicado concurso de retrato, mas o responsável recusou o prêmio. Veja a história completa cá.

A instrumento de preenchimento generativo

Em primeiro lugar, gostaria somente de salientar que a IA no Photoshop não é novidade. Vimos isso em ferramentas porquê Content Aware e Puppet Warp. Evidente, com um preenchimento generativo, os agudos vão para outro nível. Logo vamos falar um pouco sobre a instrumento em si.

Depois de testemunhar a algumas demonstrações da instrumento, é hora de testá-la. Logo, baixei a versão beta do Photoshop no aplicativo Creative Cloud e comecei a testar minhas fotos de viagem. Para usá-lo, você deve perfurar uma imagem e fazer uma seleção (você pode usar o laço, varinha mágica, instrumento caneta, etc.). Em seguida, um menu de contexto aparecerá com a opção Preenchimento generativo.

Eu trouxe uma foto que trabalhei em 4 quadros. A primeira é a foto original porquê foi tirada pela câmera. Na segunda, pedi ao Generative Fill para remover pessoas e carros dele (e melhorei alguns recursos com o Lightroom).

Na terceira imagem, pedi para a instrumento gerar uma poça de chuva com o revérbero no pavimento. E na quarta imagem, ultrapassei os limites e pedi à IA para aditar um cavalo voante à imagem. Porquê você pode ver aquém, em alguns casos tudo funcionou muito, mas em outros tudo ficou estranho, por exemplo, um cavalo com um rosto alado nas costas e pairando danças do rio uma figura feminina que apareceu do zero.

Primeiros experimentos com preenchimento generativo

Curiosamente, usando a mesma pista da imagem supra (um cavalo com grandes asas corre ao longo da rua em grande pormenor) na versão autônoma do Firefly, obtemos um resultado (ligeiramente) melhor (exclusivamente ignore os membros do cavalo por um tempo).

Outro recurso fornecido pelo Generative Fill é a expansão da imagem com partes que não existiam antes. Isso é muito interessante, principalmente quando você tem uma foto muito boa, mas quer que ela tenha um enquadramento melhor ou, por exemplo, precisa ser mais larga.

Aquém podemos ver levante recurso em ação: 01 é a imagem original captada pela câmera do celular e 02 é a imagem da paisagem gerada com o Generative Fill. 03 mostra exatamente onde estão os pontos de expansão.

Vamos fazer mais um teste para não encompridar muito leste cláusula. Fiz uma ilustração no estilo único que usamos cá na Rock Content. Logo coloquei a ilustração em uma tela em branco e pedi para a IA gerar mulher fazendo uma apresentação com gráficos para o público. E me deu as seguintes opções:

A instrumento ainda não reproduz muito o estilo da ilustração, com bons resultados. Algumas opções podem servir porquê ponto de partida, mas ainda não é o momento de obter os melhores resultados com um clique. Mas o horizonte do Firefly promete coisas interessantes porquê combinar imagens, usar um recurso de modelagem 3D e gerar qualquer textura que você quiser, e gerar imagens vetoriais a partir de dicas.

Por meio desses testes, percebi que, no momento, o preenchimento generativo torna a edição e a manipulação de fotos muito mais fácil e rápida. Remover o fundo, inserir, deletar ou substituir elementos em uma imagem com bons resultados eram tarefas que demoravam muito, às vezes horas.

Agora eles podem ser concluídos em poucos segundos se você souber fazer perguntas e não exigir muito da instrumento. Vale lembrar que esta instrumento e todas as outras soluções de lucidez sintético estão em jacente aprimoramento. Portanto, os maus resultados de hoje serão somente “dores de incremento” amanhã (talvez literalmente amanhã).

A hipótese de insignificante desempenho é que o banco de dados de treinamento fundamentado exclusivamente no Adobe Stock e uma imagem expirada é muito menor do que um regular. Mas se assim for. Eu ainda preferiria fazer as coisas recta e respeitar as imagens protegidas por direitos autorais.

De qualquer forma, por enquanto, a avaliação da comunidade criativa ajudará a melhorar o preenchimento generativo. Na versão beta do Photoshop, você pode dar feedback positivo ou negativo sobre cada imagem gerada.

Nesse ínterim, começarei a usar alguns recursos que realmente podem forrar muito tempo e colocar meu esforço humano na manutenção dos padrões de qualidade. Foi um primeiro encontro típico. Com algumas incoerências, mas também com algumas agradáveis ​​surpresas.

Evidente, terei que “transpor” com essas ferramentas de IA novamente para ver até onde esse “relacionamento” pode ir. Neste ponto, é seguro expressar que a Adobe trouxe alguns recursos inovadores para o jogo. Vamos testar e ver o que acontece a seguir.

Quer se manter atualizado com as melhores práticas de marketing? Eu recomendo você inscreva-se para percutir, um boletim informativo interativo da Rock Content. Cobrimos todas as tendências que importam no marketing do dedo. Vejo você lá!