SoundSeeker

A Royal Caribbean está lançando uma ferramenta online que transforma imagens do usuário em mini-vídeos caleidoscópicos, embalados por uma música original inspirada nas fotografias - e montada por meio de inteligência artificial (AI).

Intitulado SoundSeeker, o novo site do anunciante distorce três fotos do internauta em uma sequência visual abstrata - tecendo várias cenas com águas azuis cristalinas - e junta a música, em vídeos de 15".

"Pessoas de todas as idades anseiam por novas maneiras de compartilhar suas melhores experiências nas mídias sociais", aposta Jim Berra, diretor de marketing da Royal Caribbean International. "Essa ferramenta permite que você crie uma experiência totalmente original e multi sensorial ao compartilhar essas lembranças."

Para ajudar a criar o SoundSeeker, a agência MullenLowe recorreu ao Berklee College of Music’s Institute for Creative Entrepreneurship - que se concentra em tecnologias emergentes - bem como à produtora Unit9, sediada em Londres, e à Plan8, empresa de tecnologia musical sediada em Estocolmo.

A equipe começou interpretando centenas de faixas de música e 10 mil fotos para destilar cerca de 2,5 milhões de combinações em um mapa com apenas dez "moods" possíveis, como “Aconchegante, Quente e Seguro” ou “Energético e Intenso”. Esses humores e interpretações formam a base que "ensina" a inteligência artificial como analisar fotos e combinar com parâmetros como reconhecimento facial e de cores (com tecnologia do Google Cloud Vision), possibilitando a criação de um clipe de música adequado a partir de um milhão de combinações únicas possíveis. O vídeo é criado por camadas de peças instrumentais compostas antecipadamente para os cruzeiros, nos gêneros rock, hip-hop e dance music eletrônica.

"A chave aqui é que o Soundseeker não tem um conjunto pré-definido de regras que segue para mapear itens específicos nas fotos para elementos musicais específicos", diz Christian Madden, diretor de criação da MullenLowe. “Ele usa o aprendizado da máquina para tomar essas decisões com base em tudo o que sabe da experiência passada. Essa experiência passada, seu conhecimento de como a informação visual está ligada à informação musical, foi 'ensinada' à AI por humanos quando a treinamos, transferindo nossas próprias opiniões e gostos para a AI”.

Confira abaixo dois clipes e, em seguida, saiba mais sobre os bastidores da criação do SoundSeeker.

Com Adweek.