O INESC TEC desenvolveu uma ferramenta de edição e visualização de vídeos 360, que permite a criação de experiências interativas que exploram não só a componente de vídeo 360 com elementos visuais interativos, como também a componente sonora interativa.

A solução foi desenvolvida no âmbito do projeto Augmented Video 360 e testada em parceria com o jornal Público, no Parque de Serralves, no Porto, com um concerto de harpa da artista espanhola Angélica Salvi.

 “A ideia de criar uma ferramenta de edição e visualização de vídeos 360º, com anotações dinâmicas para melhorar narrativas nasceu em 2017. A solução tecnológica foi desenvolvida pelo INESC TEC e o jornal Público associou-se enquanto parceiro de media para testar a tecnologia. Este vídeo, que foi desenvolvido no Parque de Serralves, é, assim, um primeiro resultado mais aberto ao público, e que ilustra o seu potencial, podendo estar não só ao serviço do jornalismo, mas também ao serviço da cultura ”, explica Rui Rodrigues, investigador do INESC TEC e professor na FEUP.

O vídeo foi primeiro gravado com uma câmara 360 e depois editado numa ferramenta que permite aos criadores ou editores de conteúdos acrescentar aos vídeos anotações, legendas orientadas em 3D ou outro tipo de efeitos visuais interativos, mas também elementos sonoros dependentes da orientação do espetador, que sejam relevantes para completar ou enriquecer a narrativa e a experiência.

No vídeo – já disponível no site do jornal Público -, vemos e ouvimos a harpista em vários espaços do Parque de Serralves, em 360º. O vídeo é pontuado com anotações dinâmicas, que acrescentam informação sobre a harpa, o novo disco e a história da artista.

O projeto encontra-se a realizar outros testes, com destaque para a exploração do áudio interativo que permite, por exemplo, “criar uma experiência em que determinados elementos (podem ser instrumentos) apenas soam quando forem focados pelo espetador, ou chamadas de atenção sonoras que são emitidas se o espetador não as estiver a ver”, explica Rui Rodrigues.

A ferramenta de edição está neste momento disponível para parceiros do projeto, havendo abertura para outros interessados, que podem entrar em contacto através do site do projeto.

O Augmented Video 360 foi um projeto ligado ao jornalismo digital financiado pelo fundo de inovação Digital News Initiative da Google, em duas rondas de financiamento (em 2017 e em 2019). O objetivo era o de diminuir a lacuna existente entre criadores de conteúdos e a tecnologia necessária para adicionar anotações dinâmicas a vídeos 360º, uma das grandes tendências do jornalismo digital.