INESC TEC cria tecnologia que modifica a experiência de visualização de vídeos 3D

Protótipo pode ser usado em áreas como a música, a educação, a saúde ou o turismo.

Protótipo pode ser usado em áreas como a música, a educação, a saúde ou o turismo.

Estar em casa a assistir a um concerto gravado ao vivo em três dimensões e, através de movimentos da cabeça e do olhar, conseguir mudar a perspetiva da cena, de modo a focar a área da imagem que pretende ver através de uns óculos 3D. No âmbito de um projeto colaborativo que envolveu várias instituições, incluindo a FEUP, o INESC TEC desenvolveu um protótipo que vai tornar este cenário possível. Esta tecnologia pode ser adaptada a outras áreas, como a educação, a saúde ou o turismo.

Esta solução pretende, sobretudo, aumentar a qualidade de experiência dos utilizadores quando estão a consumir um conteúdo audiovisual, dando-lhes uma sensação de envolvência personalizada e assim aproximar a experiência do telespectador àquela do espectador “in loco”.

O “Personalized Multiview Environment” recorre à captação e codificação de vídeo multivista, na qual são utilizadas múltiplas câmaras de vídeo 3D posicionadas em arco ao longo da cena, de forma a captarem múltiplas perspetivas da mesma.

“O protótipo vai oferecer ao utilizador uma sensação mais realística de imersão na cena, de acordo com os seus interesses e de uma forma que lhe é transparente, fornecendo em cada instante a melhor qualidade possível com soluções cost-effective”, explica Maria Teresa Andrade, docente da FEUP e investigadora responsável por este projeto no INESC TEC, juntamente com Tiago Costa.

A solução apresenta conteúdos 3D a audiências distintas, de forma inovadora e personalizada, através de redes IP. A perspetiva da cena 3D que está a ser apresentada em cada instante ao utilizador é adaptada de forma dinâmica consoante o seu foco de atenção, a qual é detetado através de movimentos da sua cabeça e olhos. Em paralelo, o débito da cena que está a ser transmitida é adaptado de acordo com a disponibilidade de largura de banda da rede, de modo a que a qualidade da imagem não sofra degradações bruscas devido a limitações de banda da ligação de rede do espectador.

A tecnologia atual “Personalized Multiview Environment” utiliza uma webcam montada no recetor, que filma o espectador, e um módulo de processamento que consegue seguir os movimentos da sua cabeça e assim perceber qual a área da imagem que prendeu a sua atenção em cada instante, enviando essa informação para o servidor.

Num futuro, prevê-se a utilização de um motor de inferência baseado em técnicas probabilísticas, pelas quais o servidor conseguirá prever os movimentos da cabeça do utilizador (com base em registos passados), enviando atempadamente para o cliente a perspetiva da cena com maior probabilidade de ser a desejada pelo telespectador.

Este projeto – “NORTE-07-0124-FEDER-000061” – é financiado pelo Programa Operacional Regional do Norte (“ON.2 – O Novo Norte”), do Quadro de Referência Estratégico Nacional (QREN), através do Fundo Europeu de Desenvolvimento Regional (FEDER), e ainda por Fundos Nacionais através da Fundação para a Ciência e a Tecnologia (FCT).