O Laboratório de Software Confiável(HASLab), Parceiro Privilegiado do INESC TEC, vai iniciar, em fevereiro, o projeto europeu LeanBigData (Ultra-Scalable and Ultra-Efficient Integrated and Visual Big Data Analytics), que tem como objetivo solucionar alguns dos maiores desafios que se colocam atualmente na área do processamento analítico em “Big Data”.

Este projeto, que conta com a participação da Unidade de Sistemas de Informação e de Computação Gráfica do INESC TEC, propõe-se a criar e desenvolver três sistemas eficientes para a manipulação de “Big Data”: uma nova base dados NoSQL transacional, um sistema de processamento de eventos complexos (CEP) distribuído e um motor de interrogações SQL distribuído.

Na mesma linha de raciocínio, a equipa de investigação pretende criar uma plataforma integrada com as três principais tecnologias para “Big Data”, NoSQL, SQL e Streaming/CEP, que melhorarão o tempo de resposta do processamento analítico unificado sobre múltiplas fontes e grandes quantidades de dados, evitando as ineficiências das atuais abordagens extração-transformação-carregamento (ETL).

O projeto deverá também permitir a análise “Big Data” fim-a-fim, eliminando as quatro principais fontes de atraso no ciclo de análise de dados, utilizando para isso a descoberta automática de anomalias e “root cause analysis”, bem como a visualização incremental de interrogações longas, a composição de visualizações de forma declarativa e interação simplificada com “drag-and-drop”, e ainda a manipulação eficiente de visualizações através de gestos em vistas 3D/Holográficas.

Com este projeto, espera-se então dar resposta a três : o custo associado ao escalonamento do processamento analítico de “Big Data” para análise de sequências dinâmicas e fontes estáticas; a falta de integração das tecnologias existentes para a manipulação de “Big Data” e os seus elevados tempos de resposta; e ainda o insuficiente suporte ao utilizador final que leva a ciclos de análise extremamente longos.

Finalmente, o LeanBigData demonstrará estes resultados num “cluster” com mil núcleos de processamento em quatro casos de estudo industriais com dados reais, preparando a sua implantação no contexto de processos de negócio reais.

Do consórcio do projeto fazem parte, além do INESC TEC, a Portugal Telecom, a Universidad Politecnica de Madrid e as empresas Computer Asscociates e ATOS (Espanha), a Intel (de Israel), a Foundation for Research and Technology (Grécia), o Institute of Communication and Computer Systems (Reino Unido), e SyncLab SRL (Itália). O projeto tem duração de 36 meses e é financiado pelo 7º Programa Quadro da União Europeia.