Plataforma de análise de grandes volumes de dados no sector da saúde com a estrutura Hadoop/MapReduce

A análise de grandes volumes de dados (BDA) é importante para reduzir os custos dos cuidados de saúde. No entanto, em muitos sistemas hospitalares, as novas tecnologias que influenciam os dados dos doentes requerem testes técnicos extensivos e rigorosos de usabilidade antes de serem implementadas na produção. Por conseguinte, para a implementação, foram utilizados externamente clusters de nós Linux de Computação de Alto Desempenho (HPC) existentes e a simulação de dados de doentes foi comparada e cruzada com os perfis de metadados actuais em sistemas hospitalares operacionais na Autoridade de Saúde da Ilha de Vancouver (VIHA), Victoria, Canadá. Na plataforma testada, os dados foram gerados, indexados e armazenados num sistema de ficheiros distribuídos Hadoop (HDFS) para uma base de dados noSQL (HBase) que representava três mil milhões de registos de doentes. A estrutura Hadoop/MapReduce formou a plataforma BDA com a HBase (base de dados NoSQL) utilizando metadados específicos do hospital e a ingestão de ficheiros. As consultas revelaram um elevado desempenho com uma variedade de ferramentas Apache no ecossistema do Hadoop. A plataforma BDA do HBase distribuída pelo Hadoop foi bem sucedida sob alto desempenho em grandes volumes e em todo o arquivo de dados.