Referência de sistemas de processamento de fluxo contínuo: StreamBench

As tecnologias de processamento em lote (como MapReduce, Hive, Pig) amadureceram e têm sido amplamente utilizadas na indústria. Estes sistemas resolveram com êxito o problema do processamento de grandes volumes de dados. No entanto, primeiro é necessário recolher e armazenar uma grande quantidade de dados numa base de dados ou num sistema de ficheiros. Isso consome muito tempo. Depois, é necessário tempo para terminar as tarefas de análise de processamento em lote antes de obter quaisquer resultados. Há muitos casos em que é necessário analisar resultados de uma sequência ilimitada de dados em segundos ou sub-segundos. Para satisfazer a crescente procura de processamento desses dados em fluxo contínuo, foram implementados e amplamente adoptados vários sistemas de processamento em fluxo contínuo, como o Apache Storm, o Apache Spark, o IBM InfoSphere Streams e o Apache Flink. No entanto, como avaliar os sistemas de processamento de fluxo antes de escolher um no desenvolvimento da produção é uma questão em aberto. Neste livro, apresentamos o StreamBench, uma estrutura de benchmark para facilitar as comparações de desempenho dos sistemas de processamento de fluxo. Uma caraterística fundamental da estrutura do StreamBench é que ela é extensível - ela suporta a definição fácil de novas cargas de trabalho, além de facilitar a avaliação comparativa de novos sistemas de processamento de fluxo.