Évaluation comparative des systèmes de traitement des flux : StreamBench

Les technologies de traitement par lots (telles que MapReduce, Hive, Pig) sont arrivées à maturité et ont été largement utilisées dans l'industrie. Ces systèmes ont permis de résoudre avec succès le problème du traitement de gros volumes de données. Cependant, de grandes quantités de données doivent d'abord être collectées et stockées dans une base de données ou un système de fichiers. Cela prend beaucoup de temps. Ensuite, il faut du temps pour terminer les tâches d'analyse de traitement par lots avant d'obtenir des résultats. Dans de nombreux cas, il est nécessaire d'analyser les résultats d'une séquence illimitée de données en quelques secondes ou sous-secondes. Pour répondre à la demande croissante de traitement de ces données en continu, plusieurs systèmes de traitement en continu sont mis en ¿uvre et largement adoptés, tels que Apache Storm, Apache Spark, IBM InfoSphere Streams et Apache Flink. La question de savoir comment évaluer les systèmes de traitement en continu avant d'en choisir un pour le développement de la production reste ouverte. Dans ce livre, nous présentons StreamBench, un cadre de référence pour faciliter les comparaisons de performance des systèmes de traitement de flux. L'une des principales caractéristiques du cadre StreamBench est qu'il est extensible - il permet de définir facilement de nouvelles charges de travail, tout en facilitant l'évaluation comparative de nouveaux systèmes de traitement de flux.