Benchmark sistem obrabotki potokow: StrimBench

Tehnologii paketnoj obrabotki dannyh (takie kak MapReduce, Hive, Pig) uzhe sozreli i shiroko ispol'zuütsq w industrii. Jeti sistemy uspeshno reshaüt problemu obrabotki bol'shih ob#emow dannyh. Odnako snachala bol'shoj ob#em dannyh neobhodimo sobrat' i sohranit' w baze dannyh ili fajlowoj sisteme. Jeto otnimaet mnogo wremeni. Zatem trebuetsq wremq na paketnuü obrabotku analiticheskih zadanij, prezhde chem budut polucheny kakie-libo rezul'taty. V to wremq kak suschestwuet mnozhestwo sluchaew, kogda trebuetsq poluchit' rezul'taty analiza neogranichennoj posledowatel'nosti dannyh za sekundy ili subsekundy. Chtoby udowletworit' rastuschij spros na obrabotku takih potokowyh dannyh, bylo realizowano i shiroko rasprostraneno neskol'ko sistem potokowoj obrabotki, takih kak Apache Storm, Apache Spark, IBM InfoSphere Streams i Apache Flink. Odnako wopros o tom, kak ocenit' sistemy obrabotki potokow, prezhde chem wybrat' odnu iz nih dlq promyshlennoj razrabotki, ostaetsq otkrytym. V ätoj knige my predstawlqem StreamBench, ätalonnyj frejmwork dlq oblegcheniq srawneniq proizwoditel'nosti sistem potokowoj obrabotki. Klüchewoj osobennost'ü frejmworka StreamBench qwlqetsq ego rasshirqemost' - on podderzhiwaet legkoe opredelenie nowyh rabochih nagruzok, a takzhe uproschaet testirowanie nowyh sistem potokowoj obrabotki.