Entwicklung eines parametrisierten Datengenerators als Erweiterung des Yahoo Streaming Benchmarks zur Analyse einer Streaming Data Pipeline
Entwickelt wurde dieser Datengenerator auf Basis des Yahoo Streaming Benchmarks (https://github.com/yahoo/streaming-benchmarks).
Die geänderten Dateien können nur in Verbindungen mit dem YSB verwendet werden.
- gendata - Ein neuer Datengenerator zur Generierung parametrisierten Daten
- spark-benchmarks - Anpassungen des Sparkbenchmarks vom Yahoo Streaming Benchmarks (geänderte Zeilen wurden markiert/kommentiert)
- stream-benchmark.sh - Angepasste Version der Scriptdatei (Funktionen wurden dupliziert und mit "NEW" im Namen markiert)