1.
Popp, C.: Measurement and Analysis of QoE Influencing Factors for WebRTC, (2019).
Web Real-Time-Communication (WebRTC) beinhaltet eine Reihe neuartiger Tech- nologien und Standards zur qualitativ hochwertigen Audio-, Video- und Datenüber- tragung zwischen Web-Nutzern und Nutzergruppen. Alles wird under der Prämisse der Echtzeitkommunikation übertragen, so dass Interaktivität ermöglicht wird, also der Dialog und Wechselbeziehung zwischen Nutzern für alle drei Arten der Übertra- gung in WebRTC. So erlaubt WebRTC hiermit das Chatten, Telefonieren, Video- Telefonieren, Screensharing, Webinars und Video-Games im Browser unabhängig von der zugrunde liegenden Hardwareplattform, sei es mit Hilfe von Web- oder mobilen Anwendungen ohne dass zusätzliche Plugins erforderlich sind. Hierfür ver- wendet WebRTC eine Kommunikationsarchitektur die Datenübertragung auf zwei Wegen ermöglicht. Eine Möglichkeit ist die Verwendung eines zentralen Servers, der vom Dienstanbieter bereitgestellt werden muss. Daten an andere Clients in der Session werden über den Server an die entsprechenden Empfänger weitergeleitet (RELAY). Die zweite Möglichkeit ist die direkte Kommunikation der Clients unter- einander (P2P). Da es aufgrund der Verwendung von Network Address Translation (NAT) und Firewalls in der Regel unmöglich ist, direkt Daten an Clients in anderen Netzwerken zu schicken, verwendet WebRTC Interactive Connectivity Establish- ment (ICE), um direkte Kommunikation zu ermöglichen. WebRTC wird vom World Wide Web Consorcium (W3C) und von der Internet Engineering Task Force (IETF) entwickelt und standardisiert. Seit der initialen Veröffentlichung im Jahr 2011 wird WebRTC von einer Vielzahl bekannter Dienste zur Bereitstellung von Echtzeitkom- munikation verwendet. Zu diesen Diensten zählen u.a. Google Hangouts, Facebook Messenger und Citrix GoToMeeting. Diese Arbeit diskutiert Einflussfaktoren auf System und Netzwerkebene, welche die Quality of Experience (QoE) im Kontext von WebRTC beeinflussen. Basierend auf der Analyse bestehender Literatur zu den Themenbereichen Echtzeitkommu- nikation und QoE wurde eine Reihe an Parametern, welche die Nutzererfahrung beeinflussen, identifiziert. Mithilfe dieser Parameter wurden drei Metafaktoren Syn- chronität, Stabilität und Qualität definiert, welche für die QoE relevant sind. Diese werden mittels Key Performance Indikatoren (KPI) näher bestimmt. Jeder KPI be- trachtet einen spezifischen Aspekt des Metafaktors, zu welchem er gehört. Um das Verhalten der Metafaktoren zu untersuchen, wurde ein Mess-Framework implemen- tiert. Dieses ermöglicht automatische und replizierbare Messungen von WebRTC- Anwendungen im Browser. Im Rahmen dieser Messungen ist es möglich, das wie- dergegebene Video, die Dauer einzelner Messungen, die Anzahl an Teilnehmern, so- wie die Sendebandbreite zu definieren. Während der Messungen werden automatisch Messdaten gesammelt. Im Anschluss werden die Daten aller Teilnehmer automatisch auf einem Kontroll-PC gesammelt und für die Weiterverarbeitung organisiert. Das Framework steht öffentlich zum herunterladen bereit. Mithilfe des Mess-Frameworks wurden mehrere Messreihen mit zwei und drei Teilnehmern durchgeführt, um QoE Einflussfaktoren für WebRTC zu analysieren und näher zu bestimmen. Während der Messreihen wurde die Bandbreite zwischen 250 kbit/s and 50 Mbit/s variiert. Die allgemeine Evaluation der Messdaten zeigt, dass bei der Analyse der Einfluss- faktoren von Nutzerzufriedenheit und QoE zwischen den verschiedenen möglichen Kommunikationsmodi unterschieden werden muss. Falls an einer Session nur zwei Teilnehmer teilnehmen, wird im Laufe der Session von RELAY zu P2P-Kommuni- kation gewechselt. Gibt es hingegen drei Teilnehmer, wird während der gesamten Session mittels RELAY kommuniziert. Dies trifft für die implementierte ICE- und WebRTC-Serverinfrastruktur mit jitsi-Server und Chrome-Browser beim Client zu. Hiermit wird die Datenmenge, welche von einem einzelnen Client gesendet werden muss, reduziert. Vergleicht man die RELAY und die P2P-Phase von einer Messung mit zwei Teilnehmern, ist auffällig, dass die RELAY-Phase unabhängig von der Netz- werkbandbreite eine konstant hohe Stabilität der erfassten Parameter aufweist. Die P2P-Phase hingegen benötigt eine gewisse Mindestbandbreite, um diese Stabilität zu erreichen. In der P2P-Phase ist die maximal erreichbare Videobitrate allerdings höher, was die Nutzerzufriedenheit laut QoE-Studien beeinflussen kann. Messungen mit drei Teilnehmern weisen ein Verhalten vergleichbar mit der RELAY Phase von Messungen mit zwei Teilnehmern auf. Im Bezug auf den Metafaktor Synchronität ist auffällig, dass für alle Phasen und sowohl mit zwei, als auch mit drei Teilnehmern, eine Mindestbandbreite von 500 kbit/s notwendig ist, um eine gute Bewertung der Synchronität zu erreichen. Eine Ausnahme hiervon bildet die Audio/Video-Synchronisation. Diese erfordert im Fall von zwei Teilnehmern eine Mindestbandbreite von 2.0 Mbit/s. Nehmen drei Cli- ents an der Messung teil, sind die erreichten Werte für die Audio/Video-Synchronität durchgängig schlechter als für zwei Clients. Der zweite Metafaktor ist Stabilität. Für diesen gibt es größere Unterschiede be- zogen auf das Verhalten von RELAY und P2P-Phase. Während der RELAY-Phase werden durchgängig hohe Werte für die verschiedenen KPIs berechnet. Die berech- neten Werte ändern sich zeitweise, allerdings sind sie dennoch konstant höher als die Werte der P2P-Phase. Bezogen auf den KPI Auflösung, liegt der Haupgrund für die schlechte Bewertung der P2P-Phase in der Art und Weise, wie die Videoauflösung an die verfügbare Bandbreite angepasst wird. Im Fall des zweiten KPIs, welcher die Videoauflösung betrachtet, zeigt die P2P-Phase ein Verhalten ähnlich zum ersten Metaparameter. Geringe Bandbreiten führen zu schlechten Werten. Mit steigender Bandbreite verbessern sich diese und bleiben nach dem Erreichen des Maximums konstant. Aufgrund des beschriebenen Verhaltens wird die Stabilität der RELAY- Phase konstant besser bewertet als die der P2P-Phase. Messungen mit zwei Teil- nehmern zeigen ein Verhalten ähnlich der RELAY-Phase von Messungen mit zwei Teilnehmern. Qualität ist der dritter Metafaktor. Unabhängig von der konfigurierten Bandbrei- te erreicht die P2P-Phase hier immer bessere Bewertungen als die RELAY-Phase, was auch im angegeben Modell in der Arbeit durch Zahlen bestätigt wird. Zwi- schen der Bewertung von Audio- und Videodaten gibt es signifikante Unterschiede. Aufgrund technischer Einschränkungen unterstützt das Messframework keine Wie- dergabe von Audio. Das führt dazu, dass automatisch eine regelmäßige Abfolge von Pieptönen wiedergegeben wird. Wir vermuten, dass dies dazu führt, dass der Audio Adaptionsmechanismus von WebRTC nicht funktioniert. Aufgrund dieser Annahme betrachten wir die Audioqualität als konstanten Faktor. Der zweite KPI, welcher die Qualität betrifft, behandelt die Videoqualität. Sofern die verfügbare Bandbrei- te größer als 2.0 Mbit/s ist, erreicht die P2P-Phase konstant bessere Werte als die RELAY-Phase. Andernfalls sind die Werte der beiden Phasen vergleichbar. Hohe Bandbreiten zeigen eine Limitierung der RELAY-Phase bezüglich der Videobitrate. Wir vermuten, dass es sich hierbei um Limitierungen handelt, welche vom Betreiber des Dienstes eingerichtet wurden. Die Messungen mit drei Teilnehmern zeigen ein ähnliches Verhalten wie die RELAY Phase, allerdings sind die maximal erreichten Bitraten pro Video geringer. Zuletzt definieren wir eine simple Abschätzungsfunktion QoE simple für die QoE von WebRTC aufgrund unserer bisherigen Analyse für die Infrastruktur unseres Frameworks. Diese ist definiert als der Durchschnitt der Metafaktoren. Die berech- neten Werte für QoE simple zeigen, dass die RELAY-Phase für geringe Bandbreiten geringfügig bessere Werte erreicht. Im Fall höherer Bandbreiten ergibt sich ein Vor- teil zugunsten der P2P-Phase. Das Modell erlaubt WebRTC-Anbietern und Provi- dern die Abschätzung der QoE über eine simple Messung von Einflussfaktoren. Die subjektive Validierung des Modells wird in einer nächsten Arbeit angegangen. Alle Metafakotoren wurden aufgrund des bisherigen Stands der Technik in der Literatur ausgewählt und eingebunden.
2.
Prantl, T.: Machine Learning for Synthetically Generated, Adaptive Streaming Data, (2019).
Ziel dieser Arbeit war es, die Einsatzmöglichkeiten maschinellen Lernens im Bereich des adaptiven Videostreamings zu analysieren und entsprechende Grundlagen zu schaffen. Insbesondere zielt die Arbeit darauf ab, im großen Stil Streaming-Daten synthetisch zu generieren, die als Eingabe für maschinelles Lernen verwendet werden können. Zu diesem Zweck beginnt die Ausarbeitung damit, Grundlagen und Verfah- ren zu erklären, sowie eine Auswahl aus verwandten Arbeiten zu treffen, um daraus wertvolle Ideen abzuleiten. Einer der wichtigsten Begriffe in diesem Zusammenhang war die Definition und Abstraktion des adaptiven Video-Streamings. Hierbei wurden verschiedene Streaming-Adapationsalgorithmen modelliert und neu implementiert, die die Bitrate für die Filmsegemente, die sogenannten Chunks, bestimmen. Ähnlich wichtig war der Begriff der Quality of Experience, die im weiteren Verlauf der Ar- beit als Bewertungsmethode für das Streaming-Erlebnis beim Benutzer diente. Es wurde zu Beginn ein Überblick über die verschiedenen bekannten Verfahren aus der Literatur gegeben. Anschließend wurden die technischen Details, die möglichen Eingabeparameter und die Auswirkungen der verschiedenen Bewertungsverfahren diskutiert. Die Arbeit nutzt lediglich vorhandene QoE-Modelle aus der Literatur. Die Erstellung und Validierung von neuen QoE-Modellen ist nicht Gegenstand der aktuellen Arbeit. Im Hinblick auf verwandte Arbeiten wurden Arbeiten von Orsolic et al. und Mao et al. herangezogen. Als Ergebnis daraus wurden, mit Blick auf das geplante Vor- haben, folgende Ziele aufgstellt: einen umfangreichen Datensatz mit dem Verhalten verschiedener Adaptionsalgorithmen in stark flukturierenden Netzwerken zu generie- ren, geeignete Kombinationen von Algorithmen zu testen und einen globalen Ansatz zur Optimierung von Video-Streaming-Vorgängen mit Hilfe von Ensemble-Learning zu finden. Das erste Ziel war folglich, einen entsprechend großen inhomogenen Streaming- Datensatz für zukünftige Forschungsarbeiten bereitzustellen. Ein möglicher Ansatz bestand darin, dies mit Hilfe von synthetisch generierten Daten zu realisieren. Dazu wurde die synthetische Erzeugung von Streaming-Daten untersucht, um eine Metho- de zur schnellen Herstellung von Streaming-Daten zu erhalten. Zu diesem Zweck wur- de eine Simulation entwickelt, die das Verhalten der Adaptionsalgorithmen BBA0, FESTIVE und PANDA für ein bestimmtes Video in einem bestimmten Netzwerk, mittels eines generalisierten Modelles, berechnet. Um die Genauigkeit dieser Simu- lation zu überprüfen, wurden für jeden Algorithmus drei Streaming-Prozesse real durchgeführt und in der Simulation nachgestellt. Der Vergleich des simulierten und realen Streaming-Prozesses zeigte eine gute Übereinstimmung zwischen Simulati- on und Realität und außerdem, dass ein Adaptionsverfahren umso besser simuliert werden kann, je mehr es die zeitliche Entwicklung der Parameter berücksichtigt. Mit dem Begriff Quality of Experience (QoE) wurde eine Möglichkeit zur Bewertung der simulierten Streamingvorgänge genutzt und anschließend wurden gängige QoE-Verfahren vorgestellt, aus denen eine begründete Auswahl getroffen wurde. Um mit der Simulation möglichst viele Streaming-Daten zu erzeugen, wurde eine Toolchain für deren automatisierte Generierung vorgestellt. Die Toolchain umfasst dabei die automatische Herstellung und Konvertierung von Videos, deren Simulation durch alle vorgegebenen Netzwerke mittels der drei eingeführten Adaptionsverfah- ren sowie die Bewertung des simulierten Streamingvorganges mit Hilfe von sieben vorgegebenen unterschiedlichen QoE-Modellen. Mit dieser Toolchain wurden fast 3 Millionen Streamingprozesse generiert, die auf die einzelnen Verfahren verteilt sind. Neben der Simulation der herkömmlichen Verfahren wurde eine neue Simulati- onsmethode trainiert, welche die herkömmlichen Vorgehensweisen der Algorithmen BBA0, FESTIVE und PANDA kombiniert. Das neue Verfahren fand heraus, dass man im Schnitt die gleiche durchschnittliche QoE erhält wie das beste herkömmliche Verfahren, wenn man immer nur die zwei höchsten Bitraten wählt. Aus diesem Ver- halten ließ sich schlussfolgern, dass die Analyse der verwendeten QoE-Modelle und deren möglichst optimale Ausprägung auf dem verwendeten Datensatz essentiell für maschinelles Lernen in diesem Bereich ist. Aus diesem Grund empfiehlt diese Arbeit, dass bevor weitere maschinelle Lernver- fahren auf adaptive Streaming-Daten angewendet werden, zuerst die exsistierenden QoE-Modelle und deren Verhalten genauer untersucht werden sollten. Für diese Un- tersuchungen stellt die im Rahmen dieser Arbeit entwickelte Toolchain ein wertvolles Hilfsmittel dar, da sie die schnelle Generierung von Streaming-Daten und deren Be- wertung anhand von sieben verschiedenen QoE-Modellen ermöglicht.
3.
Ott, S.: Design and Performance Evaluation of NMS-aware SDN Controle Plane Mechanisms, (2019).
4.
Morell, M.: Traffic Measurement Study for Real-Time Video Streaming with a Remote Controllable Drone, (2019).
