%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Setup des Dokuments %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \documentclass[12pt,DIV14,BCOR10mm,a4paper,twoside,parskip=half-,headsepline,headinclude]{scrreprt} % Grundgröße 12pt, zweiseitig % Packages from template \usepackage[headsepline,automark]{scrpage2} % Seitenköpfe automatisch \KOMAoptions{headinclude} % Fix \usepackage[german]{babel} % Sprachpaket für Deutsch (Umlaute, Trennung,deutsche Überschriften) % Not needed anymore % \usepackage{blindtext} \usepackage{graphicx,hyperref} % Graphikeinbindung, Hyperref (alles klickbar, Bookmarks) \usepackage{amssymb} % Math. Symbole aus AmsTeX \usepackage[utf8]{inputenc} % Umlaute % Custom packages \usepackage[autostyle=true,german=quotes]{csquotes} % Anführungszeichen mit \enquote{} \usepackage{textcomp} % Zusätzliches Package für °C \usepackage{listings} % Codesnippets \usepackage{scrhack} % Hack for lstlisting i suspect :-/ \usepackage{xcolor} % Setup für Codeblocks \lstset{ % Optionen breaklines=true, breakatwhitespace=true, breakautoindent=true, frame=single, %framexleftmargin=19pt, inputencoding=utf8, %language=awk, %numbers=left, %numbersep=8pt, showspaces=false, showstringspaces=false, tabsize=1, %xleftmargin=19pt, captionpos=b, % Styling basicstyle=\footnotesize\ttfamily, commentstyle=\footnotesize, keywordstyle=\footnotesize\ttfamily, numberstyle=\footnotesize, stringstyle=\footnotesize\ttfamily, } % Hack für Sonderzeichen in Codeblocks \lstset{literate=% {Ö}{{\"O}}1 {Ä}{{\"A}}1 {Ü}{{\"U}}1 {ß}{{\ss}}1 {ü}{{\"u}}1 {ä}{{\"a}}1 {ö}{{\"o}}1 {°}{{${^\circ}$}}1 } % Befehl für TODO-Markierungen \newcommand{\todo}[1]{\textcolor{blue}{\emph{TODO: #1}}} % Befehl für Entwürfe und grobe Pläne \newenvironment{draft}{\par\color{orange}\begin{center}Entwurf / Konzept\end{center}\hrule}{\hrule\par} % Broken citation needs broken command \newcommand\mathplus{+} % Festlegung Kopf- und Fußzeile \defpagestyle{meinstil}{% {\headmark \hfill} {\hfill \headmark} {\hfill \headmark\hfill} (\textwidth,.4pt) }{% (\textwidth,.4pt) {\pagemark\hfill Jan Philipp Timme} {Version 0.1 vom \today \hfill \pagemark} {Version 0.1 vom \today \hfill \pagemark} } \pagestyle{meinstil} \raggedbottom \renewcommand{\topfraction}{1} \renewcommand{\bottomfraction}{1} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Beginn des Dokuments (Titelseite und der ganze Krempel) %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \begin{document} % Titelseite \thispagestyle{empty} \includegraphics[width=0.2\textwidth]{res/Wortmarke_WI_schwarz.pdf} { ~ \sffamily \vfill {\Huge\bfseries Verarbeitung von Datenströmen im RDF-Format in Kombination mit Hintergrundwissen in der C-SPARQL-Engine} \bigskip {\Large Jan Philipp Timme \\[2ex] Bachelor-Arbeit im Studiengang "`Angewandte Informatik"' \\[5ex] \today } } \vfill ~ \hfill \includegraphics[height=0.3\paperheight]{res/H_WI_Pantone1665.pdf} \vspace*{-3cm} % Seite mit Personen und Selbstständigkeitserklärung \newpage \thispagestyle{empty} \begin{tabular}{ll} {\bfseries\sffamily Autor} & Jan Philipp Timme \\ & 1271449 \\ & jan-philipp.timme@stud.hs-hannover.de \\[5ex] {\bfseries\sffamily Erstprüfer} & Prof. Dr. Jürgen Dunkel \\ & Abteilung Informatik, Fakultät IV \\ & Hochschule Hannover \\ & juergen.dunkel@hs-hannover.de \\[5ex] {\bfseries\sffamily Zweitprüfer} & N. N. \\ & Abteilung Informatik, Fakultät IV \\ & Hochschule Hannover \\ & ---@---.-- \end{tabular} \vfill % fett und zentriert in der Minipage \begin{center} \sffamily\bfseries Selbständigkeitserklärung \end{center} Hiermit erkläre ich, dass ich die eingereichte Bachelor-Arbeit selbständig und ohne fremde Hilfe verfasst, andere als die von mir angegebenen Quellen und Hilfsmittel nicht benutzt und die den benutzten Werken wörtlich oder inhaltlich entnommenen Stellen als solche kenntlich gemacht habe. \vspace*{7ex} Hannover, den \today \hfill Unterschrift \pdfbookmark[0]{Inhalt}{contents} % Inhaltsverzeichnis \tableofcontents % Abbildungsverzeichnis \listoffigures % Codeverzeichnis \lstlistoflistings % Tabellenverzeichnis \listoftables \newpage %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%% Hier geht es richtig los mit dem Text! %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \chapter{Einleitung} Diese Arbeit beschäftigt sich mit \enquote{Complex Event Processing} (CEP), also der Verarbeitung komplexer Ereignisse auf Ereignisdatenströmen mit Integration von Hintergrundwissen, und der praktischen Nutzung der CEP-Engine C-SPARQL. Nach einem kurzen Einstieg in das Thema CEP soll der Leser einen Einblick in die Features von aktuellen CEP-Engines erhalten und am Beispiel der Engine C-SPARQL\footnote{Mehr Informationen zu C-SPARQL und Download unter \url{http://streamreasoning.org/resources/c-sparql}} die Verarbeitung von Ereignisströmen im RDF-Format in Kombination mit Hintergrundwissen im Detail kennenlernen. An einem Beispielszenario soll dann der Praxiseinsatz von C-SPARQL erklärt werden, in dem einige der vorgestellten Funktionen Anwendung finden. Im Abschluss wird ein kurzer Ausblick auf die technischen Möglichkeiten des \enquote{Reasoning} gegeben - eine Technik, die es erlaubt auf den vorhandenen und eingehenden Daten logische Operationen und Schlussfolgerungen durchzuführen um daraus neues Wissen abzuleiten. \todo{Dem Dokument anpassen; Soll groben Ausblick auf Inhalte geben.} \section{Motivation} \begin{draft} Wir haben offene Systeme, über die wir Ereignisse via RDF-Datenstrom bereitgestellt bekommen und wollen damit CEP machen. Warum denn RDF? RDF ist von der Struktur her der kleinste gemeinsame Nenner und es lässt sich alles in RDF verlustfrei abbilden. Weiterhin ist es sehr leicht, RDF-Daten aus verschiedensten Quellen miteinander zu verknüpfen. Warum nicht ein anderes Format? Es gibt kaum andere Formate, die ebenso universell und offen sind. Wie sieht RDF im Vergleich zu RDBMS aus? Bei RDBMS gibt es je nach Anwendung unterschiedlichste Datenbankschemen, die Struktur und verwendete Datentypen von Tupeln in Relationen vorschreiben. Für die Verknüpfung von Daten aus verschiedenen RDBMS miteinander wird es hier sehr schwierig, da beispielsweise klassisches SQL keine Unterstützung für Queries über mehrere Datenbankserver unterstützt. \end{draft} \section{Einführung in Complex Event Processing} Im folgenden Abschnitt wird ein kurzer Einstieg in das Konzept von Complex Event Processing (CEP) gegeben. Eine detailreiche Erläuterung von CEP und die beispielhafte Anwendung der CEP-Engine \enquote{Esper} wird in \cite{hsh:cep} beschrieben. Wie der Begriff \enquote{Complex Event Processing} schon andeutet, geht es bei CEP um die Verarbeitung von komplexen Ereignissen - konkret: Die Erkennung und Erfassung von komplexen Ereignissen aus Datenströmen von primitiven Ereignissen. Von Messereignissen aus mit Sensoren ausgestatteten Geräten über Transaktionen im Handel bis hin zu Benutzerinteraktionen auf Webseiten entstehen täglich unzählig viele Ereignisse, die abhängig von ihrem Kontext für einen bestimmten Zeitraum ein Stück der echten Welt korrekt abbilden. Die Informationen dieser Ereignisse stellen nur einen momentanen Zustand dar; sie sind für sich alleine betrachtet Kontext- und somit Bedeutungslos. Betrachtet man beispielsweise ein Ereignis \enquote{Die gemessene Temperatur beträgt 42°C.}, so ist zunächst nicht einmal zu erkennen, was es mit dieser Temperatur auf sich hat. Hier kommt das \emph{Hintergrundwissen} (auch Domänenwissen) ins Spiel, welches uns in diesem Fall verraten kann, dass die Quelle dieses Ereignisses ein Sensor in einem PKW ist und am Motorblock befestigt ist. Dieses Wissen beinhaltet auch weitere Angaben zum konkreten Modell des PKW - unter anderem auch dessen zulässige Höchstgeschwindigkeit und die für den Motor zugelassenen Temperaturbereiche. Dies ermöglicht eine weiterführende Interpretation des Ereignisses; allerdings werden noch weitere Informationen benötigt, um ein eindeutiges Bild zu erhalten. Kombiniert man dieses Ereignis mit den Meldungen des im PKW installierten Geschwindigkeitssensors, so kann man herausfinden, ob die gemessene Motortemperatur für den aktuellen Betriebszustand des PKW innerhalb der im Hintergrundwissen für die über das spezifische PKW-Modell hinterlegten Grenzwerten liegt. Ein weiterer, wichtiger Faktor ist der Zeitraum in dem gewisse Ereignisse auftreten. Um dies näher zu erläutern, betrachten wir den gegebenen Ereignisstrom aus Listing~\ref{lst:sample_eventstream}. \begin{lstlisting}[caption={Exemplarischer Ereignisstrom: Motortemperatur eines PKW},label={lst:sample_eventstream}] [Event #1] Temperatur: 40°C [Event #2] Temperatur: 48°C [Event #3] Temperatur: 61°C [Event #4] Temperatur: 84°C \end{lstlisting} Auf den ersten Blick ist ersichtlich, dass die Messwerte einen sehr starken Temperaturanstieg abbilden, jedoch fehlt eine Angabe darüber, wie viel Zeit zwischen diesen Ereignissen vergangen ist. Dadurch ist die Interpretation dieser Ereignisse nicht mehr eindeutig möglich: Liegen zwischen den Messereignissen beispielsweise etwa 30-60 Minuten, so könnte es sich um einen normalen Betrieb bei hoher Geschwindigkeit handeln. Sollten jedoch nur wenige Minuten zwischen den Messereignissen vergangen sein, so lassen die Messwerte auf einen Defekt schließen und ein Motorschaden wäre eine mögliche Folge. Die Zeitachse darf somit bei der Ereignisverarbeitung nicht vernachlässigt werden. Ein weiterer Kernaspekt von CEP ist die Mustererkennung in Ereignissen. Aus bestimmten primitiven Ereignissen, die in einer bestimmten Abfolge auftreten, soll ein konkreter Sachverhalt abgeleitet werden. Treten bei einem PKW beispielsweise in kurzer Zeit nacheinander die Ereignisse \enquote{Motor abgeschaltet}, \enquote{Fahrzeug verriegelt} und \enquote{PKW beschleunigt} auf, so ist daraus zu schließen, dass ein gerade abgestelltes Fahrzeug wahrscheinlich unbeabsichtigt losgerollt ist und es sollte unverzüglich eine Reaktion darauf gestartet werden. Insgesamt liegt die Herausforderung von CEP darin, in kürzester Zeit große Datenströme von Ereignissen mit Hintergrundwissen anzureichern, diese zu höherwertigen Ereignissen zu kombinieren und bestimmte Muster zu finden, sowie die Ergebnisse mit möglichst geringer Verzögerung in Echtzeit ausgeben zu können oder Reaktionen einzuleiten. \section{Complex Event Processing auf RDF-Datenströmen} \begin{draft} \begin{itemize} \item Warum überhaupt RDF? \item Kleinster gemeinsamer Nenner für Informationen \item Events als Quadrupel (wegen Timestamps) \item Einführung des Begriffs CSPARQL als SPARQL mit Erweiterungen für Ereignisverarbeitung \item Beispielhafter CSPARQL-Query \item Erläuterung der einzelnen Bestandteile? \item Vorteile bei der Nutzung von CSPARQL? \end{itemize} \end{draft} Um Ereignisse aus verschiedenartigen Quellen gemeinsam zu verarbeiten ist das RDF-Format das Mittel der Wahl. Das Ressource Description Framework (RDF) wird bereits im semantischen Web zur Erfassung und Verknüpfung von Wissen verwendet und kann leicht über die Sprache SPARQL (\enquote{SPARQL Protocol And RDF Query Language}) abgefragt werden. RDF-Daten bestehen aus einer Menge von Tripeln, welche sich aus den drei Komponenten Subjekt, Prädikat und Objekt zusammensetzen. Ein Subjekt wird durch eine eindeutige URI identifiziert; über Prädikate aus Ontologien können diesem Subjekt über Spezifikation im Objekt-Teil des Tripels bestimmte Attribute mit Werten zugesprochen werden oder Verknüpfungen mit anderen Subjekten hergestellt werden. Aufgrund der Flexibilität dieser Struktur ist es möglich, nahezu jede Art von Informationen auf Tripel abzubilden. Zur Verarbeitung von Ereignissen im RDF-Format werden die Ereignisdatenströme der verarbeitenden Engine entweder direkt als RDF-Datenstrom zugeführt oder gegebenenfalls vor der Zuführung in einen RDF-Datenstrom konvertiert. In Listing~\ref{lst:sample_rdf_event} aufgeführt sind RDF-Tripel, die ein beispielhaftes Zustands-Ereignis aus einem PKW zeigen. \begin{lstlisting}[caption={Ereignis im RDF-Format},label={lst:sample_rdf_event}] http://myexample.org/cars/event#1468064960110 http://myexample.org/cars#carID http://myexample.org/cars#8 http://myexample.org/cars/event#1468064960110 http://myexample.org/cars#currentTemperature "27"^^http://www.w3.org/2001/XMLSchema#integer http://myexample.org/cars/event#1468064960110 http://myexample.org/cars#currentSpeed "13"^^http://www.w3.org/2001/XMLSchema#integer \end{lstlisting} Der große Vorteil bei der Ereignisverarbeitung mit SPARQL auf RDF-Daten liegt in der Mächtigkeit dieser Abfragesprache: Innerhalb einer einzigen SPARQL-Abfrage ist es möglich Ereignisse aus verschiedenen Quellen miteinander zu kombinieren, direkt mit Hintergrundwissen zu kombinieren, nach eigenen Kriterien zu filtern, einfache Berechnungen anzustellen und aus dem Ergebnis neue Ereignisse beliebiger Struktur zu erzeugen. Somit muss der Anwender neben SPARQL keine weitere Programmiersprache lernen oder sich anderweitig mit der Implementierung der Engine auseinandersetzen, sondern kann sich komplett auf die zu analysierenden Ereignisse konzentrieren. Listing~\ref{lst:sample_combine_events_sparql} zeigt einen SPARQL-Query, in dem zwei aufeinanderfolgende Ereignisse mit Angaben zur Momentangeschwindigkeit eines Autos zu einem komplexeren Beschleunigungsereignis kombiniert werden. \begin{lstlisting}[caption={Kombination von Ereignissen mit SPARQL},label={lst:sample_combine_events_sparql}] REGISTER QUERY ConstructAcceleratingCars AS PREFIX f: PREFIX cars: CONSTRUCT { [] cars:carID ?car; cars:acceleratedBy ?deltaSpeed . } FROM STREAM [RANGE 5s STEP 1s] WHERE { ?e1 cars:carID ?car ; cars:currentSpeed ?speed1 . ?e2 cars:carID ?car ; cars:currentSpeed ?speed2 . BIND (?speed2 - ?speed1 AS ?deltaSpeed) FILTER(f:timestamp(?e1,cars:carID,?car) < f:timestamp(?e2,cars:carID,?car)) FILTER(?speed1 < ?speed2) } \end{lstlisting} \chapter{Gegenüberstellung existierender CEP-Engines} Es gibt bereits einige Technologien um Ereignisströme zu verarbeiten. Im Folgenden stelle ich nun ein paar bekannte Systeme kurz vor. \section{Anforderungen an CEP-Engines} Wichtig wären gegebenenfalls diese Kriterien: \begin{itemize} \item Verarbeitung von mehreren Ereignisströmen \item Kombination von Ereignissen \enquote{Join} \item Konstruktion neuer Ereignisse \item Sliding/Tumbling Windows \item Mustererkennung (Abfolge, Präsenz/Absenz von Ereignissen [zeitlicher Abstand]) \item \enquote{COMPUTE EVERY} - Neuberechnung in festen Intervallen \item Ausführen von benutzerdefiniertem Code \item Integration von Hintergrundwissen [aus weiteren Quellen] \item Aggregationsfunktionen über mehrere Ereignisse (Sum, Avg, ...) \item Vergleichsoperatoren für Selektionskriterien \item Bonuspunkte: Reasoning (Logikoperationen und Schlussfolgerungen) \end{itemize} \section{Etalis/EP-SPARQL} \section{CQELS} \section{Esper} Ein Ansatz mit einer eigenen Abfragesprache. Hintergrundwissen etwas fummelig, aber theoretisch möglich. Nur halt nicht in der selben Abfragesprache. \section{C-SPARQL} Verarbeitet Ströme im RDF-Format. Kann Hintergrundwissen im RDF-Format einbeziehen. Wurde in Java implementiert \dots Es gibt einen W3C-Standard für die Sprache C-SPARQL. Diese Engine werde ich nachher genauer vorstellen und benutzen. \subsection{Bekannte Probleme} Die Timestamp-Funktion der C-SPARQL-Engine (Version 0.9.6) gibt für Tripel die Literale enthalten keinen Timestamp zurück. Dadurch ist es nicht direkt möglich, solche Tripel zeitlich einzuordnen. Es ist allerdings möglich, dieses Problem durch Erweiterung oder Umstrukturierung der Ereignistripel zu umgehen. \chapter{Die C-SPARQL-Engine im Detail} So, hier kommt dann das, was man so zu C-SPARQL erzählen kann. Dieser Bereich bekommt noch genug Sections für die Features von C-SPARQL. \todo {Teilbereiche überdenken und füllen} \chapter{Die C-SPARQL-Engine im Einsatz} Hier wird jetzt mal wirklich C-SPARQL verwendet. \section{RDF-Datenströme} Spannender ist es, wenn man dann ein Haufen RDF-Tripel reingedrückt bekommt. Die sehen anders aus, sind aber auch toll. Schemenhaft könnten die ja so aussehen: Wir können uns diese Datenströme angucken und beispielsweise auf bestimmte Dinge achten. Aber irgendwie ist das nicht so toll, weil unsere Abfragen recht spezifisch sein müssen. Wäre es nicht toll, wenn wir bestimmte Dinge bereits vorher irgendwie da integrieren könnten? \section{Beispielszenario} Ich hab noch keine richtig tolle Idee, aber das kommt noch. \section{Umsetzung mit C-SPARQL} Jetzt kommt ein kurzer Schwank dazu, wie die Umsetzung gedacht ist. \subsection{Nötiger Code für das Setup} Zunächst wird ein Datenstrom benötigt; dafür wäre ein kleiner Generator nicht verkehrt. \subsection{Abfrage des Datenstroms mit C-SPARQL} Und jetzt werden Listener und Abfragen gebaut, um aus diesem Strom Informationen zu extrahieren oder neue, höherwertige Ereignisse zu konstruieren. \section{Bewertung/Ergebnis} \enquote{Und? Wie war's?} \chapter{Fazit} Die Engine macht sich hoffentlich ganz gut. \chapter{Ausblick} Vielleicht geht das mit dem Reasoning später ja noch besser - aktueller Stand ist noch limitiert, aber es wird fleißig daran geforscht. \dots % Kurzer Test \cite{hsh:cep}[Einstieg] \cite{hsh:integrating}[erste Quelle] \cite{barbieri:reasoning}[zweite Quelle] \cite{barbieri:querying}[dritte Quelle] % Referenz auf Bibtex mit Kommentar % \cite{robbins:gawk}[Siehe ab S.95] % Einbinden von Tex-Files %\input{abkuerz.tex} %\input{einfuehrung.tex} % Einbinden von größeren Tex-Files, z.B. Kapiteln %\include{normen} %\include{aufbau} %\include{zitieren} %\include{form} %\include{allgtips} %%% Ende inhaltlicher Inhalt! %%% % Literaturverzeichnis % Schlüssel als Buchstaben \bibliographystyle{alpha} \bibliography{Literaturverweise} \end{document} % Nothing beyond this line!