Zabel, Thomas: Die Eignung Neuronaler Netze für die Mining-Funktionen Clustern und Vorhersage. Hamburg, Diplomica Verlag GmbH 2015 Buch-ISBN: 978-3-95850-986-3 PDF-eBook-ISBN: 978-3-95850-486-8 Druck/Herstellung: Diplomica® Verlag GmbH, Hamburg, 2015 Covermotiv: ©SL[DED\GH Bibliografische Information der Deutschen Nationalbibliothek: Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Dies gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Bearbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden und die Diplomica Verlag GmbH, die Autoren oder Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl. verbliebene fehlerhafte Angaben und deren Folgen. Alle Rechte vorbehalten © Diplomica Verlag GmbH Hermannstal 119k, 22119 Hamburg http://www.diplomica-verlag.de, Hamburg 2015 Printed in Germany

Inhaltsverzeichnis 1 Einführung.................................................................................................................... 1 1.1 Problem ................................................................................................................. 1 1.2 Ziel und Aufbau .................................................................................................... 2 2 Neuronale Netze........................................................................................................... 4 2.1 Hintergrund - Eine kurze Geschichte der Neuroinformatik.................................. 4 2.2 Betriebswirtschaftliche Anwendungen Neuronaler Netze.................................... 7 2.3 Grundlagen.......................................................................................................... 10 2.4 Backpropagation-Netze....................................................................................... 12 2.5 Eigenschaften ...................................................................................................... 15 2.6 Einordnung.......................................................................................................... 15 3 Cluster und Vorhersage als Bestandteile von Data Mining ....................................... 17 3.1 Clusteranalyse ..................................................................................................... 17 3.1.1 Einführung ................................................................................................. 17 3.1.2 Methodischer Hintergrund......................................................................... 18 3.1.2.1 K-Means-Verfahren ....................................................................... 18 3.1.2.2 Kohonen Netze (SOM – Self-Organizing Feature Maps) ............. 22 3.2 Vorhersage .......................................................................................................... 24 3.2.1 Einführung ................................................................................................. 24 3.2.2 Methodischer Hintergrund......................................................................... 24 3.2.2.1 Box-Jenkins Technik ..................................................................... 24 3.2.2.2 Backpropagation-Netze ................................................................. 31 3.3 Data Mining ........................................................................................................ 36 3.3.1 Begriffsbestimmung .................................................................................. 36 3.3.2 Konzeption des Data Mining..................................................................... 36 3.3.3 Phasenmodell des Data Mining-Prozesses ................................................ 38 3.3.3.1 Problemdefinition .......................................................................... 38 3.3.3.2 Datenaufbereitung.......................................................................... 39 3.3.3.3 Data Mining-Analyse..................................................................... 41 3.3.3.4 Interpretation der Ergebnisse ......................................................... 42 4 Einsatz von Neuronalen Netzen in Software-Tools ................................................... 44 4.1 Ausgangssituation ............................................................................................... 44 4.2 Eingesetzte Software........................................................................................... 45 4.2.1 IBM Intelligent Miner ............................................................................... 45 4.2.2 KnowledgeSTUDIO .................................................................................. 46 4.2.3 NeuNet Pro ................................................................................................ 47 4.2.4 SPSS ....................................................................................................... 48 4.2.5 SPSS Clementine....................................................................................... 49

4.3 Vorgehensweise .................................................................................................. 50 4.3.1 Problemdefinition ...................................................................................... 50 4.3.2 Datenaufbereitung ..................................................................................... 51 4.3.3 Analyse - Clusteranalyse ........................................................................... 54 4.3.3.1 Trainieren des Kohonen-Netzes..................................................... 54 4.3.3.2 Testen des KNN............................................................................. 55 4.3.3.3 Clustern der Versicherungsdaten ................................................... 55 4.3.3.4 Vergleich mit dem K-Means-Verfahren ........................................ 56 4.3.3.5 Zusammenfassung ......................................................................... 56 4.3.4 Analyse - Prognose.................................................................................... 58 4.3.4.1 Trainieren des Netzes..................................................................... 58 4.3.4.2 Testen des KNN............................................................................. 59 4.3.4.3 Prognose der Versicherungsdaten.................................................. 60 4.3.4.4 Vergleich mit der Box-Jenkins-Technik........................................ 63 4.3.4.5 Zusammenfassung ......................................................................... 66 5 Resümee und Ausblick............................................................................................... 68 Literaturverzeichnis ........................................................................................................ 71 Anhang............................................................................................................................ 78

Abkürzungsverzeichnis AE AKF ANSI-C APE AR[p] ARMA [p,q] ARIMA [p,d,q] B, Bj COV(Yt,Yt+k) et E(Yt) EAKF ESAKF HTML KDD KI KNN MAD MAPE MA [q] MLP MPE MSE PAKF PSAKF SAKF SE SNNS SOM VAR (Yt) VR WWW XGUI XOR

absoluter Fehler (Absolute Error) theoretische Autokorellationsfunktion American National Standard Institute – C absoluter prozentualer Fehler (Absolute Percentage Error) Autoregressiver Prozess der Ordnung p Autoregressiver Moving Average Prozess mit den Ordnungen p und q Integrierter Autoregressiver Moving Average Prozess Backshift Operator Autokovarianz Prognosefehler Erwartungswert der Zufallsvariablen Y empirische Autokorrelationsfunktion empirische Stichprobenautokorrelationsfunktion Hyper Text Markup Language Knowledge Discovery in Databases Künstliche Intelligenz Künstlich Neuronale Netze Mittlere absolute Abweichung (Mean Absolute Deviation) Mittlerer absoluter prozentualer Fehler (Mean Absolute Percentage Error) Moving Average Prozess der Ordnung q Multilayer Perceptron Mittlerer prozentualer Fehler (Mean Percentage Error) Mittlerer quadratischer Fehler (Mean Square Error) Partielle Autokorrelationsfunktion partielle Stichprobenautokorrelationsfunktion Stichprobenautokorrelationsfunktion Standardfehler (Standard Error) Stuttgart Neural Network Simulator Self-Organizing Feature Maps Varianz der Zufallsvariablen Y Variationskoeffizient World Wide Web X-Window bases Graphical User Interface Exklusives Oder

Abbildungsverzeichnis Abb. 1: Aufbau der Arbeit ................................................................................................ 3 Abb. 2: Feedforward-Multilayer-Perceptron mit H=3 Schichten ................................... 12 Abb. 3: Kohonen self-organizing feature maps .............................................................. 23 Abb. 4: Ablaufdiagramm für die Modellbildung mit ARIMA ....................................... 29 Abb. 5: Der iterative neuronale Prognosemodellbildungsprozess.................................. 31 Abb. 6: Phasenmodell des Data Mining-Prozesses ........................................................ 38 Abb. 7: IBM Intelligent Miner – Mining Base .............................................................. 45 Abb. 8: KnowledgeSTUDIO – Clusteranalyse: K-Means.............................................. 46 Abb. 9: NeuNet Pro – Scatter Graph .............................................................................. 47 Abb. 10: SPPS – SPSS Dateneditor & Viewer ............................................................... 48 Abb. 11: SPSS Clementine – Modellbildung ................................................................. 49 Abb. 12: Phasenmodell der praktischen Analyse ........................................................... 50 Abb. 13: Gitter – Kohonen-Netz..................................................................................... 55 Abb. 14: MAPE und R2 – Vergleich............................................................................... 62 Abb. 15: Training vs. Test - Gütevergleich .................................................................... 63 Abb. 16: Stationaritätsüberprüfung der Trainingsdaten - Trend..................................... 64 Abb. 17: Stationaritätsüberprüfung der Testdaten - Trend ............................................. 64 Abb. 18: Tatsächlicher Beitrag und approximierter Beitrag durch SPSS, SPSS Clementine, NeuNet Pro und IBM Intelligent Miner – Trainingsdaten (Ausschnitt).................................................................................................. 66 Abb. 19: Tatsächlicher Beitrag und approximierter Beitrag durch SPSS, SPSS Clementine – Testdaten (Ausschnitt).......................................................... 66

Tabellenverzeichnis Tab. 1: Ergebnis der Faktorenanalyse............................................................................. 53 Tab. 2: Prognoseerstellung mit Neuronalen Netzen – Vergleich der Fehlergüte ........... 61 Tab. 3: Prognoseerstellung mit ARIMA – Fehlergüte der Ergebnisse ........................... 65

Symbolverzeichnis D aj

E

J

i i

d2g,k

Momentumrate Aktivierungszustand des Neurons j Prozessparameter eines AR(p)-Prozesses Prozessparameter eines MA(q)-Prozesses

K

Quadratische euklidische Distanz zwischen dem Objekt g und dem Clusterzentrum k Lernrate

e Etolerant

Euler’sche Konstante Fehlertoleranz

ETA2 F hrs Li N hidden

Streuung, die durch eine Clusterlösung erklärt wird MSE-Fehlermaß Nachbarschaftsfunktion i-te Schicht des Neuronalen Netzes Anzahl der verborgenen Neuronen

N output

Anzahl der Neuronen der Ausgabeschicht

N pts

Anzahl der Variablen der Trainingsdatensätze

N train

Anzahl der Trainingsdatensätze

nkj netj

Zahl der Objekte des Clusters k mit gültigen Angaben in der Variablen j Netzeingabe des Neurons j

o oj )w

Netzausgabe Ausgabe des Neurons j Abbildung

p PRE2K

Ordnung des AR-Prozesses Prozentuelle Verbesserung gegenüber einer vorausgehenden Clusterlösung

q

Ordnung des MA-Prozesses

U (Yt,Yt-k)= U (k)

Korrelationskoeffizient mit vorgegebenen Lag k

r SQin(K) SQout(K) 4j Ut wij

Korrelationskoeffizient Streuungsquadratsumme im Cluster K Streuungsquadratsumme außerhalb des Clusters K Schwellenwert des Neurons j White-Noise-Prozess Gewicht zwischen dem Neuron i und dem Neuron j

x

Netzeingabe

x kj

Clusterzentrum des k-ten Clusters und j-ten Variablen