Moving Average Wavelet

Rainfall Datenanalyse mit gleitenden Durchschnitt (MA) - Modell und Wavelet multi-Auflösung intelligente Modell für die Lärmmessung zur Verbesserung der Prognose Genauigkeit First Online: 29 Juli 2014 Empfangen: 17 Januar 2013 Akzeptiert: 14 Juli 2014 Zitieren Sie diesen Artikel als: Akrami, SA El - Shafie, A. Naseri, M. et al. Neural Comput Applic (2014) 25: 1853. doi: 10.1007 / s00521-014-1675-0 2 Zitate 244 Downloads Die Niederschlagsvorhersage und die Annäherung ihrer Größenordnung haben eine enorme und wichtige Rolle bei der Wasserbewirtschaftung und der Abflussvorhersage. Das Hauptziel dieser Arbeit ist es, die Beziehung zwischen den Niederschlagszeitreihen, die durch die Wavelet-Transformation (WT) und den gleitenden Durchschnitt (MA) im Klang-Einzugsgebiet, Malaysia, erreicht wurden. Zu diesem Zweck wurden die Haar - und Dmey-WTs verwendet, um die Niederschlagszeitreihen in 7, 10 verschiedene Auflösungsniveaus zu zersetzen. Mehrere Pre-Processing-Fallstudien auf der Grundlage von 2-, 3-, 5-, 10-, 15-, 20-, 25- und 30-Monats-MAs wurden durchgeführt, um einen längerfristigen Trend im Vergleich zu einem kürzerfristigen MA zu entdecken. Die Informationen und Daten wurden von Klang Gates Dam, Malaysia, von 1997 bis 2008 gesammelt. In Bezug auf das Verhalten werden die Zeitreihen von 10-, 15-, 20- und 30-Tage-Niederschlägen in Annäherungs - und Detailkoeffizienten mit anderer Art zerlegt Von WT. Korrelationskoeffizienten R 2 und Wurzel-Mittel-Quadrat-Fehlerkriterien werden angewandt, um die Leistungsfähigkeit der Modelle zu untersuchen. Die Ergebnisse zeigen, dass es einige Ähnlichkeiten zwischen MA-Filter und Wavelet Approximation Sub-Serie-Filter aufgrund der Rausch-Elimination. Darüber hinaus haben die Ergebnisse, dass die hohe Korrelation mit MAs über Dmey WT im Vergleich zu Haar Wavelet für Niederschlagsdaten erreicht werden kann. Darüber hinaus könnten saubere Signale als Modell-Eingänge verwendet werden, um die Modellleistung zu verbessern. Daher könnten Signalzerlegungstechniken für den Zweck der Datenvorverarbeitung günstig sein und könnten zur Beseitigung der Fehler geeignet sein. Zerlegungskoeffizienten Dmey Wavelet Haar Wavelet Gleitender Durchschnitt Prognosegenauigkeit Referenzen Akrami SA, Nourani V, Hakim SJS (2014) Entwicklung eines nichtlinearen Modells basierend auf Wavelet-ANFIS für die Niederschlagsprognose am Klang Gates Dam. (2006) Datenvorverarbeitung für die Flussfluss-Prognose mittels neuronaler Netze: Wavelet-Transformationen und Datenpartitionierung. Phys Chem Earth 31: 11641171 CrossRef Google Scholar Chang FJ, Chen L (1998) Realer kodierter genetischer Algorithmus für regelbasiertes Hochwasserschutz-Reservoir-Management. Wasser Resour Manag 12 (3): 185198 CrossRef Google Scholar Chen GY, Bui TD, Krzyzak A (2009) Invariante Mustererkennung mit Radon, Dual-Tree-Komplex Wavelet und Fourier-Transformationen. Pattern Recogn 42: 20132019 CrossRef MATH Google Scholar Chen RJC, Bloomfield P, Fu JS (2003) Eine Bewertung von alternativen Prognosemethoden zur Erholungsbesuch. J Leis Res 35 (4): 441454 Google Scholar Erdbeobachtungszentrum, Universiti Kebangsaan Malaysia (UKM), Malaysia 2013 Fonseca ES, Guido RC, Scalassara PR (2007) Wavelet-Zeitfrequenzanalyse und kleinste Quadrate unterstützen Vektor-Maschinen zur Identifizierung von Sprachstörungen . (MRSI) mittels Wavelet-Kodierung und paralleler Bildgebung: In-vitro-Ergebnisse. J Magn Reson 211: 4551 CrossRef Google Scholar Genovese L, Videud B, Ospici M, Deutschd T, Goedeckere S, Mhaut JF (2011) Daubechies-Wavelets für leistungsstarke elektronische Strukturberechnungen. CR Mec 339: 149164 CrossRef MATH Google Scholar Lisi F, Nicolis O, Sandri M (1995) Kombination von Singular-Spektrum-Analyse und neuronale Netze für die Zeitreihen-Prognose. Neuronale Netze für die Vorhersage und Prognose von Wasserressourcen Variablen: eine Überprüfung der Modellierung von Fragen und Anwendungen. Environ Modell Softw 15: 101123 CrossRef Google Scholar Mallat SG (1998) Eine Wavelet-Tour der Signalverarbeitung. Akademische Presse, San Diego MATH Google Scholar Masset P (2008) Analyse der finanziellen Zeitreihen mittels Fourier - und Wavelet-Methoden, Universität Freiburg (Schweiz) Fakultät für Wirtschaftswissenschaften und Sozialwissenschaften Newbold P, Carlson WL, Thorne BM (2003) Wirtschaft und Wirtschaft (fünfte Version). Prentice Hall, Upper Saddle River Google Scholar Nourani V, Komasi M, Mano A (2009) Ein multivariater ANN-Wavelet-Ansatz für die Niederschlagsabflussmodellierung. Wasser Resour Manag 23: 28772894 CrossRef Google Scholar Partal T, Kisi O (2007) Wavelet und Neuro-Fuzzy-Konjunktion Modell für die Niederschlagsvorhersage. J Hydrol 342: 199212 CrossRef Google Scholar Rioul O, Vetterli M (1991) Wavelets und Signalverarbeitung. IEEE SP Zeitschrift. Pp 1438 Serrai H, Senhadji L (2005) Akquisitionszeitverkürzung bei der Magnetresonanzspektroskopie mit diskreter Wavelet-Kodierung. J Magn Reson 177: 2230 CrossRef Google Scholar Shafiekhah M, Moghaddam Abgeordneter, Sheikh El Eslami MK (2011) Die Preisvorhersage für die Strommarktmärkte nach einer hybriden Prognosemethode. Energie-Convers Manag 52: 21652169 CrossRef Google Scholar Sifuzzaman M, Islamand MR, Ali MZ (2009) Anwendung der Wavelet-Transformation und ihre Vorteile im Vergleich zu Fourier-Transformation. J Phys Sci 13: 121134 Google Scholar Syed AR, Aqil B, Badar S (2010) Vorhersage der Netzwerk-Verkehrslast mit Wavelet-Filter und saisonale autoregressive gleitenden Durchschnitt Modell. (2009) Methoden zur Verbesserung der Leistung des neuronalen Netzes in der Prognose der täglichen Flüsse. J Hydrol 372: 8093 CrossRef Google Scholar Yang X, Ren H, Li B (2008) Eingebettete Null-Baum-Wavelets-Codierung basierend auf adaptivem Fuzzy-Clustering zur Bildkompression. Bild Vis Comput 26: 812819 CrossRef Google Scholar Zhao X, Ye B (2010) Faltung Wavelet-Paket-Transformation und ihre Anwendungen auf Signalverarbeitung. Digit Signal Process 20: 13521364 CrossRef Google Scholar Urheberrechtsinformationen Das Natural Computing Applications Forum 2014 Autoren und Mitgliedsverbände Seyed Ahmad Akrami 1 E-Mail-Autor Ahmed El-Shafie 1 Mahdi Naseri 2 Celso AG Santos 3 1. Bau - und Ingenieurbüro Universiti Kebangsaan Malaysia (UKM ) Bangi Malaysia 2. Abteilung für Bauingenieurwesen Universität Birjand Birjand Iran 3. Abteilung für Bau - und Umwelttechnik Bundesuniversität von Paraba Joo Pessoa Brasilien Über diesen Artikel Print ISSN 0941-0643 Online ISSN 1433-3058 Verlagsname Springer LondonFusing moving average model and Stationäre Wavelet-Zerlegung für automatische Ereignis-Erkennung: Fallstudie von Tokyo Expressway Qinghua Liu 1,2 Edward Chung 3 ,. Liujia Zhai 1 1 Schule für Informatik und Ingenieurwesen, Jiangsu Universität für Wissenschaft und Technologie, Zhenjiang, Jiangsu, China 2 Schule für Verkehrstechnik, Tongji Universität, Shanghai, China 3 Smart Transport Research Center, Queensland University of Technology, Brisbane, Queensland, Australien Online verfügbar am 24. Februar 2015. Verkehr Staus ist ein wachsendes Problem in städtischen Gebieten auf der ganzen Welt. Der Verkehrssektor wurde in vollem Gange Veranstaltung Studie über intelligente Verkehrssystem für die automatische Erkennung. Die Funktionalität der automatischen Störungserkennung auf Schnellstraßen ist ein primäres Ziel eines fortschrittlichen Verkehrsmanagementsystems. Um Leben zu retten und sekundäre Zwischenfälle zu vermeiden, ist eine genaue und prompte Störungserkennung notwendig. Dieses Papier stellt eine Methodik bereit, die ein gleitendes Durchschnittsmodell (MA) mit einer stationären Wavelet-Zerlegung für eine automatische Ereignisdetektion integriert, bei der Parameter des Schichtkoeffizienten aus der Differenz zwischen der stromaufwärtigen und der stromabwärtigen Belegung extrahiert werden. Anders als andere Wavelet-basierte Methode vorgestellt, erstens es glättet die Rohdaten mit MA-Modell. Dann verwendet es stationäre Wavelet zu zerlegen, die eine genaue Rekonstruktion des Signals zu erreichen, und verschiebt nicht die Signaltransfer-Koeffizienten. So kann es die Vorfälle genauer erkennen. Die Schwelle zum Auslösen des Alarms wird ebenfalls entsprechend der normalen Verkehrslage mit Stauung eingestellt. Die Methodik wird mit realen Daten von Tokyo Expressway Ultraschallsensoren validiert. Experimentelle Ergebnisse zeigen, dass es richtig und effektiv ist, und dass es Verkehrsunfall von anderen Bedingungen wie wiederkehrende Verkehrsstaus zu unterscheiden. Schlüsselwörter: automatische Störungserkennung gleitender Durchschnitt Modell stationärer Waveletabbau Tokyo Expressway 1 Einleitung Verkehrsstau ist ein wachsendes Problem in städtischen Gebieten auf der ganzen Welt. Han et al. (2007) analysiert, dass ein Großteil der Überlastung durch Störfälle verursacht wird, die sich auf nicht wiederkehrende Ereignisse wie Unfälle, Panne, Schutt, verschüttete Lasten, rauhe Witterung, vorübergehende Instandhaltung und Bautätigkeiten sowie andere ungewöhnliche oder besondere Ereignisse beziehen Die den normalen Verkehrsfluss stören. Während eines Zwischenfalls ist die normale Kapazität der Straße eingeschränkt, und Warteschlangen und Verzögerungen treten häufig auf. Jedes Jahr Autobahnen Unfälle und Hindernisse führen zu Verkehrsstaus, Umweltverschmutzung und Schäden in Eigentum, Verletzungen und Todesopfer. Eine genaue und prompte Störungserkennung ist entscheidend für die Reaktion auf solche Notfälle, um Leben zu retten, sekundäre Zwischenfälle zu vermeiden und die normalen Operationen rechtzeitig wiederherzustellen. Eine Studie (Charles 2007) ergab den zunehmenden Beitrag von Störungen zur Autobahnüberlastung und anderen Problemen hat ein starkes Interesse an der Entwicklung von effizienten und effektiven Methoden zur automatischen Erkennung von Störungen (AID) in den letzten Jahrzehnten. Heutzutage ist die Funktionalität von AID auf den Schnellstraßen ein primäres Ziel des Advanced Traffic Management Systems (ATMS), das integraler Bestandteil eines intelligenten Landverkehrssystems (ITS) ist. Das Ziel dieser Arbeit ist es, eine Methodik vorzuschlagen und zu validieren, um ein Ereignis auf der Schnellstraße zu identifizieren, das ein gleitendes Durchschnittsmodell und eine stationäre Wavelet-Zersetzung fusioniert. Die Daten werden von den Tokyo Expressway Ultraschallsensoren erfasst. In den Felddaten gibt es einige fehlende Daten, die durch Kommunikationsverzögerung sowie Stoßwelle verursacht werden, was zu einem falschen Alarm führen kann. Daher sollte die entwickelte Methodik robust sein mit diesen Geräuschen, die in realen Daten bestehen. Um dieses Problem zu lösen, wird ein MA-Modell angewendet, um die Rohdaten zuerst zu glätten. Dann wird die Wavelet-Zersetzung auf die Geschwindigkeits - und Belegungsdaten angewendet. Der Straßenverkehr unter normalen Umständen hat eine gewisse Trägheit, aber wenn ein Ereignis eintritt, ändert sich der Verkehrsflusszustand und spiegelt sich in der Leistung der Verkehrsparameter wider. Wavelet-Analyse hat gute Leistung, ideale Frequenz und lokale Merkmale in der Analyse der transienten Daten. Im Gegensatz zu anderen Wavelet-basierten Verfahren wird in diesem Papier stationäre Wavelet-Zersetzung angewendet, bei der sich der Übertragungskoeffizient des Signals nicht verschiebt und somit die Zeit des Auftretens genauer erfassen kann. Die vorgeschlagene Methodik wird mit Tokyo Metropolitan Expressway Verkehrssensoren Daten getestet. Dieses Papier ist wie folgt organisiert: Abschnitt 2 liefert die Literaturrecherche für Erkennungsalgorithmen. Abschnitt 3 bietet eine Einführung in die diskrete Wavelet-Transformation und stationäre Wavelet-Transformation. Die in dieser Studie verwendeten Ultraschallsensoren von Tokyo Metropolitan Expressway werden in Abschnitt 4 vorgestellt. Dann wird die vorgeschlagene AID-Methodik für die Schnellstraße in Abschnitt 5 beschrieben, gefolgt von den Test - und Validierungsergebnissen mit den Felddaten in Abschnitt 6. Schließlich wird die Schlussfolgerung Und Diskussion werden in Abschnitt 7 dargestellt. 2 Literaturrecherche Seit den 1970er Jahren wurden eine Reihe automatischer Erkennungssysteme entwickelt (Cook und Cleveland, 1974. Bowers et al., 1995. Dia and Rose, 1997. Cheu et al. 2004. Crabtree und Stamatiadis, 2007. Jeong et Al. 2011 und Kadali et al., 2014). AID-Systeme umfassen zwei Hauptkomponenten, Detektionstechnologie und Incident Detection Algorithmus. Die Verkehrserfassungstechnologie liefert die Verkehrsinformationen, die zum Erfassen eines Vorfalls erforderlich sind, während der Vorfalldetektionsalgorithmus diese Information interpretiert und das Vorhandensein oder Nichtvorhandensein von Vorfällen ermittelt. Die Leistung des AID-Systems wird nach drei Hauptkriterien bewertet (Chung und Rosalion, 1999 und Jiang et al., 2001). 2.1 Leistungsbewertungskriterien Die Parameter sind die Erkennungsrate (DR), die falsche Alarmrate (FAR) und die mittlere Erkennungszeit (MTTD). Die DR ist das Verhältnis der Anzahl der detektierten Vorfälle zu der aufgezeichneten Anzahl von Vorfällen im Datensatz. Sie wird in Prozent angegeben. Die Algorithmen untersuchen Vorfälle in jedem diskreten Zeitintervall wie 20 s, 30 s und 1 min. Der FAR ist das Verhältnis von falschem Erfassungsintervall zu der Gesamtzahl der Intervalle, auf die der Algorithmus angewendet wurde. Sie wird gewöhnlich als prozentualer Anteil pro Abschnitt (zwischen der stromaufwärtigen und der stromabwärtigen Detektorstation) ausgedrückt. Wobei Nf die Anzahl des fehlerhaften Erfassungsintervalls Nt ist, die Gesamtzahl der Intervalle ist, auf die der Algorithmus angewendet wurde. Die Erfassungszeit ist die Zeitdifferenz zwischen dem Zeitpunkt, zu dem der Vorfall durch den Algorithmus erfasst wurde, und der tatsächlichen Zeit, in der das Ereignis aufgetreten ist. Die MTTD ist die durchschnittliche Zeit bis zur Erkennung über n Zwischenfälle. 2.2 Erkennungstechnologie Für das Verkehrsmanagement stehen eine Reihe von Technologien zur Verfügung, die auch zur Erkennung von Störfällen genutzt werden. Diese Technologien umfassen: Induktionsschleifendetektoren verwenden magnetische oder induktive Schleifen, die in dem Bürgersteig eingebettet sind, um die Anwesenheit eines Fahrzeugs zu detektieren, wobei die am häufigsten verwendeten Detektoren Mikrowellenradar, Infrarot-, Ultraschalldetektion und nicht aufdringliche Detektoren sind, die auf einer Struktur oberhalb der Fahrbahn montiert sind. Mikrowelle arbeitet bei jedem Wetter gut, während andere empfindlich auf Umwelteinflüsse sind Videobild-Erkennung Verarbeitung Bilder von der Kamera ist lichtempfindlich und wurde teuer, aber die Kosten fallen Fahrzeugsensoren, Li und McDonald (2005) beschrieben, dass die Installation von elektronischen Maut Tags in einem zunehmenden Anteil der Fahrzeugflotte bot die Möglichkeit, Sondenfahrzeuge als Sensoren zur Messung von Geschwindigkeiten und Reisezeiten zu verwenden. Automatische Nummernschild-Erkennungstechnologie kann alternativ verwendet werden Mobiltelefon-Standort ist ähnlich im Konzept der Fahrzeug-Sonden, aber unter Verwendung von Triangulation zur Überwachung von Fahrzeugfahrgeschwindigkeiten, daher ist es in der Lage, Vorfälle zu erkennen (Cheu et al., 2002). Wie zuvor berichtet, werden induktive Schleifendetektoren, die in dem Pflaster eingebettet sind, typischerweise verwendet, um Verkehrsdaten zu erhalten. Die Daten umfassen Geschwindigkeit, Durchfluss und Belegung und werden typischerweise in 20 s Zyklen bereitgestellt. Daten dieses Typs würden die Eingabe zu einem Erkennungsalgorithmus bilden, der ein Flag anhebt, um das Vorhandensein eines Vorfalls anzuzeigen. 2.3 Incident Erkennungsalgorithmen Viele Forschungs - und Entwicklungsarbeiten konzentrierten sich auf automatische Erkennungsalgorithmen. Diese AID-Algorithmen können in die folgenden Kategorien eingeteilt werden. (1) Vergleichsalgorithmen Vergleichsalgorithmen vergleichen die aktuellen Verkehrsbedingungen wie Volumen und Belegung mit vorgegebenen Schwellenwerten und entscheiden, ob ein Ereignis eingetreten ist oder nicht. Beispiele für Vergleichsalgorithmen umfassen den California Algorithmus, den California 7 Algorithmus, den California 8 Algorithmus und andere modifizierte oder verbesserte Mustererkennungsalgorithmen. Der California-Algorithmus (Payne et al., 1976) vergleicht Belegungen an benachbarten Detektoren im gleichen Zeitintervall und Belegungen in unterschiedlichen Zeitintervallen in demselben Detektor. Belegungen sind 1 min Werte aktualisiert alle 20 s oder 30 s. O (i. T) steht für die mittlere Belegung des Abschnitts i zum Zeitpunkt t (min). Dann erkennt die Entscheidungsregel einen Vorfall, wenn der Wert auf der linken Seite jedes Kriteriums unten die entsprechende Schwelle zum Zeitpunkt t überschreitet. Wobei O & sub1; die Differenz zwischen dem Anteil von stromaufwärts und dem Anteil von stromabwärts O & sub2; ist, ist die relative Differenz zwischen dem Anteil von stromaufwärts und der Anteil von stromabwärts O & sub3; der relative Unterschied zwischen den benachbarten stromabwärts liegenden Anteilen in zwei Minuten T & sub1 ;. T 2 und T 3 die Prüfschwellen sind. Schematic of California Algorithmus ist in Abb. 1 ist. Feige. 1. Schema des kalifornischen Algorithmus Ein ARRB - und VicRoads-AID-Algorithmus wird ebenfalls auf der Grundlage von Geschwindigkeits-, Belegungs - und Durchflussmessungen in 20 s Zeitscheibe entwickelt (Luk 1989). Die Verkehrsparameter werden durch ein doppelinduktives Schleifensystem gemessen, wobei die Stationen 500 m voneinander entfernt liegen. (2) Statistische Algorithmen Statistische Algorithmen vergleichen die beobachteten Verkehrsdaten mit den prädizierten Verkehrsdaten und entscheiden, ob ein Unfall aufgrund statistischer Signifikanz aufgetreten ist oder nicht. Beispiele für die statistischen Algorithmen umfassen den Standard-Normalabweichungsalgorithmus und den Bayes'schen Algorithmus (Levin und Krause 1978). (3) Zeitreihenalgorithmen Zeitreihenalgorithmen (Ahmed und Cook 1982a) berechnen die kurzfristigen Prognosewerte auf der Grundlage der beobachteten Werte und die statistische Prognose der Verkehrsdaten. Signifikante Abweichungen zwischen beobachteten und prognostizierten Werten werden auf Vorfälle zurückgeführt. Beispiele für die Zeitreihenalgorithmen umfassen den doppelten exponentiellen Glättungsalgorithmus, die Detektorlogik mit Glättungsalgorithmus und den autoregressiven integrierten gleitenden Durchschnittsalgorithmus usw. (Ahmed and Cook 1982b). (4) Katastrophe-Theoriealgorithmen Katastrophe-Theoriealgorithmen (Persuad und Hall 1989) wie der McMaster-Algorithmus (Aultman-Hall et al., 1991, Persaud et al., 1990) ermitteln Vorfälle aus plötzlichen diskreten Veränderungen, die in einer einzigen Variablen von Interesse auftreten Wie Geschwindigkeit, Durchfluss und Belegung eine gleichmäßige und kontinuierliche Veränderung aufweisen. (5) Andere Algorithmen Diese Algorithmen umfassen Wavelet-Theorie, neuronale Netzwerkalgorithmen (Jin et al., 2002), Fuzzy-Set-Algorithmen und Videobildverarbeitung. Die Wavelet-Theorie wurde auf die Erkennung von Verkehrsstörungen angewendet, da sie überlegen war, neue Merkmale durch die Transformation zu entgiften und zu extrahieren (Ghosh-Dastidar und Adeli, 2003. Jeong et al., 2006a, Manjunath und Ravikumar, 2010 und Jeong et al. Luo et al. (2010) einen Wavelet-basierten Expressway Incident Detection Algorithmus mit adaptiven Schwellwertparametern. 3 Einführung in die diskrete Wavelet-Transformation und stationäre Wavelet-Transformation 3.1 Zerlegung und Rekonstruktion von diskreten Wavelets Die diskrete Wavelet-Zerlegung verwendet allgemein den Mallat-Algorithmus. Da die Wavelet-Transformation für unendlich lange Signale definiert ist, müssen die endlichen Längensignale erweitert werden, bevor sie transformiert werden können (Li et al., 2003). Dann werden die Koeffizienten nach der Wavelet-Zersetzung mit dem Tiefpaß und dem Hochpaßfilter und der Abwärtsabtastung (2) als Niederfrequenzsignal und Hochfrequenzsignal übertragen, die sicherstellen, daß die Menge des Datensignals nach der Wavelet-Zersetzung Bleibt unverändert (Karim und Adeli 2002). Bei der Rekonstruktion werden zunächst die Approximationskoeffizienten und Detailkoeffizienten aufwärtsabgetastet (2) und gefiltert und passieren dann Tiefpaß - bzw. Hochpaßrekonstruktionsfilter, um jeweils die Approximationskoeffizienten aj (oder das Originalsignal f (t)) wiederherzustellen Previous level Nieder - und Hochfrequenzfilter, die im Zersetzungsfilter verwendet werden, heißen h und g. Der diskrete Wavelet-Zerlegungs - und Rekonstruktionsvorgang ist in Fig. 1 gezeigt. 2 (Jeong et al., 2006b). Feige. 2. Zerlegung und Rekonstruktion von diskreten Wavelets 3.2 Zerlegung und Rekonstruktion stationärer Wavelets Die klassische diskrete Wavelet-Transformation (DWT) hat den Nachteil, dass sie keine zeitinvariante Transformation ist. Das bedeutet, dass auch bei periodischer Signalverbreiterung der DWT einer übersetzten Version eines Signals X im allgemeinen nicht die übersetzte Version der DWT von X ist. Der stationäre Wavelet-Transformations - (SWT-) Algorithmus wird von DWT abgeleitet, hat aber diesen Mangel nicht. SWT für einen gegebenen Näherungskoeffizienten a j (oder das ursprüngliche Signal f (t)) des vorherigen Pegels kann durch Falten des Signals mit den geeigneten Filtern wie im DWT-Fall aber ohne Abwärtsabtastung erhalten werden. Dann sind die Approximations - und Detailkoeffizienten auf Ebene j die Größe N. Was die Signallänge ist. Der diskrete Wavelet-Zerlegungs - und Rekonstruktionsvorgang ist in Fig. 1 gezeigt. 3 . Zerlegung und Rekonstruktion stationärer Wavelets Der allgemeine Schritt j fasst die Approximationskoeffizienten auf Ebene j mit aufwärts abgetasteten Versionen der entsprechenden Originalfilter zusammen, um Approximations - und Detailkoeffizienten zu erzeugen. 4 Datenerhebung und - analyse Die in diesem Papier vorgestellte Methodik wurde unter Verwendung von Daten entwickelt, die von Ultraschallsensoren auf der folgenden Seite gesammelt wurden. 4.1 Standortbeschreibung Die ausgewählte Stelle ist die Shibuya-Linie (Route 3) der Tokyo Metropolitan Expressway (Abb. 4). Tokyo Metropolitan Expressway hat eine Gesamtstrecke von 301,3 km im Einsatz und ein tägliches durchschnittliches Verkehrsaufkommen von 1,114 Millionen Fahrzeugen. 4. Tokyo Metropolitan Schnellstraßennetz Tab. 1 zeigt die Verkehrsflussstatistiken der Tokyo Metropolitan Expressway vom 1. April 2010 bis zum 31. März 2011. Tab. 1. Verkehrsvolumen Schematische Darstellung des Autobahnabschnitts für die Datenerfassung. 5. Feige. 5. Schematische Darstellung des Autobahnabschnitts für die Datenerhebung 4.2 Datenbeschreibung Die Daten der Shibuya-Linie von März bis August 2010 werden einschließlich der Spitzenzeiten (07: 0009: 30 und 16: 0019: 00) und der Spitzenzeiten (09: 3016) verwendet : 00 und 19: 0007: 00). Die Datenzeichen werden wie folgt aufgelistet: Abtastperiode (1 min) Schleifendetektorintervalle (300 m über dem Durchschnitt) Datenkanal (Spur, Spur 1 und Spur 2). Ein Datenbeispiel für den Verkehrsfluss (Q), die Geschwindigkeit (V) und die Belegung (O) am Tag 2010-03-17 (Mittwoch) der Bahn 1 ist in Fig. 1 gezeigt. 6. wo ein Unfall aufgetreten ist bei 04:19 AM zwischen Upstream-Schleife Detektor 03-02-14 und Downstream-Schleife Detektor 03-02-15. Feige. 6. Rohdaten von Q. V und O der Detektoren 03-02-14 und 03-02-15 am 2010-03-17 5 Vorgeschlagene Methodik Dieses Papier schlägt eine Detektionsmethode vor, die stationäre Wavelet-Zersetzung mit MA-Modell kombiniert. Anders als andere Wavelet-basierte Methode präsentiert, bevor es zuerst Rohdaten mit MA-Modell, dann verwendet stationäre Wavelet zu zerlegen. Das stationäre Wavelet hat gegenüber anderen diskreten Wavelets einen Vorteil, dass es eine genaue Rekonstruktion des Signals erreichen kann und dass sich das rekonstruierte Signal nicht verschiebt. Die folgenden Experimente zeigen, daß sie einen guten Charakter des Nachweisens des Vorfalls hat. Die Schwelle zum Auslösen eines Vorfalls wird durch das Maximum der Extraktion von normalen Datumsdaten bei wiederkehrender Verkehrsstauung bestimmt. Weitere Einzelheiten sind unten dargestellt. 5.1 Verkehrsparameterauswahl Diese Methode nutzt auch das Phänomen, dass der vorgelagerte Verkehr von Belegungen zunehmen wird und stromabwärts eine nach dem Vorfall abnimmt (7). Die Situation war komplizierter, weil es Verkehrsstaus vor dem Unfall aufgetreten. Es ist schwierig, in dieser Situation den Unfall von einer wiederkehrenden Stauung zu unterscheiden. In realen Daten gibt es auch andere Situationen, wie die in Fig. Das heißt, wenn der Unfall sehr nahe bei einer Erfassungsstation aufgetreten ist, wird die Belegung von ihr Null sein und die andere Station wird sich nicht zu viel ändern. Feige. 7. Rohdaten von Q. V und O der Detektoren 03-02-22 und 03-02-23 am 2010-03-30 In diesem Methodik-Eingang ist die Differenz der Belegungen, die vorgelagerte Belegung subtrahiert nachgeschalteten Belegung. 5.2 Rohdaten-Präprozessor Es ist offensichtlich, dass die Rohdaten Rauschen enthalten, die einen falschen Alarm der Erfassung verursachen. In dieser Anwendung wird ein MA-Modell angewendet, um Rohdaten zu glätten (Bild 8). Das Versuchsergebnis zeigt, dass es die Erkennungsrate der Methodik stark verbessern kann. Feige. 8. Roh und geglättete Daten von Q. V und O des Detektors 03-02-42 am 2010-03-30 5.3 Vorgeschlagener Methodikfluss Die vorgeschlagene Methodik wird wie folgt beschrieben. Glatte Rohdaten mit MA-Modell. Es wird eine dreischichtige stationäre Zersetzung der geglätteten Differenz zwischen der stromaufwärtigen und der stromabwärtigen Belegung durchgeführt. Berechnen Sie das Maximum der höchsten Detailschichtkoeffizienten eines normalen Tagesdaten mit Verkehrsstauung als T. Die Schwelle entspricht T plus T. T wird nach DR und FAR eingestellt. Wenn der Wert eines gewissen zeitlich höchsten Detailschichtkoeffizienten größer als der Schwellenwert ist, wird ein einfallender Alarm ausgelöst. Das Flußdiagramm ist in Fig. 1 gezeigt. 9. Feige. 9. Flussdiagramm der vorgeschlagenen Methodik für die Erkennung von Schnellstraßen Die Daten von 2010-03-30 werden als ein Beispiel gezeigt, in dem der Verkehrszustand kompliziert ist. Es enthält eine Verkehrsstauung und einen Unfalldatensatz von 11:04 Uhr zwischen den Schleifendetektoren 22 und 23 der Spur 1. Die geglätteten Unterschiede der Belegungen von drei typischen Abschnitten sind in Fig. 1 gezeigt. 10. Feige. 10. Geglättete Unterschiede bei der Belegung von drei typischen Abschnitten am 2010-03-30 Das Ergebnis der dreistufigen stationären Zersetzung ist in Fig. 3 gezeigt. 11. in der die horizontale Linie für die berechnete Schwelle steht. Ein Verkehrsfehler kann in diesem Beispiel genau erkannt werden. Feige. 11. Vergleich der Wavelet-Zerlegungsergebnisse von drei typischen Abschnitten am 2010-03-30 7 Schlussfolgerungen Dieses Papier schlägt eine Verschmelzung von Moving-Average-Modellen und einer stationären Wavelet-Zerlegungsautomatik mit automatischer Erkennungsmethode vor, die einen geglätteten Unterschied zwischen der vorgelagerten und der stromabwärtigen Belegung als Eingabe verwendet . Diese Methodik wird auf Loop-Daten von Shibuya Line von März bis August 2010 angewendet. Das Experiment Ergebnis zeigt, dass es genau und effektiv ist. Es kann Verkehrsunfall von anderen Bedingungen wie wiederkehrende Verkehrsstaus im komplizierten Verkehr zu unterscheiden. In Experimenten zeigt es auch, dass der reale Verkehrszustand viel komplizierter ist als ein simulierter. Verkehr Unfälle Art und geschieht Zeit wird auch das Ergebnis stark beeinflussen. Im nächsten Schritt mehr Forschung durchgeführt werden und die Methodik wird mit anderen populären Ansätze wie Kalifornien-Algorithmus zu vergleichen. Danksagungen Die Daten in diesem Papier verwendet wird von Smart Transport Research Center der Queensland University of Technology. Diese Forschung wird durch Jiangsu Landesregierung Stipendium und die National Natural Science Foundation von China (Nr. 51008143) unterstützt. Referenzen Ahmed und Cook, 1982a S. A. Ahmed. A. P. Cook Anwendung von Zeitreihenanalysetechniken zur Erkennung von Autobahnvorfällen Transporter Forschungsbericht. Band 841. 1982. S. 1921 Ahmed und Cook, 1982b S. A. Ahmed. A. R. Cook Diskrete dynamische Modelle für die Erkennung von Autobahn-Erkennungssystemen Verkehrsplanung und Technologie. Band 7. Ausgabe 4. 1982. pp. 231242 Aultman-Hall et al. 1991 L. Aultman-Halle. F. L. Halle. Y. Shi. Et al. Katastrophen-Theorie-Ansatz zur Erkennung von Freeway-Ereignissen, Proceedings of the 2. International Conference on Applications of Advanced Technologies in Transportation Engineering, Minneapolis. 1991 Bowers et al. 1995 D. J. Bowers. R. Bretherton. G. T. Bowen Das ASTRID / INGRID-Erkennungssystem für städtische Gebiete, Proceedings of the 2nd World Congress on Intelligent Transport Systems, Yokohama. 1995 Charles, 2007 P. Charles Verkehr Störfallmanagement: beste Praxis 2007. Austroads, Sydney Cheu und al. 2002 R. L. Cheu. H. T. Qi. D. H. Lee Mobiler Sensor und probenbasierter Algorithmus für die Erkennung von Verkehrsunfällen Transport Research Record. Volume 1811. 2002. pp. 1220 Cheu et al. 2004 R. L. Cheu. D. Srinivasan. W. H. Loo Training neuronaler Netze zur Erkennung von Autobahnvorfällen durch Partikelschwarmoptimierung Transport Research Record. Band 1867. 2004. S. 1118 Chung und Rosalion, 1999 E. Chung. N. Rosalion Effektive Erkennung und Bewältigung von Störungen auf Autobahnen Forschungsbericht ARR. Volume 327, 1999. S. 149 Cook und Cleveland, 1974, A. R. Koch. D. E. Cleveland Erfassung von Autobahnkapazitäts-reduzierenden Vorfällen durch Verkehrsstrommessungen Transport Research Record. Band 495. 1974, S. 111 Crabtree und Stamatiadis, 2007 J. D. Crabtree. N. Stamatiadis Dedizierte Nahbereichskommunikationstechnik für die Erkennung von Autobahnvorfällen, Leistungsbewertung basierend auf Verkehrssimulationsdaten Transport Research Record. Band 2000. 2007. S. 5969 Dia und Rose, 1997 H. Dia. G. Rose Entwicklung und Bewertung von neuronalen Netzwerk-Freeway-Incident-Erkennung Modelle mit Felddaten Transport Reseach Teil C: Emerging Technologies. Band 5, Ausgabe 5, 1997. pp. 313331 Ghosh-Dastidar und Adeli, 2003 S. Ghosh-Dastidar. H. Adeli Wavelet-Clustering-Neuronales Netzmodell zur Erkennung von Autobahn-Störungen Computergestützte zivile und infrastrukturelle Planung. Band 18, Ausgabe 5, 2003. pp. 325338 Han et al. 2007 X. L. Han CH. Jiang. H. X. Ge Et al. Ein modifiziertes gekoppeltes Diagrammauto-folgendes Modell, das auf Anwendung des intelligenten Transportsystems und Steuerung der Verkehrsstauung basiert. Acta Physica Sinica. Band 56. Ausgabe 8. 2007. pp. 43834392 Jeong et al. 2006a M. K. Jeong J. C. Lu. X. M. Huo Et al. Wavelet-basierte Datenreduktionstechniken zur Prozessfehlererkennung Technometrics. Band 48. Ausgabe 1. 2006. pp. 2640 Jeong et al. 2006b M. K. Jeong J. C. Lu. N. Wang Wavelet-basiertes SPC-Verfahren für komplizierte funktionale Daten Internationale Zeitschrift für Produktionsforschung. Band 44. Ausgabe 4. 2006. pp. 729744 Jeong et al. 2011 Y. S. Jeong M. Castro-Neto. M. K. Jeong Et al. Ein Wavelet-basierter Freeway-Erkennungsalgorithmus mit Anpassungsschwellenparametern Transport Research Par C: Emerging Technologies s. Band 19, Ausgabe 1, 2011. pp. 119 Jiang et al. 2001 G. Y. Jiang. HM. Wen Z S. Yang Design der Autobahn automatische Incident Detection System und Algorithmus Journal für Verkehr und Verkehrstechnik. Band 1. Ausgabe 1. 2001. Seiten 7781 Jin et al. 2002 X. Jin. R. L. Cheu. D. Srinivasan Entwicklung und Anpassung des konstruktiven wahrscheinlichkeitstheoretischen Neuronalen Netzes bei der Erkennung von Verkehrsunfällen Transport Research Par C: Emerging Technologies. Band 10, Ausgabe 2, 2002. pp. 121147 Kadali et al. 2014, B. R. Kadali. N. Rathi. V. Perumal Evaluation von Fußgänger-Mid-Block-Straßenkreuzung Verhalten mit künstlichen neuronalen Netzwerk Journal of Traffic and Transportation Engineering: Deutsche Ausgabe. Band 1. Ausgabe 2. 2014. pp. 111119 Karim und Adeli, 2002 A. Karim. H. Adeli Incident Erkennungsalgorithmus mit Wavelet Energie Darstellung von Verkehrsmustern Journal of Transportation Engineering. Band 128. Ausgabe 3. 2002. pp. 232242 Levin und Krause, 1978 M. Levin. G. M. Krause Incident Detection: ein Bayesschen Ansatz Transport Research Record, 682: 5258 1978 Li et al. 2003 Q. Li. J. F. Teng. X. Wang. Et al. Forschung der Kreislaufsignalentstörung mit stationären Wavelets transformieren, CCECE 2003 Canadian Conference on Electrical and Computer Engineering: Auf dem Weg zu einer fürsorglichen und menschlichen Technologie, Montreal. 2003 Li und McDonald, 2005 Y. Y. Li M. McDonald Autobahn-Ereignisdetektion mit Sondenfahrzeugen Verfahren der Einrichtung für Bauingenieure: Verkehr. Band 158. Ausgabe 1. 2005. S. 1115 Luk, 1989 J. Y.K. Luk Ein Algorithmus zur automatischen Erkennung von Störfällen am Südöstlichen Arteriengebiet 1989. Vertragsbericht DN Luo et al. 2010 X. L. Luo J. H. Gao. G. H. Niu. Et al. Traffic Incident Akustische Erkennung Methode auf Wavelet Zersetzung und Unterstützung Vektor-Maschine Journal of Traffic und Transportation Engineering. Band 10. Ausgabe 2. 2010. pp. 116121 Manjunath und Ravikumar, 2010 A. Manjunath. H. M. Ravikumar Comparison of discrete wavelet transform (DWT), lifting wavelet transform (LWT), stationary wavelet transform (SWT) and S-transform in power quality analysis European Journal of Scientific Research. Volume 39. Issue 4. 2010. pp. 569576 Payne et al. 1976 H. J. Payne. E. D. Helfenbein. H. C. Knobel Development and testing of incident detection algorithms. Volume 2: research methodology and detailed results FHWA 1976. DC, Washington Persaud and Hall, 1989 B. N. Persaud. F. L. Hall Catastrophe theory and patterns in 30-second freeway traffic data. Implication for incident detection Transportation Research Part A: General. Volume 23. Issue 2. 1989. pp. 103113 Persaud et al. 1990 B. N. Persaud. F. L. Hall. L. M. Hall Congestion identification aspects of the McMaster incident detection algorithm Transportation Research Record. Volume 1287. 1990. pp. 167175 Corresponding author: Edward Chung, PhD, Professor. Copyright 2014 Periodical Offices of Changan University. Production and hosting by Elsevier B. V. Open access funded by Periodical Office, Changan University Citing articles ( )This was the first web page I wrote on Wavelets. From this seed grew other web pages which discuss a variety of wavelet related topics. For a table of contents see Wavelets and Signal Processing. This web page applies the wavelet transform to a time series composed of stock market close prices. Later web pages expand on this work in a variety of areas (e. g. compression, spectral analysis and forecasting). When I started out I thought that I would implement the Haar wavelet and that some of my colleagues might find it useful. I did not expect signal processing to be such an interesting topic. Nor did I understand who many different areas of computer science, mathematics, and quantitative finance would be touched by wavelets. I kept finding that one thing lead to another, making it difficult to find a logical stopping place. This wandering path of discovery on my part also accounts for the somewhat organic growth of these web pages. I have tried to tame this growth and organize it, but I fear that it still reflects the fact that I did not know where I was going when I started. The Java code published along with this web page reflect the first work I did on wavelets. More sophisticated, lifting scheme based, algorithms, implemented in Java can be found on other web pages. The wavelet lifting scheme code, published on other web pages, is simpler and easier to understand. The wavelet lifting scheme also provides an elegant and powerful framework for implementing a range of wavelet algorithms. In implementing wavelet packet algorithms, I switched from Java to C. The wavelet packet algorithm I used is simpler and more elegant using Cs operator overloading features. C also supports generic data structures (templates), which allowed me to implement a generic class hierarchy for wavelets. This code includes several different wavelet algoriths, including Haar, linear interpolation and Daubechies D4. Like the wavelet algorithms, the financial modeling done here represents very early work. When I started working on these web pages I had no experience with modeling financial time series. The work described on this web page lead to more intensive experiments with wavelet filters in financial models, which I continue to work on. On this web page I use stock market close prices. In financial modeling one usually uses returns, since what you are trying to predict is future return. I became interested in wavelets by accident. I was working on software involved with financial time series (e. g. equity open and close price), so I suppose that it was an accident waiting to happen. I was reading the February 2001 issue of WIRED magazine when I saw the graph included below. Every month WIRED runs various graphic visualizations of financial data and this was one of them. If stock prices do indeed factor in all knowable information, a composite price graph should proceed in an orderly fashon, as new information nudges perceived value against the pull of established tendencies. Wavelet analysis, widely used in communications to separate signal (patterned motion) from noise (random activity), suggests otherwise. This image shows the results of running a Haar transform - the fundamental wavelet formula -- on the daily close of the Dow and NASDQ since 1993. The blue mountains constitute signal. The embedded red spikes represent noise, of which the yellow line follows a 50-day moving average. Noise, which can be regarded as investor ignorance, has risen along with the value of both indices. But while noise in the Dow has grown 500 percent on average, NASDAQ noise has ballooned 3,000 percent, far outstripping NASDAQs spectacular 500-percent growth during the same period. Most of this increase has occurred since 1997, with an extraordinary surge since January 2000. Perhaps there was a Y2K glich after all -- one that derailed not operating systems and CPUs, but -- -- investor psychology. - Clem Chambers (clemcadvfn). Graph and quote from WIRED Magazine, February 2001, page 176 I am a Platonist. I believe that, in the abstract, there is truth, but that we can never actually reach it. We can only reach an approximation, or a shadow of truth. Modern science expresses this as Heisenberg uncertainty. A Platonist view of a financial time series is that there is a true time series that is obscured to some extent by noise. For example, a close price or bid/ask time series for a stock moves on the basis of the supply and demand for shares. In the case of a bid/ask time series, the supply/demand curve will be surrounded by the noise created by random order arrival. If, somehow, the noise could be filtered out, we would see the true supply/demand curve. Software which uses this information might be able to do a better job because it would not be confused by false movements created by noise. The WIRED graph above suggests that wavelet analysis can be used to filter a financial time series to remove the associated noise. Of course there is a vast area that is not addressed by the WIRED quote. What, for example, constitutes noise What are wavelets and Haar wavelets Why are wavelets useful in analyzing financial time series When I saw this graph I knew answers to none of these questions. The analysis provided in the brief WIRED paragraph is shallow as well. Noise in the time series increases with trading volume. In order to claim that noise has increased, the noise should be normalized for trading volume. Reading is a dangerous thing. It can launch you off into strange directions. I moved from California to Santa Fe, New Mexico because I read a book. That one graph in WIRED magazine launched me down a path that I spent many months following. Like any adventure, Im not sure if I would have embarked on this one if I had known how long and, at times, difficult, the journey would be. Years ago, when it first came out, I bought a copy of the book The World According to Wavelets by Barbara Hubbard, on the basis of a review I read in the magazine Science . The book sat on my shelf unread until I saw the WIRED graph. Wavelets have been somewhat of a fad, a buzzword that people have thrown around. Barbara Hubbard started writing The World According to Wavelets when the wavelet fad was starting to catch fire. She provides an interesting history of how wavelets developed in the mathematical and engineering worlds. She also makes a valiant attempt to provide an explanation of what the wavelet technique is. Ms. Hubbard is a science writer, not a mathematician, but she mastered a fair amount of basic calculus and signal processing theory (which I admire her for). When she wrote The World According to Wavelets there were few books on wavelets and no introductory material. Although I admire Barbara Hubbards heroic effort, I had only a surface understanding of wavelets after reading The World According to Wavelets . There is a vast literature on wavelets and their applications. From the point of view of a software engineer (with only a year of college calculus), the problem with the wavelet literature is that it has largely been written by mathematicians, either for other mathematicians or for students in mathematics. Im not a member of either group, so perhaps my problem is that I dont have a fluent grasp of the language of mathematics. I certianly feel this when ever I read journal articles on wavelets. However, I have tried to concentrate on books and articles that are explicitly introductory and tutorial. Even these have proven to be difficult. The first chapter of the book Wavelets Made Easy by Yves Nievergelt starts out with an explaination of Haar wavelets (these are the wavelets used to generate the graph published in WIRED). This chapter has numerous examples and I was able to understand and implement Haar wavelets from this material (links to my Java code for Haar wavelets can be found below). A later chapter discusses the Daubechies wavelet transform. Unfortunately, this chapter of Wavelets Made Easy does not seem to be as good as the material on Haar wavelets. There appear to be a number of errors in this chapter and implementing the algorithm described by Nievergelt does not result in a correct wavelet transform. Among other things, the wavelet coefficients for the Daubechies wavelets seem to be wrong. My web page on the Daubechies wavelet transform can be found here. The book Ripples in Mathematics (see the references at the end of the web page) is a better reference. There is a vast literature on wavelets. This includes thousands of journal articles and many books. The books on wavelets range from relatively introductory works like Nievergelts Wavelets Made Easy (which is still not light reading) to books that are accessable only to graduate students in mathematics. There is also a great deal of wavelet material on the Web. This includes a number of tutorials (see Web based reference. below). Given the vast literature on wavelets, there is no need for yet another tutorial. But it might be worth while to summarize my view of wavelets as they are applied to 1-D signals or time series (an image is 2-D data). A time series is simply a sample of a signal or a record of something, like temperature, water level or market data (like equity close price). Wavelets allow a time series to be viewed in multiple resolutions. Each resolution reflects a different frequency. The wavelet technique takes averages and differences of a signal, breaking the signal down into spectrum. All the wavelet algorithms that Im familiar with work on time series a power of two values (e. g. 64, 128, 256. ). Each step of the wavelet transform produces two sets of values: a set of averages and a set of differences (the differences are referred to as wavelet coefficients). Each step produces a set of averages and coefficients that is half the size of the input data. For example, if the time series contains 256 elements, the first step will produce 128 averages and 128 coefficients. The averages then become the input for the next step (e. g. 128 averages resulting in a new set of 64 averages and 64 coefficients). This continues until one average and one coefficient (e. g. 2 0 ) is calculated. The average and difference of the time series is made across a window of values. Most wavelet algorithms calculate each new average and difference by shifting this window over the input data. For example, if the input time series contains 256 values, the window will be shifted by two elements, 128 times, in calculating the averages and differences. The next step of the calculation uses the previous set of averages, also shifting the window by two elements. This has the effect of averaging across a four element window. Logically, the window increases by a factor of two each time. In the wavelet literature this tree structured recursive algorithm is referred to as a pyramidal algorithm. The power of two coefficient (difference) spectrum generated by a wavelet calculation reflect change in the time series at various resolutions. The first coefficient band generated reflects the highest frequency changes. Each later band reflects changes at lower and lower frequencies. There are an infinite number of wavelet basis functions. The more complex functions (like the Daubechies wavelets) produce overlapping averages and differences that provide a better average than the Haar wavelet at lower resolutions. However, these algorithms are more complicated. Every field of specialty develops its own sub-language. This is certainly true of wavelets. Ive listed a few definitions here which, if I had understood their meaning would have helped me in my wanderings through the wavelet literature. A function that results in a set of high frequency differences, or wavelet coefficients. In lifting scheme terms the wavelet calculates the difference between a prediction and an actual value. If we have a data sample s i . s i1 . s i2 . the Haar wavelet equations is Where c i is the wavelet coefficient. The wavelet Lifting Scheme uses a slightly different expression for the Haar wavelet: The scaling function produces a smoother version of the data set, which is half the size of the input data set. Wavelet algorithms are recursive and the smoothed data becomes the input for the next step of the wavelet transform. The Haar wavelet scaling function is where a i is a smoothed value. The Haar transform preserves the average in the smoothed values. This is not true of all wavelet transforms. High pass filter In digital signal processing (DSP) terms, the wavelet function is a high pass filter. A high pass filter allows the high frequency components of a signal through while suppressing the low frequency components. For example, the differences that are captured by the Haar wavelet function represent high frequency change between an odd and an even value. Low pass filter In digital signal processing (DSP) terms, the scaling function is a low pass filter. A low pass filter suppresses the high frequency components of a signal and allows the low frequency components through. The Haar scaling function calculates the average of an even and an odd element, which results in a smoother, low pass signal. Orthogonal (or Orthonormal) Transform The definition of orthonormal (a. k.a. orthogonal) tranforms in Wavelet Methods for Time Series Analysis by Percival and Walden, Cambridge University Press, 2000, Chaper 3, section 3.1, is one of the best Ive seen. Ive quoted this below: Orthonormal transforms are of interst because they can be used to re-express a time series in such a way that we can easily reconstruct the series from its transform. In a loose sense, the information in the transform is thus equivalent to the information is the original series to put it another way, the series and its transform can be considered to be two representations of the same mathematical entity. In terms of wavelet transforms this means that the original time series can be exactly reconstructed from the time series average and coefficients generated by an orthogonal (orthonormal) wavelet transform. This is also referred to as de-noising. Signal estimation algorithms attempt to characterize portions of the time series and remove those that fall into a particular model of noise. These Web pages publish some heavily documented Java source code for the Haar wavelet transform. Books like Wavelets Made Easy explain some of the mathematics behind the wavelet transform. I have found, however, that the implemation of this code can be at least as difficult as understanding the wavelet equations. For example, the in-place Haar wavelet transform produces wavelet coefficients in a butterfly pattern in the original data array. The Java source published here includes code to reorder the butterfly into coefficient spectrums which are more useful when it comes to analyzing the data. Although this code is not large, it took me most of a Saturday to implement the code to reorder the butterfly data pattern. The wavelet Lifting Scheme, developed by Wim Sweldens and others provides a simpler way to look as many wavelet algorithms. I started to work on Lifting Scheme wavelet implementations after I had written this web page and developed the software. The Haar wavelet code is much simpler when expressed in the lifting scheme. See my web page The Wavelet Lifting Scheme. The link to the Java source download Web page is below. There are a variety of wavelet analysis algorithms. Different wavelet algorithms are appplied depending on the nature of the data analyzed. The Haar wavelet, which is used here is very fast and works well for the financial time series (e. g. the close price for a stock). Financial time series are non-stationary (to use a signal processing term). This means that even within a window, financial time series cannot be described well by a combination of sin and cos terms. Nor are financial time series cyclical in a predictable fashion (unless you believe in Elliot waves ). Financial time series lend themselves to Haar wavelet analysis since graphs of financial time series tend to jagged, without a lot of smooth detail. For example, the graph below shows the daily close price for Applied Materials over a period of about two years. Daily close price for Applied Materials (symbol: AMAT), 12/18/97 to 12/30/99. The Haar wavelet algorithms I have implemented work on data that consists of samples that are a power of two. In this case there are 512 samples. There are a wide variety of popular wavelet algorithms, including Daubechies wavelets, Mexican Hat wavelets and Morlet wavelets. These wavelet algorithms have the advantage of better resolution for smoothly changing time series. But they have the disadvantage of being more expensive to calculate than the Haar wavelets. The higer resolution provided by these wavlets is not worth the cost for financial time series, which are characterized by jagged transitions. The Haar wavelet algorithms published here are applied to time series where the number of samples is a power of two (e. g. 2, 4, 8, 16, 32, 64. ) The Haar wavelet uses a rectangular window to sample the time series. The first pass over the time series uses a window width of two. The window width is doubled at each step until the window encompasses the entire time series. Each pass over the time series generates a new time series and a set of coefficients. The new time series is the average of the previous time series over the sampling window. The coefficients represent the average change in the sample window. For example, if we have a time series consisting of the values v 0 . v 1 . v n . a new time series, with half as many points is calculated by averaging the points in the window. If it is the first pass over the time series, the window width will be two, so two points will be averaged: The 3-D surface below graphs nine wavelet spectrums generated from the 512 point AMAT close price time series. The x-axis shows the sample number, the y-axis shows the average value at that point and the z-axis shows log 2 of the window width. The wavelet coefficients are calcalculated along with the new average time series values. The coefficients represent the average change over the window. If the windows width is two this would be: The graph below shows the coefficient spectrums. As before the z-axis represents the log 2 of the window width. The y-axis represents the time series change over the window width. Somewhat counter intutitively, the negative values mean that the time series is moving upward Positive values mean the the time series is going down, since v i is greater than v i1 . Note that the high frequency coefficient spectrum (log 2 (windowWidth) 1) reflects the noisiest part of the time series. Here the change between values fluctuates around zero. Plot of the Haar coefficient spectrum. The surface plots the highest frequency spectrum in the front and the lowest frequency spectrum in the back. Note that the highest frequency spectrum contains most of the noise. The wavelet transform allows some or all of a given spectrum to be removed by setting the coefficients to zero. The signal can then be rebuilt using the inverse wavelet transform. Plots of the AMAT close price time series with various spectrum filtered out are shown here. Each spectrum that makes up a time series can be examined independently. A noise filter can be applied to each spectrum removing the coefficients that are classified as noise by setting the coefficients to zero. This web page shows a histogram analysis of the three highest frequency spectrum of the AMAT close price. The result of a filter that removes the points that fall within a gaussian curve in each spectrum is also shown. The gaussian curve has a mean and standard deviation of the coefficients in that spectrum. Another way to remove noise is to use thresholding. My web page outlining one thresholding algorithm can be found here. How do Haar wavelet filters compare to simple filters, like windowed mean and median filters A plot of the AMAT time series, filtered with a median filter (which in this case is virtually identical to a mean filter) is shown here here. These filters can be compared to the spectrum filters (where a given wavelet coefficient spectrum is filered out) here.. Whether a wavelet filter is better than a windowed mean filter depends on the application. The wavelet filter allows specific parts of the spectrum to be filtered. For example, the entire high frequency spectrum can be removed. Or selected parts of the spectrum can be removed, as is done with the gaussian noise filter. The power of Haar wavelet filters is that they can be efficiently calculated and they provide a lot of flexibility. They can potentially leave more detail in the time series, compared to the mean or median filter. To the extent that this detail is useful for an application, the wavelet filter is a better choice. The Haar wavelet transform has a number of advantages: It is conceptually simple. It is fast. It is memory efficient, since it can be calculated in place without a temporary array. It is exactly reversible without the edge effects that are a problem with other wavelet trasforms. The Haar transform also has limitations, which can be a problem for some applications. In generating each set of averages for the next level and each set of coefficients, the Haar transform performs an average and difference on a pair of values. Then the algorithm shifts over by two values and calculates another average and difference on the next pair. The high frequency coefficient spectrum should reflect all high frequency changes. The Haar window is only two elements wide. If a big change takes place from an even value to an odd value, the change will not be reflected in the high frequency coefficients. For example, in the 64 element time series graphed below, there is a large drop between elements 16 and 17, and elements 44 and 45. Since these are high frequency changes, we might expect to see them reflected in the high frequency coefficients. However, in the case of the Haar wavelet transform the high frequency coefficients miss these changes, since they are on even to odd elements. The surface below shows three coefficient spectrum: 32, 16 and 8 (where the 32 element coefficient spectrum is the highest frequency). The high frequency spectrum is plotted on the leading edge of the surface. the lowest frequency spectrum (8) is the far edge of the surface. Note that both large magnitude changes are missing from the high frequency spectrum (32). The first change is picked up in the next spectrum (16) and the second change is picked up in the last spectrum in the graph (8). Many other wavelet algorithms, like the Daubechies wavelet algorithm, use overlapping windows, so the high frequency spectrum reflects all changes in the time series. Like the Haar algorithm, Daubechies shifts by two elements at each step. However, the average and difference are calculated over four elements, so there are no holes. The graph below shows the high frequency coefficient spectrum calculated from the same 64 element time series, but with the Daubechies D4 wavelet algorithm. Because of the overlapping averages and differences the change is reflected in this spectrum. The 32, 16 and 8 coefficient spectrums, calculated with the Daubechies D4 wavelet algorithm, are shown below as a surface. Note that the change in the time series is reflected in all three coefficient spectrum. Wavelet algorithms are naturally parallel. For example, if enough processing elements exist, the wavelet transform for a particular spectrum can be calculated in one step by assigning a processor for every two points. The parallelism in the wavelet algorithm makes it attractive for hardware implementation. The Web page for downloading the Haar wavelet source code can be found here. This Java code is extensively documented and this web page includes a link to the Javadoc generated documentation. A simpler version of the Haar wavelet algorithm can be found via my web page The Wavelet Lifting Scheme. The plots above are generated with gnuplot for Windows NT. See my web page of Gnuplot links here. I am only marginally statisified with gnuplot. The software is easy to use and the Windows NT version comes with a nice GUI and a nice help system. However, when it comes to 3-D plots, the software leaves some things to be desired. The hidden line removal consumes vast amounts of virtual memory. When I tried to plot one of the coefficients surfaces with the x and z axes switched, it ran out of memory on a Windows NT system with 256K of virtual memory. Also, the surface would be much easier to understand if it could be colored with a spectrum. If you know of a better 3D plotting package that runs on Windows NT, please drop me a note. I have also had a hard time getting gnuplot to generate 2-D plots with multiple lines that have different colors. I have succeeded in doing this only when the data for each line was in a separate file, which can be awkward. I was sent the reference to Root by a physicist, Costas A. Root is a data analysis framework that is targeted at the massive amounts of data generated by high energy physics experiments at CERN and elsewhere. Although Root leans heavily toward physics, it looks to me like Root would be useful in other areas. Some of the statistical techniques that are used to analyze results in experimental physics is also used in quantitive finance, for example. Root has different goals than gnuPlot. It is targeted at a much more challenging data analysis enviroment (terabytes of data). But it has a large learning curve and Im skeptical if it can be easily used by those who do not have a sophisticated command of C. In contrast gnuPlot is a simple plotting environment. So my search for a better plotting environment continues. I know that such environments are supported by Matlab and Mathematics, but these packages are too expensive for my limited software budget. References Ripples in Mathematics: the Discrete Wavelet Transform by Jensen and la Cour-Harbo, 2001 So far this is the best book Ive found on wavelets. I read this book after I had spent months reading many of the references that follow, so Im not sure how easy this book would be for someone with no previous exposure to wavelets. But I have yet to find any easy reference. Ripples in Mathematics covers Lifting Scheme wavelets which are easier to implement and understand. The book is written at a relatively introductory level and is aimed at engineers. The authors provide implementations for a number of wavelet algorithms. Ripples also covers the problem of applying wavelet algorithms like Daubechies D4 to finite data sets (e. g. they cover some solutions for the edge problems encountered for Daubechies wavelets). Wavelets and Filter Banks by Gilbert Strang and Truong Nguyen, Wellesley Cambridge Pr, 1996 A colleague recommend this book, although he could not load it to me since it is packed away in a box. Sadly this book is hard to find. I bought my copy via abebooks, used, from a book dealer in Australia. While I was waiting for the book I read a few of Gilbert Strangs journal articles. Gilbert Strang is one of the best writers Ive encountered in mathematics. I have only just started working through this book, but it looks like an excellent, although mathematical, book on wavelets. Wavelets Made Easy by Yves Nievergelt, Birkhauser, 1999 This books has two excellent chapters on Haar wavelets (Chapter 1 covers 1-D Haar wavelets and Chapter 2 covers 2-D wavelets). At least in his coverage of Haar wavelts, Prof. Nievergelt writes clearly and includes plenty of examples. The coverage of Haar wavelets uses only basic mathematics (e. g. algebra). Following the chapter on Haar wavelets there is a chapter on Daubechies wavelets. Daubechies wavelets are derived from a general class of wavelet transforms, which includes Haar wavelets. Daubechies wavelets are better for smoothly changing time series, but are probably overkill for financial time series. As Wavelets Made Easy progresses, it gets less easy. Following the chapter on Daubechies wavelets is a discussion of Fourier transforms. The later chapters delve into the mathematics behind wavelets. Prof. Nievergelt pretty much left me behind at the chapter on Fourier transforms. For an approachable discussion of Fourier transforms, see Understanding Digital Signal Processing by Richard G. Lyons (below). As Wavelets Made Easy progresses, it becomes less and less useful for wavelet algorithm implementation. In fact, while the mathematics Nievergelt uses to describe Daubechies wavelets is correct, the algorithm he describes to implement the Daubechies transform and inverse transform seems to be wrong. Wavelets Made Easy does not live up to the easy part of its title. Given this and the apparent errors in the Daubechies coverage, I am sorry to say that I cant recommend this book. Save your money and buy a copy of Ripples in Mathematics . Discovering Wavelets by Edward Aboufadel and Steven Schlicker At 125 pages, this is one of the most expensive wavelet books Ive purchased, on a per page basis. It sells on Amazon for 64.95 US. I bought it used for 42.50. If Discovering Wavelets provided a short, clear description of wavelets, the length would be a virtue, not a fault. Sadly this is not the case. Discovering Wavelets seems to be a book written for college students who have completed calculus and linear algebra. The book is heavy on theorms (which are incompletely explained) and very sort on useful explaination. I found the description of wavelets unnecessarily obscure. For example, Haar wavelets are described in terms of linear algebra. They can be much more simply described in terms of sums, differences and the so called pyramidal algorithm. While Discovering Wavelets covers some important material, its coverage is so obscure and cursory that I found the book useless. The book resembles a set of lecture notes and is of little use without the lecture (for their students sake I hope that Aboufadel and Schlicker are better teachers than writers). This is a book that I wish I had not purchased. Wavelet Methods for Time Series Analysis by Donald B. Percival and Andrew T. Walden, Cambridge University Press, 2000 Im not a mathematician and I dont play one on television. So this book is heavy going for me. Never the less, this is a good book. For someone with a better mathematical background this might be an excellent book. The authors provide a clear discussion of wavelets and a variety of time series analsysis techniques. Unlike some mathematicians, Percival and Walden actually coded up the wavelet algorithms and understand the difficulties of implementation. They compare various wavelet families for various applications and chose the simplest one (Haar) in some cases. One of the great benifits of Wavelet Methods for Time Series Analysis is that it provides a clear summary of a great deal of the recent research. But Percival and Walden put the research in an applied context. For example Donoho and Johnstone published an equation for wavelet noise reduction. I have been unable to find all of their papers on the Web and I have never understood how to calculate some of the terms in the equation in practice. I found this definition in Wavelet Methods . The World According to Wavelets: The Story of a Mathematical Technique in the Making by Barbara Burke Hubbard, A. K. Peters, 1996 This book provides an interesting history of the development of wavelets. This includes sketches of many of the people involved in pioneering the application and mathematical theory behind wavelets. Although Ms. Hubbard makes a heroic effort, I found the explaination of wavelets difficult to follow. The Cartoon Guide To Statistics by Larry Gonic and Woollcott Smith, Harper Collins I work with a number of mathematicians, so its a bit embarrassing to have this book on my disk. I never took statistics. In college everyone I knew who took statistics didnt like it. Since it was not required for my major (as calculus was), I did not take statistics. Ive come to understand how useful statistics is. I wanted to filter out Gaussian noise, so I needed to understand normal curves. Although the title is a bit embarrassing, The Cartoon Guide to Statistics provided a very rapid and readable introduction to statistics. Understanding Digital Signal Processing by Richard G. Lyons. This book is fantastic. Perhaps the best introductory book ever written on digital signal processing. It is the book on signal processing for software engineers like myself with tepid mathematical backgrounds. It provides the best coverage Ive ever seen on DFTs and FFTs. In fact, this book has inspired me to try FFTs on financial time series (an interesting experiment, but wavelets produce better results and Fourier transforms on non-stationary time series). See my web page A Notebook Compiled While Reading Understanding Digital Signal Processing by Lyons My web page on the wavelet Lifting Scheme. The Haar wavelet algorithm expressed using the wavelet Lifting Scheme is considerably simpler than the algorithm referenced above. The Lifting Scheme also allows Haar wavelet to be extended into a wavelet algorithms that have perfect reconstruction and have better multiscale resolution than Haar wavelets. Emil Mikulic has published a simple explaination of the Haar transform, for both 1-D and 2-D data. For those who find my explaination obscure, this might be a good resource. The Wavelet Tutorial . The Engineers Ultimate Guide to Wavelet Analysis, by Robi Polikar. The ultimate guide to wavelet analysis has yet to be written, at least for my purposes. But Prof. Polikars Wavelet Tutorial is excellent. When it comes to explaining Wavelets and Fourier transforms, this is one of the best overviews Ive seen. Prof. Polikar put a great deal of work into this tutorial and I am greateful for his effort. However, there was not sufficient detail in this tutorial to allow me to create my own wavelet and inverse wavelet tranform software. This Web page (which is also available in PDF) provides a nice overview of the theory behind wavelets. But as with Robi Polikars web page, its a big step from this material to a software implementation. Whether this Web page is really friendly depends on who your friends are. If you friends are calculus and taylor series, then this paper is for you. After working my way through a good part of Wavelets Made Easy this paper filled in some hole for me. But I would not have understood it if I had read it before Wavelets Made Easy . Wim Sweldens, who has published a lot of material on the Web (he is the editor of Wavelet Digest ) and elsewhere on Wavelets is a member of this group. An interesting site with lots of great links to other web resources. Lifting Scheme Wavelets Win Sweldens and Ingrid Daubechies invented a new wavelet technique known as the lifting scheme . Gabriel Fernandez has published an excellent bibliography on the lifting scheme wavelets which can be found here. This bibliography has a pointer to Wim Sweldens and Peter Schroders lifting scheme tutorial Building Your Own Wavelets at Home . Clemens Valens has written a tutorial on the fast lifting wavelet transform. This is a rather mathematically oriented tutorial. For many, Wim Sweldens paper Building Your Ownh Wavlets at Home may be easier to under stand (although I still found this paper heavy going). Gabriel Fernandez has developed LiftPack . The LiftPack Home Page publishes the LiftPack software. The bibliography is a sub-page of the LiftPack Home page. Wavelets in Computer Graphis One of the papers referenced in Gabriel Fernandezs lifting scheme bibliography is Wim Sweldens and Peter Schroders paper Building Your Own Wavelets at Home . This is part of a course on Wavelets in Computer Graphics given at SigGraph 1994, 1995 and 1996. The sigGraph course coverd an amazing amount of material. Building Your Own Wavelets at Home was apparently covered in a morning. There are a lot of mathematically gifted people in computer graphics. But even for these people, this looks like tough going for a morning. Ive spent hours reading and rereading this tutorial before I understood it enough to implement the polynomial interpolation wavelets that it discusses. D. Donoho De-Noising By Soft-Thresholding . IEEE Trans. on Information Theory, Vol 41, No. 3, pp. 613-627, 1995. D. Donoho Adapting to Unknown Smoothness via Wavelet Shrinkage . JASA. 1995. CalTech Multi-Resolution Modeling Group Publications The Wavelets in Computer Graphics page, referenced above, is one of the links from the CalTech Multi-resolution Modeling Group Publications web page. The wavelet publications referenced on this page concentrate on wavelet applications for computer graphics. This is yet another introductory tutorial by a mathematician. It gives a feeling for what you can do with wavelets, but there is not enough detail to understand the details of implementing wavelet code. Amara Graps web page provides some good basic introductory material on wavelets and some excellent links to other Web resources. There is also a link to the authors (Amara) IEEE Computational Sciences and Engineering article on wavelets. Wave from Ryerson Polytechnic University Computational Signals Analysis Group Wave is a C class library for wavelet and signal analysis. This library is provided in source form. I have not examined it in detail yet. Wavelet and signal processing algorithms are usually fairly simple (they consist of a relatively small amount of code). My experience has been that the implementation of the algorithms is not as time consuming as understanding the algorithms and how they can be applied. Since one of the best ways to understand the algorithms is to implement and apply them, Im not sure how much leverage Wave provides unless you already understand wavelet algorithms. Wavelet Compression Arrives by Peter Dyson, Seybold Reports, April 1998. This is an increasingly dated discussion on wavelet compression products, especially for images. The description of the compression products strengths and weaknesses is good, but the description of wavelets is poor. Prof. Zbigniew R. Struzik of Centrum voor Wiskunde en Informatica in the Netherlands has done some very interesting work with wavelets in a variety of areas, including data mining in finance. This web page has a link to Prof. Struziks publications (at the bottom of the Web page). Prof. Struziks work also shows some interesting connections between fractals and wavelets. Disclaimer This web page was written on nights and weekends, using my computer resources. This Web page does not necessarily reflect the views of my employer (at the time this web page was written). Nothing published here should be interpreted as a reflection on any techniques used by my employer (at that time). Ian Kaplan, July 2001 Revised: February 2004