Die Qualität der Daten ist ein entscheidender Faktor, von dem der Erfolg aller datenbasierten Vorhaben und Projekte abhängt.
Eine effektive Optimierung und Diagnose von Infrastrukturen erfordert korrekte Informationen aus Prozessen und Geräten. Es überrascht daher nicht, dass Data-Science-Fachleute bis zu 80 % ihrer Zeit allein für die Datenaufbereitung aufwenden.

Eine intelligente Validierung ist notwendig, um eine zufriedenstellende Datenqualität zu erreichen. „Intelligent“ bedeutet jedoch nicht automatisch die Anwendung fortgeschrittener Machine-Learning-Algorithmen. Zunächst sollte man arithmetische Methoden einsetzen: mathematische, physikalische und chemische Formeln sowie Branchenwissen.

Für diese Aufgabe sind geeignete Werkzeuge erforderlich, wie z. B. Cloud-Analyseprogramme. Das gewählte Analysewerkzeug sollte auf die Verarbeitung von Zeitreihendaten – also umfangreiche Messreihen einzelner Geräte – ausgelegt sein. Zudem sollte es ein breites Spektrum an Algorithmen unterstützen, von einfachen Berechnungen bis hin zu fortgeschrittenen statistischen Verfahren, und dabei sowohl intuitiv bedienbar als auch skalierbar sein.

Es ist bemerkenswert, dass das weit verbreitete Excel diese Anforderungen nicht erfüllt. Unter unseren Lösungen bieten wir die Smart RDM Data Science Platform in der Azure-Cloud sowie das Partner-Tool Seeq an.

Woher stammen Datenfehler?

Es gibt mehrere Ursachen für eine schlechte Datenqualität. Dazu zählen fehlerhafte Softwareinstallationen, die zu Fehlern oder unzureichender Verarbeitung bestimmter Ereignisse führen, z. B. eine falsche Konfiguration von DCS-/SCADA-Systemen.

Eine weitere Ursache können systemische Probleme sein. Wenn die Datenquelle ein telemetrisches System ist, stammen die Werte von realen Geräten. Geräte fallen jedoch häufig aus, sodass bereits bei der Messung oder bei der Übertragung Fehler entstehen. Typische Beispiele sind Übertragungsfehler, Datenlücken und fehlerhafte Werte – sogenannte Messanomalien. Sensoren können beschädigt werden, was zu absurden Messwerten führt.

Auch das Übertragungssystem selbst kann beschädigt sein, etwa wenn es falsch skaliert wurde oder ein Gerät ausgetauscht wurde. Eine weitere Ursache für schlechte Datenqualität ist die Änderung von Datenformaten, die sowohl Quellsysteme als auch Ziel-Datenbanken beeinflusst.

Phasen der Datenbereinigung

Eine vollständige Erfassung aller Daten ist unmöglich. Daher stellt sich die Frage: Wie können wir Daten bereinigen, damit sie nicht zu falschen Interpretationen und Schlussfolgerungen führen? Dafür durchlaufen wir den Prozess der Datenbereinigung:

  1. Identifikation – wir müssen genau wissen, welche Daten von welchem Gerät stammen. Beispiel: Eine Station kann fünf Temperaturmessgeräte und zwei Durchflusssensoren haben. Wir dürfen nicht zufällig die Daten des vierten Geräts verwenden, wenn wir die Werte des ersten benötigen. Deshalb ordnen wir die Daten den Geräten zu und strukturieren sie in einer Baumhierarchie.
  2. Harmonisierung – Geräte verschiedener Hersteller verwenden unterschiedliche Kodierungen, Übertragungsmethoden oder sogar Maßeinheiten. Ziel der Harmonisierung ist es, alle Daten in ein einheitliches Format zu überführen und eine Nomenklatur basierend auf normierten Kodierungssystemen einzuführen.
  3. Überprüfung der Datenvollständigkeit – wir müssen feststellen, welche Daten fehlen und warum. Es ist sinnlos, Messwerte eines Geräts zu schätzen, das absichtlich außer Betrieb war, etwa wegen Wartung. Identifizierte Lücken, die gefüllt werden müssen, werden in den nächsten Schritten bearbeitet.
  4. Auffüllen fehlender Daten – hierfür gibt es verschiedene Methoden: von arithmetischen Berechnungen über statistische Verfahren bis hin zu Machine Learning.
    • Arithmetische Methoden nutzen einfache mathematische Operationen oder physikalische Formeln. Eine einfache Methode ist die lineare Approximation, bei der die fehlenden Werte zwischen dem letzten bekannten und dem nächsten Messpunkt interpoliert werden. Diese Methode ist jedoch fehleranfällig.
    • Beliebt sind daher statistische Methoden, bei denen mithilfe historischer Daten und mathematischer Modelle theoretische Werte berechnet werden. Dies ist besonders hilfreich, wenn Phänomene nicht durch Formeln beschrieben werden können, z. B. die Abhängigkeit zwischen Windgeschwindigkeit und Vibrationen einer Windturbine in einem Windpark.
    • Schließlich können Machine-Learning-Modelle eingesetzt werden, die auf Basis historischer Daten typische Gerätezustände erlernen und so Werte in Datenlücken rekonstruieren.
    • Eine Alternative ist die Umgebungsanalyse: In einem bestimmten Standort können Daten benachbarter Geräte herangezogen werden, z. B. bei Temperaturmessungen benachbarter Gebäude.

Nach diesem Schritt erhalten wir ein vollständiges Signal, das anschließend überprüft wird.

  1. Validierung – unter unseren Daten können sich formal korrekte, aber logisch falsche Werte befinden. Beispiel: Eine Wintertemperatur von 120 °C in London ist unmöglich.
    • Zunächst legen wir mathematische Validierungsregeln fest, etwa dass Außentemperaturen zwischen -50 °C und +50 °C liegen müssen. Werte außerhalb dieses Bereichs gelten als fehlerhaft.
    • Zusätzlich können physikalische oder chemische Modelle genutzt werden, um falsche Daten auszuschließen. Fehlende Werte werden danach erneut aufgefüllt.
    • Fachwissen spielt ebenfalls eine Rolle: Messgeräte haben oft einen Maximalbereich, nach dem sie auf Null zurücksetzen. Solche Effekte können durch spezifische Validierungsregeln erkannt und korrekt berücksichtigt werden.

Nach Abschluss all dieser Schritte erhalten wir saubere Daten, die für weiterführende Analysen wie Predictive Maintenance, Prognosen des Energiebedarfs oder Zustandsdiagnosen von Anlagen genutzt werden können.

Historische Daten

Für arithmetische und physikalische Modelle sind keine historischen Daten zwingend erforderlich. Für Statistik und Machine Learning hingegen schon: Je mehr historische Werte vorhanden sind, desto zuverlässiger ist die Validierung.

Lernende Modelle sind nicht unfehlbar und sollten unterstützend, nicht entscheidend eingesetzt werden. Mit zunehmender Datenhistorie werden sie jedoch präziser.

Für die Verarbeitung historischer Daten in der Validierung sind spezialisierte Werkzeuge wie Smartvee oder Seeq geeignet, die auf Zeitreihendaten ausgelegt sind.

Warum ist Machine Learning nicht die primäre Methode?

Machine Learning ersetzt keine Thermodynamik, Physik oder Mathematik. Ein gutes Verständnis des zu modellierenden Phänomens ist essenziell. Der Aufbau eines Systems beginnt mit der Beschreibung bekannter Ereignisse basierend auf Naturwissenschaften wie Physik, Chemie oder Biologie. Erst danach sollte Machine Learning eingesetzt werden.

Dazu führen wir Workshops mit Fachabteilungen durch, die täglich mit Infrastruktur und Geräten arbeiten. Gemeinsam werden Daten betrachtet, Phänomene bewertet und Ursachen für Anomalien identifiziert. Eingebunden sind Ingenieure, Data Scientists, Business Owner und Fachexperten.

Algorithmen sind nicht immer in der Lage, mit völlig neuen Problemen umzugehen. Deshalb sollte Machine Learning auf Prozesse angewendet werden, die nicht mit Formeln beschrieben werden können. Für weniger komplexe Vorgänge sind diese Methoden suboptimal.

Ergebnisse der Datenvalidierung

Bereinigte Daten bilden die Grundlage für weiterführende Analysen, z. B. die Prognose der Energieproduktion, den Ressourceneinsatz oder die Wartungsplanung. Leider überspringen manche Unternehmen diesen Schritt und beginnen sofort mit Analysen – mit unzuverlässigen Ergebnissen. Ohne hochwertige Daten ist keine verlässliche Analyse möglich.

Bei ConnectPoint bieten wir eine vollständige Lösung: von der Datenerfassung bis zur fortgeschrittenen Analyse. Wir bauen umfassende Data Repositories, identifizieren und harmonisieren Daten und entwickeln darauf abgestimmte Analyseschichten, die optimal auf die Bedürfnisse unserer Kunden zugeschnitten sind.

👉 Kontaktieren Sie uns, um mehr darüber zu erfahren, wie Sie die Datennutzung in Ihrer Organisation verbessern können.