Hallo zusammen,
guten Nachmittag. Die Störung ist weitgehend behoben und die Messwerten sollten schrittweise in den nächsten Tagen nachgeliefert werden - hoffentlich ohne große Datenverlusten. Der Ausfall ist auf eine Überlastung des Servers zurückzuführen, die wiederum von einer fehlerhaften Dimensionierung mancher Komponenten ausgelöst wurde.
Und nun zu den konkreten Fragen: Wieso treten Datenverlusten in manchen Zeitintervallen auf? Wenn alles richtig läuft, übertragen die Gateways ihre Messwerte und diese werden auf dem Server in der sogenannten Validation Queue aufgenommen, bevor sie über den Server-Buffer an die entsprechende Datenbank übermittelt werden. Sind einmal die Daten in die Validation Queue angekommen, löscht das Gateway automatisch die bereits übertragenen Messwerten. Problem ist: Bei einem Absturz des Servers können leider in der Regel nicht alle Messwerte aus der Validation Queue wiederhergestellt werden und stehen dadurch Lücken in den Lastprofilen, die durch Ersatzwertbildung interpoliert werden müssen.
Bei dem Meteroit kommt ein Problem dazu: EIn Bug in der Software verhindert aktuell die Speicherung der Messwerte auf dem Gateway, deshalb arbeitet derzeit unsere IT an einem Update der Geräte. Kann das Update erfolgreich durchgeführt werden, sollten die Gateways 2.0 in der Lage sein, die Messwerte von bis zu 80 Tage zu speichern.
Und was das Thema Ersatzwertbildung angeht: Bei Rücksprache mit einigen Kollegen könnte ich heute erfahren, dass eine Ersatzwertbildung nach BSI-Kriterien - ink. entsprechender Kennzeichnung - lediglich den Marktpartner (Netzbetreiber und Energieversorger) zur Verfügung gestellt wird, allerdings wird diese leider weder im Portal noch in der API angewendet bzw. dargestellt. Somit entstehen in dem Portal die bereits bekannten linearen Interpolationen und in der API die dazugehörigen Zeitintervallen ohne Messwerte, auf die @martingr mehrmals hingewiesen hat.
Bei Datenverlusten, der ein Intervall von weniger als zwei Stunden betreffen, können die Daten -auch gegenüber den Marktpartnern - einfach linear interpoliert werden. Ob diese Vorgehensweise auch bei stündlichen Tarifen anwendbar ist, muss ich selber nachforschen.
Ich hoffe, diese Infos könnten einige Fragen klären und ich bedanke mich nochmals für Eure Geduld und Verständnis.
Viele Grüße und einen schönen Nachmittag,
Pablo Santiago, Discovergy GmbH