Es gibt solche Tage, da wollen die einfachsten Handlungen nicht klappen. Ich wollte einen Datenimport mit einer Regeldatei (.rul) machen und erzeugte direkt 2-mal ein Exception File. Was geschehen war beschreibe ich in diesem Beitrag.
Die Ausgangssituation.
Der Kunde wollte in einer Dimension einen geringeren Detailgrad. Aus den 5 Generationen wurden 3 neue. Weil wir viele Berechnete Werte und eine mehrjährige Historie in dem Essbase Cube haben, hatte ich die Verdichtung in der Regeldatei (Rule File) untergebracht.. Kleine Fleißarbeit, mit Suchen und Ersetzen durch. Also das Setting „Zu vorhandenen Werten addieren“ wurde also eingeschaltet. Auch gab es weniger Accounts also diese habe ich herausgefiltert und ich wollte nur eine spezielle Version, und hier gab es also einen Positiv-Filter.
Die originalen Dateien kamen aus einem Datei Export mit allen Daten in Spaltenformat. Alles in Allem fast 10 Gb. Die ich schon einmal auf dem Server kopiert hatte, um diese einfacher mit MaxL zu laden.
Was passierte?
Zuerst den Bereich leermachen mit einem Calc Script und einem CLEARDATA. Dann ließ ich das MaxL mit dem Import laufen. Bei der dritten Datei gab es einen Abbruch…
Network error. In dem Application Log war dieses zu finden:
[Tue Feb 05 09:26:51 2019]Local/PLAN/Plan1/phulsebo@trexco/4412/Info(1006046) A read from file [D:\010_Essbase_Data\APP\PLAN\Plan1\ess00001.pag], to address [0000000018DFF810] with handle [8] from offset [278466959] for [1944] bytes, failed with error [0] and O/S return code [0] after [0] bytes. [Tue Feb 05 09:26:51 2019]Local/PLAN/Plan1/phulsebo@trexco/4412/Info(1070121) Current size of file [D:\010_Essbase_Data\APP\PLAN\Plan1\ess00001.pag] is [1031766095] bytes. [Tue Feb 05 09:26:51 2019]Local/PLAN/Plan1/phulsebo@trexco/4412/Info(1006050) For database [Plan1], the [56800] byte Input Transfer Buffer is at address [0000000018DFF810] and the [56800] byte Output Transfer Buffer is at address [00000000180B1F70]. [Tue Feb 05 09:26:51 2019]Local/PLAN/Plan1/phulsebo@trexco/4412/Error(1006004) Unable to Read Information From Page File [Tue Feb 05 09:26:52 2019]Local/PLAN///4412/Info(1008108) Essbase Internal Logic Error [7333] [Tue Feb 05 09:26:52 2019]Local/PLAN///4412/Info(1008106) Exception error log [D:\100_Apps\Oracle\Middleware\user_projects\epmsystem2\diagnostics\logs\essbase\essbase\app\PLAN\log00004.xcp] is being created...
Die ersten Dateien liefen fehlerlos in die Datenbank. Was war los… OK, dann wieder das Löschskript laufen lassen und nochmals probieren.
[Tue Feb 05 10:16:46 2019]Local/PLAN/Plan1/phulsebo@trexco/1092/Info(1013166) Received Command [Import] from user [phulsebo@trexco] using [exilloa2.rul] [Tue Feb 05 10:16:46 2019]Local/PLAN/Plan1/phulsebo@trexco/1092/Info(1003040) Parallel dataload enabled: [1] block prepare threads, [1] block write threads. [Tue Feb 05 10:17:02 2019]Local/PLAN///5588/Error(1130215) Application is using [0] bytes of memory, and is requesting a new memory block of [16385] bytes. The application can't get a new memory block from the operating system. [Tue Feb 05 10:17:02 2019]Local/PLAN///4312/Info(1008106) Exception error log [D:\100_Apps\Oracle\Middleware\user_projects\epmsystem2\diagnostics\logs\essbase\essbase\app\PLAN\log00005.xcp] is being created...
Und schon wieder ging die Datenbank down. Dieses Mal gab es einen Hinweis auf Speicherplatz. Ich habe also nochmals die Cache-Sizes erhöht. Auch den Windows Task-Manager eingeschaltet.
Dann wieder das Löschskript laufen lassen und dieses Mal die Dateien einzeln geladen.
Abbildung 1: Windows Task-Manager
Schon bei der Verarbeitung der ersten Datei sah ich im Windows Task-Manager, auf dem Reiter Leistung, dass dieser stetig anstieg. Fast waren alle Ressourcen verbraucht.
Ich ließ es nicht auf einen neuen Crash ankommen und habe bevor jedem Ladeprozess die Anwendung gestoppt und wieder gestartet. Hierdurch kam der physikalische Speicher wieder frei und konnte ich die Nächste Datei laden.
Fazit
Ich habe in meine Karriere, geschätzt, einige hundert Dateien mit Regeldateien geladen, aber dieses hatte ich noch nicht gesehen. Es gibt wenig Probleme oder Bugs mit dem Import. Es wird wohl an der spezifischen Konstellation sein, dass ich hier direkt 2 mal ein xcp erstellt habe.
Ihr Philip Hulsebosch
