Fidor-Bank Hibiscus-Import

Antwort erstellen


Diese Frage dient dazu, das automatisierte Versenden von Formularen durch Spam-Bots zu verhindern.

BBCode ist ausgeschaltet
Smilies sind ausgeschaltet

Die letzten Beiträge des Themas

Ich habe die Datenschutzerklärung gelesen und bin damit einverstanden.

   

Ansicht erweitern Die letzten Beiträge des Themas: Fidor-Bank Hibiscus-Import

Re: Fidor-Bank Hibiscus-Import

von ds10 » 22 Nov 2018, 13:01

JeiNah3i hat geschrieben:
22 Nov 2018, 12:06
Über das letzte Backup werde ich mittels export und import erst mal wieder alle Buchungen zurück holen.
Meine letzte Buchung vor den neuen Buchungen war der 31.10.2018. Es waren dann von gestern nur die Buchungen vom 21.11. enthalten.
Ich dachte ich hätte auch welche vom 20.11. importiert, aber dann hat die funktion diese wohl gelöscht, weil ich nur bei der Fidor einen Export vom 21.11. durchgeführt habe.
Da ich dachte das ich die vom 20.11. nicht importiert habe bin ich also auf die Idee gekomme alle neuen Buchungen zu löschen (ab 01.11.) und erneut zu importieren (20.11. - 22.11.) und das Saldo manuell zu aktualisieren.
In der CSV waren dann auch nur diese Buchungen enthalten (hatte es vorher geprüft) und entsprechend habe ich diese CSV dann importieren lassen.
Das Saldo war dann korrekt, nur waren alle Buchungen weg.
Das Konto in Hibiscus merkt sich das Datum des letzten Abrufs, das kann man in der Kontoübersicht auch sehen. Das Fidor-CSV-Plugin nimmt diesen Abruf als letzten Stand an und berechnet daraus den Zeitpunkt ab dem die CSV-Datei erstellt werden muss, um Verschiebungen zu erkennen. Dieser Link wird dann im Abruffenster angezeigt. Klickt man den an erhält man eine CSV-Datei, die genau die Daten erhält die für das Erkennen von Verschiebungen notwendig sind. Doppelte Buchungen sollten dabei nicht vorkommen, da vorhandene Buchungen, die identisch mit denen in der CSV-Datei sind, beibehalten werden. Wird eine Datumsänderung erkannt, wird das Datum der vorhandene Buchung ersetzt. Gibt es in der Hibiscus-Datenbank aber eine Buchung, die nicht in der CSV-Datei steht, dann wird sie aus Hibiscus gelöscht, denn was nicht in der CSV-Datei steht, existiert auf dem Fidor-Konto auch nicht, sollte also auch in Hibiscus nicht vorkommen. Dieser Fall wird bei dir eingetreten sein, ich sollte mir aber mal genauer ansehen, warum alle Buchungen gelöscht wurden, das sollte natürlich nicht vorkommen. Im schlimmsten Fall sollten maximal die Buchungen von 5 Tagen vor dem letzten Abruf bis heute gelöscht werden.

Wenn man immer den angebotenen Link verwendet, sollte man keine Probleme haben. Es lässt sich auch nicht anders machen, denn ohne direkten Zugriff auf das Konto muss das Plugin bestimmte Annahmen machen, wenn die dann nicht zutreffen, können alle möglichen unvorhergesehenen Effekte auftreten.

Re: Fidor-Bank Hibiscus-Import

von JeiNah3i » 22 Nov 2018, 12:24

Mein grundsätzlicher Fehler war also überhaupt einen Filter einzusetzen.
Das erklärt zwar nicht warum gleich *alle* Buchungen weg waren erklärt aber warum die vom 20.11. weg waren als ich die vom 21.11. importiert habe.

So, alles wieder da und diesmal hat nun auch der import funktioniert. Danke für die Erklärung. Sollte ich nochmal alle Buchungen verlieren melde ich mich nochmal.

Re: Fidor-Bank Hibiscus-Import

von JeiNah3i » 22 Nov 2018, 12:06

Über das letzte Backup werde ich mittels export und import erst mal wieder alle Buchungen zurück holen.
Meine letzte Buchung vor den neuen Buchungen war der 31.10.2018. Es waren dann von gestern nur die Buchungen vom 21.11. enthalten.
Ich dachte ich hätte auch welche vom 20.11. importiert, aber dann hat die funktion diese wohl gelöscht, weil ich nur bei der Fidor einen Export vom 21.11. durchgeführt habe.
Da ich dachte das ich die vom 20.11. nicht importiert habe bin ich also auf die Idee gekomme alle neuen Buchungen zu löschen (ab 01.11.) und erneut zu importieren (20.11. - 22.11.) und das Saldo manuell zu aktualisieren.
In der CSV waren dann auch nur diese Buchungen enthalten (hatte es vorher geprüft) und entsprechend habe ich diese CSV dann importieren lassen.
Das Saldo war dann korrekt, nur waren alle Buchungen weg.

Kannst Du sagen mit welcher Nachricht ein Abruf beginnt und mit welcher Er aufhört? Dann kann ich mal in meinem screen-log mal nachsehen ob ich was entdecke was zu dem verhalten geführt hat. Ich habe derzeit wegen eines anderen Mashup-Problems TRACE noch eingeschaltet, aber die Logs landen bei mir immer nur auf der Consolole. Da ich die Ausgabe nicht umgeleitet hatte muss ich das Log nachträglich aus der screen-Session sichern. Zum Glück ist mein backtrace-Puffer im Screen recht hoch eingestellt ;-)

Re: Fidor-Bank Hibiscus-Import

von ds10 » 22 Nov 2018, 10:57

Nein einen Bugtracker gibt es nicht. Das Plugin löscht unter Umständen Buchungen, wenn es annimmt dass sie auf dem Konto nicht mehr existieren, weil es beispielsweise eine Fehlbuchung war die von der Fidor-Bank aus der Umsatzliste entfernt wurde. Grundsätzlich sollte man keine manuellen Änderungen vornehmen, das Plugin erkennt Änderungen anhand der CSV-Datei. Alle Buchungen sollten aber niemals gelöscht werden, da das Plugin nur Buchungen behandelt, die bis zu 10 Tage vor dem letzten Abruf liegen (vorausgesetzt man hat den Link zur Erstellung der CSV-Datei benutzt).

Mit Hilfe der Backups von Hibiscus kannst du aber den alten Zustand wiederherstellen. Bleibt nur die Frage, wie man den Fehler findet, denn ich wüsste nicht wie das Plugin gleich alle Buchungen löschen sollte, ohne die die in der CSV-Datei stehen hinzuzufügen. Hast du die CSV-Datei womöglich für einen Zwischenzeitraum erstellt? Das wäre problematisch, da dann der Abgleich nicht funktioniert.

EDIT: Wenn du also alte Umsätze importieren möchtest, dann musst du eine CSV-Datei erstellen, die vom Datum dieser Umsätze bis heute reicht, sonst passiert genau das, was du hier beschrieben hast. Aufgrund des fehlenden direkten Zugriffs auf das Konto, kann das Plugin nicht wissen, dass eine CSV-Datei nicht alle notwendigen Buchungen enthält, denn es geht immer davon aus eine vollständige CSV-Datei zu erhalten. Nur so ist eine Erkennung des Verschiebens von Buchungen durch die Fidor-Bank möglich.

Re: Fidor-Bank Hibiscus-Import

von IchBins » 22 Nov 2018, 10:48

Hallo,

gibt es einen Bugtracker? Ich habe gerade beim Import alle Buchungen geschrottet. Das Konto ist jetzt völlig leer und die alten Buchungen sind weg.
Passiert ist mir das nachdem ich ein paar zu neue Buchungen gelöscht habe und dann gegenüber sonst nun mit aktivierten und korrigiertem Saldo erneut eine neue csv mit den fehlenden älteren Buchungen importieren wollte.
Da waren dann *alle* Buchungen weg.

MfG,

Re: Fidor-Bank Hibiscus-Import

von ds10 » 19 Sep 2018, 18:28

Eigentlich sollte das nicht vorkommen, da das Plugin versucht solche Datumsverschiebungen zu erkennen. Ich wüsste auch nicht wo dort der Fehler liegen könnte, muss ich mir mal näher ansehen. Die können außerdem auch von heute auf morgen auftreten, wenn man eine Überweisung nach 14:45 Uhr aufgibt (so sehr Abend ist das noch gar nicht ;-)) wird die erst für heute angezeigt, dann aber am Abend des nächsten Buchungstags verschoben.

EDIT: Ich habe mit einer CSV-Datei die Verschiebung simuliert und wie beabsichtigt wurde das Datum der bestehenden Buchung angepasst , so wie das beabsichtigt ist. Daher weiß ich nicht woran es liegen könnte, falls sich allerdings der Verwendungszweck zwischen beiden CSV-Dateien auch verändert, dann lassen sich die Verschiebungen nicht erkennen, denn dann könnten es auch neue Buchungen sein.
EDIT2: Es könnte auftreten, wenn du nicht den Link zum Erstellen der CSV-Datei benutzt, sondern stattdessen manuell eine erstellst, denn nur wenn der Link benutzt wird, wird eine CSV-Datei erstellt, die ausreichend weit zurück reicht, um die Datumsverschiebungen erkennen zu können.

Re: Fidor-Bank Hibiscus-Import

von manloeste » 19 Sep 2018, 15:53

Ihr müsst beim CSV-Export aufpassen, dass die Fidor-Bank am Wochenende (oder auch Feiertags, oder abends nach "Buchungsschluss") getätigte Überweisungen ein paar Tage mit dem Buchungsdatum (also z.B. Samstags) führt und dann ca. ab Montag oder Dienstag mit dem Wertstellungsdatum (sprich der nächste Buchungstag).
Beispiel: Wenn ich Samstags, am 15.09.2018 100 EUR überweise, und ich mir am Sonntag die CSV-Datei ziehe, dann steht in der CSV-Datei der 15.09.2018. Wenn ich dann am Montag, den 17.09.2018 nochmals die CSV-Datei erzeuge, dann steht dort der 17.09.2018 für die Buchung vom Samstag drin, was dazu führen kann, dass man diese Buchungen versehentlich doppelt einliest...
Ist mir bereits mehrfach passiert.

Re: Fidor-Bank Hibiscus-Import

von ds10 » 21 Aug 2018, 11:02

HabeKeinenAccount hat geschrieben:
21 Aug 2018, 10:38
also ich habe es irgendwie zum laufen gebracht. Dazu musste ich nur den Pfad der Datei nochmal anpassen.
Dafür gibt es ja das Eingabefeld für den Download-Ordner, könnte natürlich auch noch besser gemacht sein, indem man den Ordner per Dialog auswählen kann, aber Jameica und somit auch alle Plugins basiert auf SWT, damit kenne ich mich nicht aus, da TV-Browser mit Swing programmiert ist. Ich bin schon froh einen brauchbaren Dialog zu Stande bekommen zu haben.
HabeKeinenAccount hat geschrieben:
21 Aug 2018, 10:38
Gelöscht wird Sie bei mir übrigens nicht, aber ich kann auch keinen Fehler entdecken.
Das Löschen der Datei kann nicht zu 100% garantiert werden. Wenn keine Buchungen übernommen werden, dann ist es Absicht, dass die Datei nicht gelöscht wird, da dann irgendwo ein Fehler im Plugin ist. Außerdem kann das Löschen auch von extern blockiert werden, wenn z.B. der Dateimanager oder der Internet Browser noch die Hand drauf hat. Wenn man die Links benutzt (was man in jedem Fall sollte, um Doppler zu vermeiden), wird Fidor-CSV alte CSV-Dateien aber nicht einlesen, da es dann nur die nimmt, die nach dem letzten Klick auf einen Link erstellt wurden.
HabeKeinenAccount hat geschrieben:
21 Aug 2018, 10:38
Jedenfalls trotzdem Danke für das Plugin. So spart es etwas Arbeit.
Vielleicht kann man es ja auch für andere Banken/Arten verwenden für die es bisher keine Unterstützung gibt ;-)
Theoretisch wäre das schon möglich, damit es relativ einfach bleibt, müssen die aber auch GET für die Erstellung einer CSV-Datei anbieten. Wenn sie es über POST machen, müsste man das Formular für das Datum immer manuell im Browser ausfüllen. Man könnte die Sache auch dann noch immer weiter treiben, wenn man z.B. eine Web-Extension programmiert, die mit dem Hibiscus-Plugin kommunizieren kann, dann könnte man sogar Benutzernamen und -passwort automatisch ausfüllen und auch POST wäre dann kein Thema mehr. Aber da fehlt mir der Antrieb, mich in Web-Extensions einzuarbeiten, mal abgesehen von den Sicherheitsproblemen, die das aufwirft, wenn man eine externe Schnittstelle zu jeder Bank-Webseite öffnet.

Re: Fidor-Bank Hibiscus-Import

von HabeKeinenAccount » 21 Aug 2018, 10:38

Hallo,

also ich habe es irgendwie zum laufen gebracht. Dazu musste ich nur den Pfad der Datei nochmal anpassen.
Gelöscht wird Sie bei mir übrigens nicht, aber ich kann auch keinen Fehler entdecken.
Jedenfalls trotzdem Danke für das Plugin. So spart es etwas Arbeit.
Vielleicht kann man es ja auch für andere Banken/Arten verwenden für die es bisher keine Unterstützung gibt ;-)

MfG

PS: Geht ja sogar ohne Login, super, da muss ich mich endlich mal nicht anmelden :-)

Re: Fidor-Bank Hibiscus-Import

von ds10 » 16 Aug 2018, 22:45

bgru hat geschrieben:
16 Aug 2018, 22:32
Die CSVs scheinen jetzt auch wieder gelöscht zu werden, um das Problem mit 2 Konten zu vermeiden, nehme ich an?
Wenn alles erfolgreich eingelesen werden konnte, wird die CSV-Datei gelöscht, da sie dann ja nicht mehr gebraucht wird. Das sollte eigentlich immer der Fall sein, denn ein Fehler kann nur auftreten, wenn entweder die CSV-Datei defekt ist (das schließt natürlich Änderungen durch die Fidor Bank mit ein) oder das Plugin nicht richtig arbeitet.

Man kann nur hoffen, dass der Fidor Bank nicht noch mehr Stolpersteine einfallen, wenn sie z.B. das Erstellen der CSV-Datei von GET auf POST umstellen, wird es richtig kompliziert, da man dann das Datum von/bis manuell eingeben müsste und nicht mehr einfach durch Klick auf einen Link die passende CSV-Datei erzeugen könnte und es ist wichtig, dass die Datei die richtigen Daten hat, denn sonst funktioniert die Erkennung des Verschieben des Datums nicht, da die CSV-Datei ja nur ein Datum enthält und auch keine ID für die jeweilige Buchung aufweist.

Die CSV-Dateien sind einfach von schlechter Qualität, wie dort einfach alles zusammen gekippt wird, aber das hat meiner Meinung nach System, damit man die Dateien schlecht einlesen kann, denn sie wollen ja, dass man stattdessen ihre API zum Abrufen benutzt und dafür bezahlt werden, unter diese Kategorie kann man auch die reCaptcha einordnen.

Re: Fidor-Bank Hibiscus-Import

von bgru » 16 Aug 2018, 22:32

Super! Hat alles wunderbar geklappt. Danke für die Korrektur - das erleichtert bei mir vieles.

Die CSVs scheinen jetzt auch wieder gelöscht zu werden, um das Problem mit 2 Konten zu vermeiden, nehme ich an? Ich hatte alle CSVs vorher ohnehin gelöscht, weil ich schon so eine Vermutung hatte...

Daumen hoch für das feine Script! :)

Re: Fidor-Bank Hibiscus-Import

von ds10 » 16 Aug 2018, 22:15

Du musst aber darauf achten, dass du jetzt 2 CSV-Dateien im Verzeichnis hast, deshalb kam die Saldo-Abfrage beim Privatkonto auch zweimal. Es darf immer nur die CSV-Datei für das entsprechende Konto im Verzeichnis sein, damit die Umsätze korrekt zugeordnet werden.

Re: Fidor-Bank Hibiscus-Import

von bgru » 16 Aug 2018, 22:13

Jepp, so ist es. Tausender-Punkt und Cent-Komma.
Update wird gleich ausprobiert.

Re: Fidor-Bank Hibiscus-Import

von ds10 » 16 Aug 2018, 21:40

Sehr merkwürdig, an der Stelle wird einfach nur der Umsatzbetrag von einem String in eine Zahl verwandelt, da sollte es keine mehrfachen Punkte geben. Prüfe mal die CSV-Datei, ob dort irgendwo ein Umsatzbetrag nicht korrekt ist.

EDIT2: Ich hatte gerade eine Idee. Ich habe eher kleine Buchungen auf dem Konto, kann es sein, dass bei Buchungen über 999 EUR ein Tausender-Punkt im Betrag steht?

EDIT3: Ich habe jetzt das Update auf Version 0.2.0 hochgeladen. Nachdem du das Plugin aktualisiert hast, sollte es auch mit Tausender-Punkt gehen.

Re: Fidor-Bank Hibiscus-Import

von bgru » 16 Aug 2018, 20:35

Ah, da hätte ich auch vorher mal nachschauen können. Scheinbar ne multiple points exception beim Einlesen der Salden?

Code: Alles auswählen

[Thu Aug 16 18:57:14 CEST 2018][INFO][bg-task:Worker][org.jameica.hibiscus.sync.fidorcsv.SynchronizeJobKontoauszugFidorCSV.execute] Rufe Umsätze ab für Fidor-CSV
[Thu Aug 16 18:57:40 CEST 2018][INFO][bg-task:Worker][org.jameica.hibiscus.sync.fidorcsv.SynchronizeJobKontoauszugFidorCSV.execute] Loading transactions from file: D:\Eigene Dateien\Downloads\2018-08-16-185727-Fidorpay-Transaktionen.csv
[Thu Aug 16 18:57:52 CEST 2018][ERROR][bg-task:Worker][org.jameica.hibiscus.sync.fidorcsv.SynchronizeJobKontoauszugFidorCSV.translate] Fehler beim Einlesen der CSV-Datei 'D:\Eigene Dateien\Downloads\2018-08-16-185727-Fidorpay-Transaktionen.csv' 
java.lang.NumberFormatException: multiple points
	at sun.misc.FloatingDecimal.readJavaFormatString(Unknown Source)
	at sun.misc.FloatingDecimal.parseDouble(Unknown Source)
	at java.lang.Double.parseDouble(Unknown Source)
	at org.jameica.hibiscus.sync.fidorcsv.SynchronizeJobKontoauszugFidorCSV.translate(SynchronizeJobKontoauszugFidorCSV.java:321)
	at org.jameica.hibiscus.sync.fidorcsv.SynchronizeJobKontoauszugFidorCSV.execute(SynchronizeJobKontoauszugFidorCSV.java:134)
	at org.jameica.hibiscus.sync.fidorcsv.SynchronizeBackendFidorCSV$JobGroupFidorCSV.sync(SynchronizeBackendFidorCSV.java:205)
	at de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run(AbstractSynchronizeBackend.java:406)
	at de.willuhn.jameica.gui.GUI$7.run(GUI.java:1060)

[Thu Aug 16 18:57:52 CEST 2018][INFO][bg-task:Worker][de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run] END synchronization of account 1/1
[Thu Aug 16 18:57:52 CEST 2018][INFO][bg-task:Worker][de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.updateStatus] updating synchronization status to: DONE
[Thu Aug 16 18:57:52 CEST 2018][INFO][bg-task:Worker][de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run] stopping synchronization
[Thu Aug 16 18:57:52 CEST 2018][INFO][bg-task:Worker][de.willuhn.jameica.hbci.synchronize.AbstractSynchronizeBackend$Worker.run] finished

Nach oben