Forward-Test für Trading-Bots: Was er zeigt, das kein Backtest zeigen kann

Nach dem Backtest kommt der Moment, in dem eine Strategie zum ersten Mal Daten sieht, die es bei ihrem Entwurf noch nicht gab. Ein Forward-Test für den Trading-Bot - im Demokonto oder im Simulationsmodus mit Live-Daten - ist die erste Prüfung ohne Rückblick. Sein Wert liegt weniger im Ergebnis als in den Abweichungen, die er sichtbar macht.

Forward-Test ist nicht Walk-Forward

Die beiden Begriffe werden oft verwechselt. Eine Walk-Forward-Analyse arbeitet ausschließlich mit historischen Daten: Parameter werden auf einem Zeitabschnitt bestimmt und auf dem jeweils folgenden geprüft, Fenster für Fenster. Ein Forward-Test läuft dagegen in Echtzeit, auf Daten, die zum Zeitpunkt der Entwicklung noch nicht existierten. Walk-Forward prüft die Stabilität der Parameter, der Forward-Test die Umsetzung unter echten Bedingungen. Das eine ersetzt das andere nicht.

Wie Walk-Forward-Analyse und Out-of-Sample-Test gegen Überanpassung helfen, steht im Beitrag zu Overfitting bei Trading-Strategien.

Was ein Forward-Test zeigt, das kein Backtest zeigen kann

• Ausführung: ob Orders zum erwarteten Preis gefüllt werden statt zum Signalpreis der Kerze
• Signalverhalten in Echtzeit: ob Signale live genauso entstehen wie in der Historie, oder ob der Indikator im Nachhinein anders aussieht
• Zeitlogik: ob Handelsfenster, Session-Anker und Glattstellen zur richtigen Uhrzeit greifen
• Betrieb: Verbindungsabbrüche, Neustarts und fehlende Daten - alles, was in einer Simulation über Historie schlicht nicht vorkommt
• Datenfeed: ob die Live-Daten dieselben Werte liefern wie die historischen Daten, auf denen getestet wurde

Der aufschlussreichste Schritt: Trade für Trade abgleichen

Am Ende des Forward-Tests wird genau derselbe Zeitraum im Backtest nachgerechnet, mit identischen Parametern. Dann werden beide Trade-Listen nebeneinandergelegt. Ein Vergleich der Gesamtergebnisse reicht dafür nicht - zwei ähnliche Endsummen können aus völlig unterschiedlichen Trades entstehen. Erst der Einzelvergleich zeigt, wo die beiden Welten auseinanderlaufen, und fast jede Abweichung lässt sich einer von wenigen Ursachen zuordnen:

• Trade nur im Backtest: Das Signal existiert nur in der Historie - typischerweise Auswertung der offenen Kerze oder nachträglich veränderte Werte
• Trade nur live: Das Signal wurde während der Kerze ausgelöst, aber auf der abgeschlossenen Kerze nicht bestätigt
• Gleicher Trade, andere Uhrzeit: Zeitzone, Sommerzeit oder eine abweichende Session-Definition
• Gleicher Trade, anderer Preis: Ausführung, Slippage oder der gewählte Ordertyp
• Gleicher Einstieg, anderer Ausstieg: Stop und Ziel innerhalb derselben Kerze, die der Backtest aus Kerzendaten anders auflöst als der Live-Markt

Wie lange ein Forward-Test laufen sollte

Die Antwort hängt davon ab, was geprüft werden soll. Für die technische Kontrolle - stimmen Signale, Zeiten und Ausführung mit dem Backtest überein? - genügen oft schon wenige Wochen, weil es dabei um Übereinstimmung geht und nicht um Statistik. Für eine Aussage über das Ergebnis braucht es dagegen deutlich mehr Trades und idealerweise unterschiedliche Marktphasen. Maßstab ist dabei die Anzahl der Trades, nicht die Kalenderzeit: Eine Strategie mit wenigen Signalen im Monat braucht entsprechend länger.

Die Grenzen eines Demokontos

• Simulierte Ausführungen bilden Warteschlange und Markttiefe meist nur vereinfacht ab und fallen dadurch oft freundlicher aus als echte
• Während des Tests Parameter zu verändern macht den Abgleich wertlos, weil der Backtest des Zeitraums dann mit anderen Werten läuft als der Livebetrieb
• Ein bestandener Forward-Test belegt, dass die Umsetzung tut, was sie soll - er ist keine Aussage über zukünftige Ergebnisse

Warum gerade Zeitabweichungen so leicht übersehen werden, steht im Beitrag zu Handelszeiten und Zeitzonen im Trading-Bot.

Ein Forward-Test ist weniger eine Prüfung, ob die Strategie Geld verdient, als eine Prüfung, ob der Bot das tut, was der Backtest behauptet. Diese Frage lässt sich in wenigen Wochen beantworten - und sie sollte beantwortet sein, bevor irgendjemand über echtes Kapital nachdenkt.