Curve fitting vs optimalizace u trading systémů (AOS)

Ačkoliv od konce 90. let, kdy se v obchodování na trzích začaly ve velké míře prosazovat automatické trading systémy (AOS) uplynula již řádka let (dnes již kupříkladu tvoří rozhodující podíl na obchodování komoditních fondů, přespoloviční na akciovém trhu, atd.), tak se nad tématem zda a do jaké míry optimalizovat parametry strategií stále živě diskutuje. V první řadě je nutno zmínit, že při stavbě jakékoliv systému či obchodní metody, je nutno vycházet z logických a ekonomicky správných předpokladů. Dále pak, pokud toto splněno, je výhodou pokud člověk na trhu strávil nějakou dobu a má značné zkušenosti s chováním trhu v různých periodách a dokáže systém těmto změnám správně  přizpůsobit.

Vyvarování se nástrah při stavbě AOS

Klasickým příkladem systému s pochybným logicko-ekonomickým předpokladem je například strategie prezentovaná v Montley Fool médiu v roce 1996 zvaná „Foolish Four“. To znamená vysledování, že všechny akcie tohoto portfolia vysoce dividendově výnosných akcií vydělávaly v sudých letech a v lichých letech se vedlo nejlépe akcii s druhou nejnižší valuací v portfoliu, vedlo k závěru, že podle datového vzorku od 1973 do 1996 by daný systém, pokud takto aplikován nákupem portfolia pro sudé roky a jen dané akcie pro liché roky, výrazně překonal akciový index.  Nicméně, jak ukázala studie Granta McQueena a Stevena Thorleye: Mining Fools Gold, z roku 1999 v časopise Financial Analyst Journal, tak toto by neplatilo v jiné periodě a dalších letech. Proč? Protože strategie nedává logicko-ekonomický smysl ve své premise a je předmětem tak zvaného „drilování dat“ alias ve statistice hovoříme o data miningu, to znamená lidově řečeno dolujeme až něco konečně najdeme, co se zdá, že funguje. Podobně je tomu u hledání numerického vyjádření parametru (inputu), například specifického čísla u délky klouzavého průměru, a podobně, až nám začne něco ukazovat na equity, že to je ono. Špatná zpráva: s velkou pravděpodobností není. Proto, abychom zabránili, lépe řečeno výrazněji omezili inherentnímu data miningu, je kromě jiného nutné také, aby byla prověřena robustnost parametru či souboru parametrů a to při všech logicky definovaných intervalech jejich změny ať už číselné nebo u kvalitativních proměnných nabývajícíh hodnot ano/ ne (1,0), jejich kombinací a tak dále. Mezi známé metody omezení data miningu při tvorbě strategií patří pro názornost následující. Nebudu se však nyní rozepisovat o každé z nich, to by bylo na samostatný článek, který si nechám na příště. Pohlédněme tedy na krátký přehled:

Za jakých podmínek optimalizovat a jak zabránit curve fittingu?

Máme-li tedy logicky správnou strategii s robustními parametry inputů používaných indikátorů, můžeme přistoupit k jejich optimalizaci pro co nejpravděpodobnější cílování maximálních profitů pro období následující. A zde nastává problém, do jaké míry a jak optimalizovat, aby nedošlo k přeoptimalizaci, jinak řečeno curve fittingu a možnému neracionálnímu očekávání nadprůměrných zisků? K tomu může sloužit jako jedna z metod otestování strategie při různých velikostech inputů a vyjádření, zda nejvíce výkonný inuput v daném období má tendenci být opět nejvíce výkonný v období následujícím. V takovém případě můžeme s jistou pravděpodobností předpokládat, že optimalizace povede k nejlepšímu možnému výsledku v dalším období. Naopak, nenalezneme-li u daného systému při testu tento vztah je lépe použít velikost inputu historicky zabezpečující průměrný očekávaný výnos. V případě značně negativního vztahu, kdy nejlepší input v daném období mívá tendenci být nejhorším v následujícím období, stojí za to použít velikost inputu, která zabezpečovala podprůměrnou výkonnost minule a existuje šance pro nadprůměrnou výkonnost v období příchozím. To vše za předpokladu robustnosti všech inputů definovaných v logickém intervalu navrženého systému.

Pro účely tohoto článku si pak můžeme provést  analýzu čistých ročních profitů (tedy roční periody) při jednotlivých změnách inputů indikátoru koeficientu volatility a jejich vztah z předešlého roku na rok následující. Použijeme úspěšný AOS obchodovaný v praxi na trhu mini MidCap futures (EMD), kde je jedním z inputů právě indikátor volatility a robustnost parametrů je výrazná. Pro zjednodušení použijeme údaje o čistém zisku na obchodovaný jeden kontrakt za poslední zhruba tři a půl roku. Toto si vyjádříme jako pořadí (nejvyšší čistý zisk při dané hodnotě koeficientu = první pořadí a nejnižší čistý zisk u jiné hodnoty koeficientu = poslední pořadí v daném roce). Následně si vytvoříme souřadnice podle toho, jaké pořadí bylo v předešlém roce a jaké pořadí v roce bezprostředně následujícím. Například daná hodnota koeficientu byla v předešlém roce podle čistého dosaženého zisku AOS na prvním pořadí a v roce následném na třetím pořadí, pak bude mít souřadnici [1,3], a tak dále. Toto provedeme pro všechny testované hodnoty koeficientu volatility a graficky vytvoříme bodový graf:

V tomto případě testu optimalizace parametrů koeficientu volatility v intervalu od 0,75 do 1,75 se ukazuje, že výběr velikosti inputu, který poskytl nejlepšího čistého zisku v předchozí periodě (tomto zjednodušeném příkladu roce) není nejvýhodnější variantou pro následující období jelikož křivka závislosti je mírně klesající a koeficient determinace R²  nízký, tudíž není patrná korelace. Je lépe využít AOS s hodnotou koeficientu volatility, při které bylo na backtestech dosaženo čistého zisku odpovídajícího průměrnému ročnímu zisku a nesnažit se optimalizovat inputy volatility k dosažení nadprůměrného profitu. Přeoptimalizovaný parametr by nám pak v reálu mohl u AOS vykázat návrat k průměru a pakliže způsobil v minulém roce nadprůměrný zisk, v roce následném by mohlo dojít naopak k profitu podprůměrnému. Existuje tudíž velká pravděpodobnost curvefittingu, pakliže budeme optimalizovat AOS pro maximální čistý zisk za poslední sledovanou periodu.

Jiným příkladem, za využití stejné metodiky testu, pak může být další robustní AOS systém z reálného obchodování a to na trhu mini S&P 500 futures (ES), který využívá indikátoru Gap down. Po otestování hodnot parametrů v intervalu 2 až 10 dostaneme následující graf:

U tohoto systému pak hodnoty inputů, které zabezpečovaly nadprůměrnou výkonnost AOS podle dosaženého čistého zisku na jeden obchodovaný kontrakt v předešlém období mají tendeci opětovně zprostředkovat nadprůměrný výnos v periodě následující. Regresní křivka je tudíž rostoucí a koeficient determinace R² není nejmenší, což poukazuje na jistou korelaci (v tomto případě pozitivní). To znamená provedení optimalizace je žádoucí procedura a neměla by vést ke curvefittingu.

Závěrem

Podle názorného zjednodušeného příkladu lze tedy říci, že optimalizace parametrů u automatizovaných obchodních systémů (AOS) má své místo a pro cílování potenciálně co nejlepších výsledků je žádoucí. Nicméně jedná se o komplexní záležitost a před její aplikací jsou nutné další testy jejího případného vlivu, který může mít naopak adverzní charakter v důsledku výběru souboru přeoptimalizovaných (curve fitted) parametrů a následným návratem výkonnosti AOS k dlouhodobému průměru. To znamená, vybíráme-li v případě curve fittingu nejlepší parametry dle minulého období, může dojít v období následujícím k podprůměrné či negativní výkonnosti v rámci tak zvaného mean reversion. Naopak, existuje-li u nejlepší sady parametrů v předchozích obdobích pozitivní autokorelace výkonnosti s výsledky v následujícíh obdobích, je optimalizace naopak velkým pomocníkem.