Affidabilità del backtest

Altri nomi: test bootstrap, p-value, significatività del backtest, intervallo di confidenza bootstrap

Cosa misura il verdetto «Può essere fortuna»?

Il verdetto risponde a una domanda: se questa strategia non avesse alcun vantaggio sulla liquidità, quanto spesso la sua storia produrrebbe comunque un indice di Sharpe alto quanto quello del backtest? Quella quota è un p-value, mostrato come «p = …», e la frase sotto lo dice a parole: «Una strategia senza alcun vantaggio sulla liquidità, con la stessa volatilità, sembrerebbe così buona nel … dei casi.»

Il verdetto legge quella quota su tre gradini:

In prosa: una quota bassa significa che una strategia senza vantaggio raramente eguaglia questo risultato, quindi la fortuna è una spiegazione improbabile; una quota alta significa che ci riesce spesso, quindi il risultato dimostra poco. Il p-value non è mai esattamente zero.

Cosa lascia fuori il verdetto?

Mette alla prova una strategia, come se fosse l'unica che hai mai provato. Ne hai provate venti varianti e hai tenuto la migliore? Fra venti strategie senza vantaggio, una supera spesso il gradino del 5% per puro caso, e il verdetto non può vedere le altre diciannove: l'app lo dice sotto di esso, «Parla del passato, non di cosa farà la strategia, e non tiene conto di quante varianti hai provato prima di questa.» È il data-snooping bias, e il suo parente stretto, l'overfitting, è il motivo per cui un verdetto forte su una strategia molto ritoccata vale meno dello stesso verdetto su una strategia impostata una volta sola.

Come mostra il ricampionamento quanto potevano variare le cifre?

Il ricampionamento ricostruisce molte volte la storia del backtest riestraendo i suoi stessi giorni, con reinserimento, e ricalcola le cifre su ogni storia ricostruita. La dispersione di quelle cifre ricalcolate è ciò che il pannello disegna sotto Quanto potevano variare · fascia 5–95%: per Rendimento medio annuo (aritmetico), Sharpe e Drawdown massimo, una fascia dal 5° al 95° percentile dei valori ricampionati, con un pallino per il valore del backtest. È il classico intervallo di confidenza bootstrap dei manuali.

Il pallino può cadere fuori dalla fascia — l'app lo segnala — e succede soprattutto per il drawdown massimo, perché riestrarre i giorni spezza le lunghe sequenze di perdite di cui un drawdown è fatto. Il rendimento è quello medio annuo aritmetico, il rendimento medio giornaliero riportato all'anno, quindi non coincide con il tasso di crescita composto, il CAGR, di Metriche di performance.

Due metodi decidono come si estraggono i giorni: A blocchi estrae sequenze di giorni consecutivi, tenendo insieme le fasi tranquille e quelle agitate; Giorni sparsi estrae ogni giorno per conto suo. Più ricampionamenti rendono più stabili i bordi della fascia; non rendono il backtest più affidabile.

Cos'è il rendimento medio annuo (aritmetico)?

Il Rendimento medio annuo (aritmetico) è il rendimento medio giornaliero della strategia moltiplicato per 252, i giorni di borsa di un anno. È il rendimento che usano la scheda Robustezza e l'analisi dei contributi, ed è una cifra diversa sia dal tasso di crescita composto, il CAGR, sia dall'AAGR delle Metriche di performance.

dove la media è la semplice media dei rendimenti giornalieri del backtest. Poiché fa la media dei rendimenti invece di comporli, ignora il freno che la volatilità mette alla crescita: un giorno a −10% seguito da un giorno a +10% ha media 0%, ma lascia il capitale più basso dell'1%. Più la volatilità è alta, più lo scarto si allarga, quindi su una strategia molto volatile la cifra aritmetica può essere positiva anche se la strategia ha perso denaro nel periodo. Leggila come la forza della giornata media, non come ciò che ha fatto il capitale.

Come si comporta in Fincanva?

• Parte su richiesta, dalla scheda Robustezza: scegli un metodo e un numero di ricampionamenti — 100 o 1.000 — e premi Calcola. Prima non viene calcolato nulla.
• Anni in positivo conta quanti degli anni della tabella Anno per anno hanno avuto un rendimento medio giornaliero, riportato all'anno, sopra zero: «7 su 10», per esempio. In un anno molto volatile può non coincidere con il segno che lo stesso anno mostra in Rendimenti mensili, che invece compone.
• La tabella Anno per anno riporta per ogni anno solare i giorni, il rendimento medio annuo, lo Sharpe e il drawdown massimo. Lo Sharpe di ogni anno usa il tasso privo di rischio di quell'anno. Per comparire, un anno deve avere almeno 40 giorni di borsa; se nessuno li ha, al posto della tabella c'è una nota che lo dice.
• Le cifre seguono le Impostazioni simulazione della scheda: con Costi e interessi o Imposte accesi, la verifica lavora sui rendimenti netti.
• Una simulazione salvata prima che il pannello esistesse va rieseguita; fino ad allora il pannello dice che non è disponibile.
• La stessa richiesta sullo stesso backtest restituisce sempre lo stesso risultato.

Quanti ricampionamenti può usare un calcolo lo decide il tuo piano, e un piano che non ne consente nessuno non include il pannello:

Lo decide il piano: 0 su Free e Starter, 100 su Advanced e 1000 su Ultimate e Professional. Vedi cosa include ciascun piano.

Un numero di ricampionamenti oltre il tuo piano resta nell'elenco, segnato con il piano che lo include, e sceglierlo apre una finestra invece di calcolare.

Come funziona in pratica?

Il backtest di una strategia mostra uno Sharpe di 0,9 su dodici anni. Il pannello restituisce p = 0,03, «Probabilmente no»: solo 3 storie senza vantaggio su 100 arrivano a uno Sharpe di 0,9. La fascia del rendimento medio annuo va dal 4% al 14% attorno a un valore del backtest del 9%, e Anni in positivo segna 9 su 12. Letti insieme: è improbabile che il risultato sia puro caso, ma gli stessi giorni avrebbero potuto plausibilmente produrre qualunque cosa fra un modesto 4% e un robusto 14% l'anno. Ora supponi che la strategia fosse la migliore di trenta varianti: quel 3% dice ormai poco, perché fra trenta tentativi senza vantaggio è più probabile che no che almeno uno scenda al 3% o sotto.