Il data-snooping bias è l'errore di provare molte varianti di strategia sugli stessi dati finché una sembra buona, per poi riportare quel vincente come se fosse una scoperta autentica. Le cifre del vincente sono vere; si perde l'informazione per giudicarle, perché il migliore di molti fa colpo anche quando non c'è assolutamente nulla.
Altri nomi: data mining, p-hacking, bias dei test multipli
Il data-snooping bias è una proprietà della ricerca che ha prodotto un risultato, non del risultato stesso — motivo per cui è invisibile nel referto e può essere valutato solo sapendo quanti candidati sono stati provati.
Come si comporta in Fincanva?
Fincanva non evita il data-snooping, e nessuno strumento di backtesting può farlo: l'app ti lascia eseguire tutte le varianti che vuoi, e un backtest completato non porta alcuna traccia di quante altre varianti hai provato prima. Tenere il conto della tua stessa ricerca — e trattare con cautela un risultato emerso solo dopo molti tentativi — è la disciplina che resta a te. Quel conto è l'unico dato che rende interpretabile un vincente, e deve sopravvivere al confirmation bias, cioè alla tendenza a ricordare le esecuzioni che davano ragione all'idea e a svalutare in silenzio tutte le altre.
Due comportamenti del prodotto incidono su questo. Un backtest riporta il risultato su tutto il periodo con i suoi drawdown, non solo il tratto favorevole, quindi un vincente fortunato è almeno mostrato per intero. E la vista sensibilità alla data di inizio riesegue una strategia su molte date di ingresso e riporta la dispersione degli esiti, cosa che tende a smascherare un risultato sopravvissuto solo su una finestra particolare.
Perché provare molte idee produce un vincente falso?
Provare molte idee produce un vincente falso perché ogni singolo test porta con sé la propria probabilità di sembrare buono per pura fortuna, e quelle probabilità si accumulano lungo la ricerca. Se ogni test ha una probabilità di apparire significativo pur in assenza di un effetto reale, la probabilità che almeno uno di test indipendenti lo faccia è:
- il familywise error rate, cioè la probabilità che la ricerca produca almeno un risultato apparentemente significativo dal solo rumore
- il tasso di falsi positivi di un singolo test
- il numero di test indipendenti eseguiti
La conseguenza è che il significato di una soglia dipende da quante volte è stata applicata. Un risultato che sarebbe notevole come esito di un unico test dichiarato in anticipo è banale come migliore di duecento, e le stesse cifre sulla pagina sostengono quindi conclusioni molto diverse a seconda di un dato che la pagina non contiene. Nella finanza quantitativa le correzioni standard alzano l'asticella della significatività al crescere del numero di prove (come fa la correzione di Bonferroni) oppure verificano il candidato sopravvissuto su dati che non ha mai visto.
Come fanno 100 idee a produrre un vincente?
Prendi , cioè una probabilità su venti che un singolo test sembri buono per solo rumore.
| Idee testate () | Probabilità che almeno una sembri buona per fortuna |
|---|---|
| 1 | 5% |
| 14 | 51% |
| 100 | 99,4% |
Esegui 100 varianti di strategia non correlate ed è praticamente certo — 99,4% — che almeno una superi l'asticella senza alcuna ragione. Riporta solo quella variante e hai una pagina di cifre forti prodotta da un lancio di monete. L'aritmetica mostra anche quanto in fretta si arriva a questo punto: già alla quattordicesima variante le probabilità sono peggiori di una su due. Nota cosa non è registrato da nessuna parte nei risultati del vincente: le altre 99 esecuzioni. Un lettore a cui viene mostrato solo il vincente non può calcolare quale riga di questa tabella si applichi.
In cosa differisce il data-snooping bias dall'overfitting?
Il data-snooping bias e l'overfitting sono lo stesso problema affrontato da direzioni opposte. L'overfitting riguarda la strategia: ha gradi di libertà a sufficienza per assorbire rumore, quindi descrive un campione con troppa precisione. Il data-snooping riguarda la ricerca: sono stati valutati molti candidati e viene mostrato solo il sopravvissuto, quindi la qualità del sopravvissuto misura in parte l'ampiezza della ricerca. Una singola strategia a dodici parametri calibrata a mano è in overfitting senza alcuna ricerca; una strategia a un parametro scelta come migliore fra 500 test è data-snooped senza essere complessa.
È inoltre distinto dal suo vicino della fase di comunicazione: il cherry-picking bias è citare la parte favorevole di un risultato, mentre il data-snooping è citare il risultato favorevole fra molti. E differisce dal selection bias, che riguarda un campione non rappresentativo di strumenti o periodi anziché una ricerca ripetuta.