Il confirmation bias è la tendenza a leggere le prove a favore di una conclusione che già si sostiene: accogliere per buoni i risultati che danno ragione all'idea e trovare motivi per scartare quelli che la contraddicono. È un errore di interpretazione, quindi sopravvive a ogni correzione applicata ai dati e alle regole.
Altri nomi: bias di conferma, bias confermativo
È il più umano dei bias del backtesting, perché non ha bisogno di dati sbagliati, di un test rotto o dell'intenzione di ingannare: la stessa persona può eseguire un backtest tecnicamente impeccabile e uscirne convinta di qualcosa che il backtest non ha detto.
Come si comporta in Fincanva?
Un backtest applica le tue regole in modo meccanico su tutto lo storico, a prescindere da ciò che speravi, e riporta il risultato per intero: il rendimento e le cifre principali come il CAGR, il peggior drawdown da massimo a minimo, i mesi in perdita e, accanto, il benchmark eseguito sullo stesso identico periodo. Questo dà alle regole una possibilità concreta di darti torto, e mette la prova contraria sulla stessa schermata di quella favorevole invece che a una ricerca di distanza.
Non può però costringerti a leggerlo. Nulla in un backtest ti impedisce di liquidare un risultato scomodo, e nessuno strumento può fornire la volontà di essere smentiti.
Come si manifesta il confirmation bias quando leggi un backtest?
Dall'interno non sembra quasi mai un bias. Sembra discernimento. Gli schemi riconoscibili sono questi:
- Fermarsi quando il risultato dà ragione. Il primo backtest che sostiene l'idea chiude l'indagine; uno che l'avesse contraddetta ne avrebbe fatti nascere altri tre.
- Scrutinio asimmetrico. Un risultato favorevole si accetta così com'è. Uno contrario viene messo sotto esame — universo sbagliato, periodo sbagliato, "c'è qualcosa che non torna nei dati" — e l'esame si ferma appena si trova una spiegazione.
- Motivazioni prodotte dopo il risultato. L'obiezione a un backtest nasce quando il suo numero è già noto. Se quel backtest fosse andato bene, la stessa obiezione non sarebbe mai stata sollevata.
- Leggere solo la metrica che lusinga. Si legge il rendimento e si salta il peggior drawdown, oppure si legge la cifra della strategia senza il benchmark accanto.
- Ricordare il backtest che dava ragione. Settimane dopo il ricordo è "funzionava": la versione del test che confermava, non quella che smentiva.
Una verifica utile è una sola domanda, posta prima che un backtest finisca: quale risultato mi farebbe abbandonare questa idea? Un'idea per cui non esiste un risultato del genere non è sotto test.
Come si confrontano il backtest che hai tenuto e quello che hai giustificato?
Sostieni che una regola di momentum a dodici mesi funzioni, e la testi sul periodo 2015–2024.
- Backtest 1: la regola su venti società grandi e familiari. Rende 9,1% all'anno. Corrisponde a ciò che ti aspettavi, quindi la salvi.
- Backtest 2: la regola identica su un universo ampio di quattrocento nomi. Rende 3,4% all'anno. Concludi che l'universo più ampio contiene troppi nomi di scarsa qualità e metti da parte il backtest.
Ora mettici accanto il benchmark. Sullo stesso periodo ha reso 7,8% all'anno, quindi il rendimento in eccesso del backtest 1 è +1,3pp e quello del backtest 2 è −4,4pp. Ne seguono due cose. La prima: anche il backtest che hai tenuto ha battuto il proprio benchmark con un margine molto più sottile di quanto "9,1%" suggerisse da solo. La seconda, più importante: la motivazione con cui hai scartato il backtest 2 è nata dopo averne visto il numero. Se il backtest 2 avesse reso il 12%, l'universo da quattrocento nomi non sarebbe stato "pieno di scarti", sarebbe stato "un test più ampio e più onesto". È quell'asimmetria, non i numeri, il bias.
Cosa distingue il confirmation bias dal cherry-picking bias?
La differenza è il destinatario. Il cherry-picking bias è selezione rivolta verso l'esterno: hai il risultato completo e ne mostri a qualcun altro una parte favorevole. Il confirmation bias è la stessa selezione rivolta verso l'interno: la mostri a te stesso, in genere senza accorgertene, e non c'è alcun momento in cui decidi di omettere qualcosa.
I due si alimentano a vicenda. Il confirmation bias decide a quale backtest credi; il cherry picking decide quale backtest presenti. E un risultato scomodo attribuito a "dati sbagliati" senza che nessuno controlli i dati è confirmation bias che prende in prestito il linguaggio del data-quality bias, esattamente come disattivare i costi perché la curva netta "sembra sbagliata" (vedi cost-ignoring bias).