Il cherry-picking bias consiste nel citare solo i periodi, gli strumenti o i backtest che hanno lusingato una strategia lasciando fuori il resto: ogni cifra riportata è vera, il quadro d'insieme no. È un errore di comunicazione del risultato: il test alla base può essere corretto, e la distorsione entra solo quando lo si racconta.
Altri nomi: cherry picking, reporting selettivo
Non serve falsificare nulla — un anno buono è stato davvero un anno buono — ma al lettore viene mostrata una porzione delle prove scelta perché era favorevole, senza alcun modo di vedere ciò che è stato tolto.
Come si comporta in Fincanva?
Un backtest di Fincanva riporta l'intero periodo su cui è stato eseguito, non un tratto scelto, e riporta le cadute insieme ai guadagni: lo stesso backtest che produce il rendimento produce anche il peggior drawdown da massimo a minimo, quindi la parte brutta della storia arriva attaccata a quella buona. Poiché il backtest è un walk-forward replay dell'intero arco, non esiste una versione del risultato che copra solo gli anni andati bene.
La sensibilità alla data di inizio risponde direttamente alla scelta della finestra: riesegue la stessa strategia su molte date di ingresso e diverse finestre di detenzione e riporta l'intervallo degli esiti — la partenza migliore contro la peggiore, e la quota di date di inizio chiuse in positivo. Un'affermazione che regge su un solo mese di ingresso si vede subito, perché l'intervallo risulta ampio.
Ciò che il prodotto non può fare è decidere cosa racconti agli altri, o a te stesso: scegliere una schermata favorevole da un backtest completo resta possibile per chiunque. Rivolta verso l'interno, è il confirmation bias; quando il problema sono i numeri stessi, è il data-quality bias.
Cosa viene selezionato in un backtest?
Di solito si selezionano quattro cose, e ognuna viene scelta allo stesso modo: quando i risultati sono già noti.
- La finestra temporale. Una data di inizio e una di fine scelte perché il tratto compreso tra le due è andato bene. È la forma più comune, perché in un backtest cambiare finestra costa un'impostazione.
- Gli strumenti. I nomi presenti nel resoconto sono quelli che hanno contribuito; quelli che hanno pesato in negativo diventano "non veramente parte dell'idea".
- La metrica. Si cita il rendimento e non il peggior drawdown, oppure si mostra la curva lorda e non quella al netto dei costi, cioè la cifra che un conto reale avrebbe davvero trattenuto (vedi cost-ignoring bias).
- Il backtest. Una configurazione tra le molte provate viene presentata come la strategia, senza menzionare le altre.
Una sola verifica smaschera tutte e quattro: qualcuno potrebbe riprodurre questa affermazione senza sapere quale porzione hai scelto? Se l'affermazione regge solo sulla tua porzione, il lavoro lo sta facendo la porzione, non la strategia.
Cosa cambia se riporti il 2019 e ometti il 2022?
Una strategia viene testata sui dieci anni solari dal 2015 al 2024. Due di quegli anni spiccano: il 2019 ha reso +31% e il 2022 ha reso −29%.
Un resoconto costruito attorno al 2019 — l'anno, la curva che sale, il +31% — dice il vero. Ecco cosa dice anche lo stesso backtest:
| Cifra dello stesso backtest | Valore |
|---|---|
| Anno solare 2019 | +31% |
| Anno solare 2022 | −29% |
| Intero periodo, rendimento totale | +72% |
| Intero periodo, annualizzato (CAGR) | 5,6% all'anno |
| Peggior caduta da massimo a minimo nel periodo | −34% |
Citare il solo 2019 invita il lettore a leggere +31% come ciò che la strategia fa in un anno; la cifra annualizzata dello stesso backtest è circa un quinto di quella. Rimetti dentro l'anno omesso e già la coppia lascia la strategia sotto il punto di partenza: 1,31 × 0,71 = 0,93, cioè −7% sui due anni presi insieme. Nessuna di queste cinque cifre contraddice le altre: vengono tutte da un unico backtest. La distorsione sta interamente in quali di esse sono state citate.
In cosa differisce il cherry-picking bias dal selection bias e dal data-snooping bias?
I tre si distinguono per quale passaggio va storto: il cherry-picking bias riguarda ciò che riporti, il selection bias riguarda ciò che hai testato e il data-snooping bias riguarda quante cose hai testato prima che qualcosa apparisse buono.
Si sommano anche, in quest'ordine. Chi prova cinquanta varianti (data-snooping), tiene quella con la lista di strumenti più favorevole (selection) e poi presenta i suoi tre anni migliori (cherry-picking) ha commesso tutti e tre gli errori, e il resoconto finale non mostra traccia dei primi due.