Il survivorship bias è l'errore di testare solo sugli strumenti sopravvissuti fino a oggi, così che le società fallite, acquisite o delistate non compaiono affatto nel test. Ripulito il campione dei suoi esiti peggiori prima che il test cominci, i rendimenti risultano troppo alti e il rischio troppo basso.
Altri nomi: bias del sopravvissuto
Il bias è incorporato nell'elenco dei nomi, quindi nessuna cura nelle regole della strategia lo elimina. È una delle distorsioni più grandi e più facilmente ignorate del backtesting, proprio perché una lista di strumenti negoziabili oggi sembra un punto di partenza del tutto ragionevole.
Come tratta Fincanva le società delistate?
I dati di mercato di Fincanva includono gli strumenti delistati e la composizione degli indici point-in-time, quindi i nomi che in seguito sono falliti o sono stati rimossi da un indice restano disponibili a un backtest anziché sparire dallo storico. Ogni strumento viene usato solo nell'arco in cui è realmente esistito — una società quotata nel 2011 e delistata nel 2018 è presente in quegli anni e assente prima e dopo — ed è questo che permette di misurare un backtest sul mercato così com'era a ciascuna data storica. L'universo più ampio — "All" — contiene perciò ancora strumenti che nel frattempo sono stati delistati, e uno strumento che non è più negoziato può comunque comparire in un backtest storico.
Avere dati che conservano anche i fallimenti non basta, da solo, a rendere imparziale un test: l'universo e il periodo che scegli decidono comunque quali nomi il test può detenere. Un elenco di strumenti digitato a mano fra quelli che conosci oggi, per esempio, reintroduce il bias qualunque cosa contengano i dati sottostanti.
Perché il survivorship bias fa sembrare i risultati migliori della realtà?
Il survivorship bias gonfia i risultati perché il fallimento è l'unico esito che toglie un nome dall'elenco. Ogni società andata a zero, rilevata a sconto o delistata per inadempienza esce dall'insieme dei sopravvissuti, mentre ogni società che è semplicemente andata bene vi resta. Il test pesca quindi da una popolazione definita dall'essere andata abbastanza bene da esistere ancora: una condizione che non era conoscibile in anticipo. Ne seguono due cose: il rendimento medio è sovrastimato e la profondità e la frequenza delle grandi perdite sono sottostimate, perché gli eventi che producono le perdite peggiori sono stati filtrati via.
La stessa logica vale per i fondi e per le strategie, non solo per le singole azioni: uno studio sui fondi disponibili oggi ha già escluso in silenzio ogni fondo chiuso dopo risultati scadenti.
Cosa non va in un backtest sull'S&P con i componenti di oggi?
Immagina un backtest decennale che compra "l'S&P 500" ma prende l'elenco degli strumenti dall'indice così come è oggi. Ogni nome in quell'elenco, per definizione, è sopravvissuto un decennio e a fine periodo soddisfaceva ancora i criteri di inclusione dell'indice. Le società che erano nell'indice all'inizio e ne sono state rimosse dopo essere crollate — quelle che avrebbero prodotto le posizioni peggiori del backtest — sono semplicemente assenti. La curva del capitale sale più regolarmente di quanto abbia fatto l'indice reale, il drawdown massimo è meno profondo di quello dell'indice reale e la strategia sembra aver battuto il mercato quando in realtà le è stata consegnata una lista di vincenti. Applicare le stesse regole alla composizione dell'indice così come era a ciascuna data storica produce un risultato sensibilmente più basso.
In cosa differisce il survivorship bias dal selection bias?
Il survivorship bias e il selection bias producono entrambi un campione non rappresentativo, ma per ragioni diverse. Il survivorship bias è imposto dai dati: i fallimenti mancavano già prima che tu facessi una sola scelta, quindi colpisce anche un ricercatore scrupoloso che estrae nomi a caso dall'elenco che ha davanti. Il selection bias è introdotto dal ricercatore: il campione è ristretto da una scelta dettata dal senno di poi. Il cherry-picking bias è un terzo passaggio, successivo: scegliere quale dei risultati già ottenuti riportare. Un singolo test può soffrire di tutti e tre insieme.