We Talkin’ About Metrics?

Il film (e prima ancora il libro) Moneyball è riuscito a presentare alle grandi masse quello che è il mondo delle analytics dietro gli sport americani.

Un po’ furbescamente il film ha lasciato sottintendere come la stagione degli Oakland Athletics del 2002 sia stata la prima stagione nella storia in cui una squadra ha utilizzato il mondo della statistica per migliorare i propri risultati sul campo, mentre in realtà la relazione che collega matematica e sport è vecchia, quantomeno, 150 anni con l’invenzione del boxscore.

Infatti dal 1859, anno in cui viene accreditato il primo boxscore ufficiale, al 2002 più di qualche manipolo di scienziati pazzi aveva iniziato a creare i propri modelli per valutare l’impatto dei giocatori e qualcuno di questi aveva già avuto i primi contratti redditizi con squadre professionistiche qualche annetto prima della rivoluzione Moneyball.

L’esempio più famoso di statistico prestato al mondo dello sport è sicuramente Bill James, le cui formule sono state prima la base della storica stagione Athletics, e successivamente uno dei motivi grazie a cui i Red Socks sono riusciti a rompere la ‘Curse of the Bambino’.

BOXSCORE METRICS

Il lavoro illuminato di James è stato in grado non solo di rivoluzionare il mondo del Baseball, ma anche di allargarsi agli altri sport fungendo da esempio di condotta per matematici con diversi interessi sportivi. Tramite l’applicazione delle idee di Bill James, che trovavano base comune col nostro sport, sono nate verso la fine degli anni 80 le prime impact metrics in ambito NBA.

Il primissimo esempio di player rating è stato TENDEX.

Il calcolo di TENDEX era particolarmente semplice: se una cosa nel boxscore è buona allora la sommo, se è negativa la sottraggo, quindi Punti; Assist; Rimbalzi; Rubate e Stoppate venivano sommate, mentre Tiri Sbagliati; Liberi Sbagliati; Palle Perse e Falli Commessi venivano sottratti, per poi dividere il tutto per i Minuti od i Possessi in cui un giocatore era in campo (perché già negli anni 80 sapevano che le statistiche a partita fossero completamente inutili).

Direttamente sul TENDEX si basa il PIR dell’Eurolega, con la sola differenza che in Europa non facciamo la divisione per Minuti o Possessi.

Le successive evoluzioni, come Gamescore, PER o Win Share, sono tutte figlie di questo primo modello elementare e poiché si basano esclusivamente sul Boxscore vengono chiamate Boxscore Metrics.

Il limite maggiore di questo tipo di Impact Metrics è abbastanza evidente: non tutto ciò che viene fatto da un giocatore finisce sul Boxscore, soprattutto quanto fatto in difesa, ad esempio ad un alto numero di stoppate o palle rubate non sempre corrisponde una migliore difesa.

Un giocatore particolarmente aggressivo nell’intercettazione sulle linee di passaggio sicuramente ruba più palloni di difensori più attenti al contenimento del proprio matchup, ma allo stesso tempo regala vantaggi agli avversari quando non riesce ad arrivare in tempo alla palla.

PLUS MINUS METRICS

Per superare il limite della valutazione di quanto non finisce nei tabellini sono state inventate le Plus MinusMetrics.

Il primo esempio di +/- Metric è probabilmente WINVAL, creato tra la fine degli anni 90 e l’inizio degli anni 00, che si prefissava come scopo quello di analizzare le alchimie tra i giocatori per creare le migliori Lineup.

I diritti al sistema WINVAL sono stati acquistati dai Dallas Mavericks durante la stagione 2000-2001, quindi prima della cosiddetta Moneyball, pagandoli oltre 100 mila dollari l’anno.

Al giorno d’oggi l’esempio più famoso (ed utilizzato) di +/- Metric è il RAPM (Regularized Adjusted Plus Minus), diretta evoluzione dell’APM.

L’idea del RAPM è di valutare l’impatto dei giocatori in base ai risultati di squadra in termini di Plus Minus nei momenti in cui sono in campo, senza considerare alcun valore Boxscore per la propria analisi.

Per fare ciò le partite vengono divise in numerose sezioni, con le sostituzioni che tipicamente delineano i margini di ogni sezione, e tramite modelli lineari viene ricercato con quale coefficiente ogni giocatore ha avuto un ruolo in campo. A questo punto nella RAPM, a differenza della semplice APM, viene aggiunta una penalità, detta regolarizzazione, che restringe ogni coefficiente verso lo 0 e che ha come compito quello di diminuire il margine di errore di ogni coefficiente.

Il coefficiente trovato dopo la regolarizzazione è il valore che viene riportato poi ufficialmente come RAPM, ma assieme al valore il modello ci fornisce come ulteriore informazione la deviazione standard, che può venire considerata come l’errore del modello.

I principali limiti del RAPM si trovano proprio nella grandezza della deviazione standard rispetto al valore dei giocatori, oltre che nell’arbitrarietà che guida la regolarizzazione.

La deviazione standard può venire ridotta, ma MAI eliminata, aumentando il più possibile il numero di possessi in campo dei giocatori, ma avendo l’NBA un numero massimo di 82 gare in stagione questo processo di riduzione arriva spesso ad un limite non soddisfacente per la valutazione, se vogliamo essere positivi, della maggior parte dei giocatori. Ricordiamoci inoltre che più i giocatori giocano, meno minuti giocano i loro compagni di squadra. Uno dei modi pensati per migliorare i risultati del modello sono state la rimozione dei giocatori che non raggiungevano un minimo di minuti, che quindi avevano i risultati più sballati, o l’allargamento dell’input sample a più di una stagione, con ad esempio il 3-year o il 5-year RAPM.

Inoltre ricordiamo come la regolarizzazione spinge molto verso lo 0 il valore dei giocatori, per cui scelte anche minime nella regolarizzazione portano a differenze anche molto marcate, soprattutto nei giocatori che non sono nelle prime o nelle ultime 10 posizioni.

L’aumento del numero di anni per il RAPM, come detto, migliora la bontà dei risultati, ma è stato dimostrato come non riesca comunque a catturare l’apporto dei comprimari, con i giocatori tra la centesima e la trecentesima posizione che hanno valutazioni una volta considerato l’errore standard pressochè identiche.

Uno dei pregi del RAPM dovrebbe inoltre essere la capacità di riconoscere il valore sia dei compagni di squadra che degli avversari per valutare i coefficienti dei giocatori, ma nel caso in cui ci fossero compagni di squadra che han giocato la maggior parte dei minuti assieme il modello non è più in grado di scorporare l’apporto di uno dall’apporto dell’altro. Inoltre il modello considera ogni giocatore come parte attiva di ogni azione di ogni sezione, senza poter riuscire a capire né chi ha potuto partecipare all’azione oppure no, né la differenza tra chi si trova a marcare, per esempio, Harden oppure chi si trova a marcare PJ Tucker.

METRICHE IBRIDE

Per superare i limiti fisiologici delle due tipologie di metriche, negli ultimi anni si sono sviluppati modelli ibridi che tentano di prendere il meglio di entrambi i modelli.

Gli esempi più famosi sono il RPM di ESPN ed il PIPM.

Il PIPM, che è considerato al momento l’impact metric migliore in circolazione, aggiunge a tutti gli altri modelli la componente luck-adjusted, che tenta di eliminare l’apporto della varianza nelle varie sezioni di gioco, ed il rating di squadra rispetto alla media della lega ponderato per i minuti in cui ogni giocatore è stato in campo.

Goldstein, il creatore del PIPM, ha affermato che il suo modello rispetto all’RPM ha una deviazione standard del 20% inferiore (quantomeno per quanto riguarda l’inizio della stagione 2018-19), ma il valore dell’errore di entrambi i modelli non è pubblico.

Per poter fare una valutazione sia sui giocatori che sul modello i valori delle deviazioni standard sono fondamentali. Un giocatore nella media del PIPM ha un valore intorno a 0, ma c’è molta differenza nella valutazione tra un giocatore con 0 ± 0.5 o 0 ± 3. Una deviazione standard di 0.5 ci assicura con buona confidenza che il giocatore ha performato senza infamia né lode, una variazione standard di ± 3 ci dice che il giocatore potrebbe essere stato uno dei migliori 30 giocatori della lega come uno dei peggiori 100.

Avendo la maggior parte dei giocatori un valore nel range ± 1 (per la stagione 2018-19 dall’80esimo al 320esimo circa), possiamo vedere come anche il PIPM tende particolarmente verso lo 0, e senza la presenza di intervalli di confidenza presenta le stesse criticità nella valutazione dei comprimari.

Le motivazioni per cui vengono pubblicate oppure no le deviazioni standard sono molteplici, da un comportamento malizioso per nascondere risultati non positivi al voler fornire qualcosa di semplice comprensione anche per chi non ha basi di statistica.

La parte di Boxscore del PIPM si basa fondamentalmente sui tabellini classici semplicemente rapportati ai 36 minuti di gioco. L’idea della fusione dei tabellini con metriche on/off si trova, tra le cose, nel voler catturare l’apporto di ogni giocatore anche quando è stato in campo per lo più con gli stessi compagni.

Numerose metriche degli ultimi anni hanno iniziato ad unire ai tabellini classici i Boxscore avanzati forniti dai dati tracking.

SECOND SPECTRUM VS SYNERGY

I dati offerti dal sito NBA vengono raccolti sia dall’NBA stessa che da società esterne, di queste quelle che forniscono i dati più interessanti sono Second Spectrum e Synergy. Il funzionamento di queste due società è totalmente divergente sia nel metodo che nella maggior parte dei dati forniti.

Second Spectrum si occupa di fornire i dati tracking. Esempio di dati tracking che possiamo trovare sul sito NBA sono velocità media, distanza percorsa, passaggi ed impatto difensivo. Per catturare queste informazioni ogni palazzetto NBA è dotato di telecamere in grado di riconoscere i giocatori e la palla.

Questo tipo di tecnologia presenta molti limiti: il più importante è che oltre la posizione ed i movimenti laterali sul campo non vengono fornite ulteriori informazioni sul giocatore, in particolare non si hanno informazioni né sul movimento delle varie parti del corpo, come ad esempio braccia e mani, né sulla direzione verso cui è rivolto il corpo. Il risultato di questi limiti è che le informazioni sui tiri contestati sono particolarmente fallaci e si basano soltanto sulla distanza tra tiratore e difensore più vicino, se vicini è contestato, se lontani no, di conseguenza, seppure abbiamo dati sicuramente più indicativi delle classiche informazioni del boxscore, non possiamo ancora avere statistiche difensive particolarmente verosimili.

Esempio di dati invece forniti da Synergy sono quelli sui Playtype dei giocatori. Synergy a differenza di Second Spectrum si affida a persone che guardano e catalogano ogni avvenimento di gara. I dati forniti da Synergy sono quindi più attenti a molte sfaccettature che i dati tracking non sono ancora in grado di catturare, ma di contro si basano esclusivamente sulla qualità e l’attenzione messa dai collaboratori, ed avendo i vari collaboratori qualità e livelli di attenzione molto diversi non si ha un vero standard qualitativo affidabile. Tra i dati più spesso trascurati da alcuni collaboratori Synergy ci sono i cambi difensivi: abbiamo quindi giocatori totalmente estranei all’azione a cui vengono assegnate le difese che dovevano venire assegnate a terzi, per questo motivo viene detto come i dati difensivi dei Playtype sono spesso fallaci e da tenere poco in considerazione.

BBALL INDEX

Un esempio di sito che utilizza i dati di entrambe le società per le proprie analisi è Bball-Index.

Il compito prefissatosi da Bball-Index è quello di riuscire a valutare il talento, più che l’impatto come le metriche trattate finora, dei giocatori su particolari categorie.

Per quanto sia stato svolto un complesso lavoro di pulizia dei dati per limitare le fallacità appena trattate, è facile arrivare a comprendere che partendo da dati imperfetti i risultati ottenibili non riescono a catturare al 100% le qualità dei giocatori.

Per sua stessa natura l’astrazione del talento dall’impatto mal si presta, nonostante le buone intenzioni, ad essere catturabile coi soli dati stagionali.

A differenza delle impact metrics i voti di bball-index non vengono dati al pubblico tramite valori in ogni categoria, quanto più in base ai percentili in cui si trovano per ogni categoria i valori dei giocatori. La criticità connessa a questo metodo di rappresentazione è che non sappiamo quale sia la differenza di talento tra i vari percentili.

La differenza tra un giocatore nel sessantesimo percentile ed uno al cinquantesimo è probabilmente molto minore rispetto ad uno al novantesimo ed uno all’ottantesimo, poiché è più facile che la distribuzione del talento non sia lineare, ma sia particolarmente spiccata negli specialisti e più simile nel mucchio.

Un secondo problema si ritrova nell’assenza, anche in questo caso, degli intervalli di confidenza. Scorporare così tanto le qualità dei giocatori impone di utilizzare un numero di dati forse non sufficienti per ridurre il più possibile la varianza associata ai valori trovati, così facendo il singolo percentile può risultare ancora meno indicato per capire l’apporto dei giocatori.

QUINDI QUALE METRICA UTILIZZARE PER VALUTARE I NOSTRI GIOCATORI PREFERITI?

Abbiamo visto come ogni metrica offerta al pubblico presenti numerose criticità, ciò significa forse che è inutile utilizzare queste statistiche per la valutazione dei giocatori NBA?

Ovviamente no, sia le impact metrics che i grades di bball-index sono un indubbio passo avanti al solo eye-test, permettendoci di catturare molto velocemente informazioni interessanti ed allargando il numero di variabili prese in considerazione da ognuno di noi per le nostre valutazioni.

Inoltre lo stato dell’arte è in continuo sviluppo, ad esempio a livello difensivo hanno cominciato a comparire le prime metriche che tengono conto anche dei dati dei matchup, per ponderare l’apporto difensivo sulla qualità dell’avversario contestato.

Quello che è sicuramente sbagliato è affidarsi solo a questo tipo di statistiche per decidere chi sia il più forte o abbia giocato meglio.

Per raggiungere un pensiero critico ed esaustivo sul comportamento di squadre e giocatori è dunque necessario unire quanto catturato dall’occhio con quanto catturato dalla matematica, confrontare anche più metriche per vedere come diversamente un modello valuti le stesse situazioni e tenere sempre a mente limiti e qualità dei diversi approcci alla valutazione. Per valutare i giocatori è più importante capire in che zone di gioco impattano offensivamente e difensivamente.

L’approccio di bball-index, più che i loro risultati, dovrebbe indicare la forma mentis con cui avvicinarsi alle valutazioni, dove la valutazione di talento o impatto è più simile alla ricostruzione di un puzzle in cui ogni quadrato è un pezzo necessario ed indispensabile, piuttosto che alla creazione di una statua, dove tutto ciò che importa è il valore finale della metrica, mentre quanto tolto via dal blocco di marmo è scarto che non merita di venire più trattato.