E' partito tutto da due battute su un topic. Poi mi ha scritto Alex (per il quale questo post sarà una sorpresa) chiedendomi se parlavo seriamente e se ci stavo pensando. Si , ci sto pensando   Solo che (forse ho in mente una cosa esagerata?) per fare un "modello" previsivo serio ci vuole parecchio tempo, idealmente qualche mese...

Per cui invece di dire "si ci sto pensando, si ci sto lavorando" tante volte nei prossimi giorni / settimane, ho pensato di scrivere qui il disegno complessivo e poi via via i passi che facciamo per tenere aggiornato l'avanzamento... anche perché potrebbe essere interessante e molto utile qualche contributo da parte di altri utenti del sito.

Intanto in questo primo "post" fissiamo quello che può essere l'obiettivo del "nostro" sistema di previsioni

Obiettivo / risultato da ottenere (cit.: é difficile arrivare in un posto se non sai dove stai andando)

Forse è molto ambizioso, ma l'obiettivo "a tendere" è quello arrivare ad avere il lunedi mattina una previsione della Top 50 digital download (quella che sarà pubblicata dopo 4 giorni il giovedì da fimi) ed una previsione della nuova graduatoria di certificazione digital del venerdì successivo (per capirci una lista come quella che si trova a questo link) http://www.fimi.it/app/uploads.....5-2015.pdf  Ovviamente produrre questa ultima lista vuole anche dire avere previsto tutte le nuove certificazioni della settimana.

Una volta prodotto il modello di previsione, credo che si potrà anche elaborarlo tutti i giorni per avere informazioni in anticipo sulle certificazioni "maturate" prima della domenica sera; ovvero un secondo obiettivo - magari in un secondo tempo -  è quello di identificare le certificazioni fin dal giorno in cui si raggiunge la soglia, senza nemmeno attendere il lunedi mattina.

Se riusciamo a fare tutto questo, e ad ottenere risultati attendibili, poi lo vendiamo alla fimi   (just kidding!  trad. "sto solo scherzando")

Seconda parte - RACCOLTA DATI E "RISULTATI" / I DATI DI BASE

Qui potrebbero veramente essere utili dei contributi da parte di tutti quelli che "scavano" sul web. 

Intanto vediamo il problema - la raccolta dei dati è la parte più difficile, impegnativa ed è quella che assicura la qualità del risultato.

Dobbiamo stimare le nuove vendite settimanali. Per farlo si deve sommare:

> previsione vendite settimana precedente (che ahimè NON abbiamo dall'esterno, sarà un dato prodotto da noi)

+ stima vendite su piattaforma digital (iTunes, etc.)

+ stima streaming / 100 (spotify etc.)

Inoltre è importante raccogliere anche i "risultati", ovvero le classifiche Top 50 e gli elenchi di certificazione (questi è facile perché sono sul sito fimi).  Questi "risultati" serviranno per confrontare le previsioni ottenute dal modello matematico con i dati reali e procedere a quello che si chiama "addestramento" del modello (ebbene si... parliamo/parleremo di "machine learning", per cui il modello matematico si "tara" automaticamente sui nuovi risultati migliorando la capacità di prevedere nel tempo).

Ritorniamo ai dati di base e pensiamo alle VENDITE (iTunes). 

Che io sappia i dati disponibili sulle vendite provengono da queste fonti:

- kworb, che - fatto 100 il primo - aggiorna ogni circa 2/3 ore la proporzione di vendite dei primi 100 rispetto al primo.

- digital sales data - che di fatto aggiunge solo un dato, il numero delle vendite del primo (gli altri sono proporzionati secondo le percentuali di kworb)

- iTunes, si può avere la lista ordinata dei primi 200, senza valori né proporzioni (però rispetto ai primi 100 c'è una informazione aggiuntiva; chi è presente dal 101 al 200... i numeri a quel livello sono molto bassi...).

Domande per tutti voi:

1)  Sapete se c'è un modo per ottenere i dati da kworb in forma "elettronica" (fogli excel o altro) e se i dati possono arrivare anche / fino ai primi 200?

2)  Il dato delle vendite del #1 (digitalsalesdata) è disponibile da altre fonti?  Anche qui: c'è una fonte "elettronica"?

3) Ci sono dati analoghi sulle "altre piattaforme" (google, amazon etc.)?

In prima battuta potremmo comunque (come faceva it charts) utilizzare solo kworb/digitalsalesdata ed aggiungere un x% al totale per tenere conto delle altre piattaforme.  Questo x% sarebbe comunque oggetto di "taratura" automatica da parte del modello.

NOTA - Gli statistici dicono che per avere una "storia" sufficiente a tarare il modello, servono almeno 12 periodi (ovviamente meglio se sono di più); nel nostro caso ALMENO 12 SETTIMANE fimi ... ecco perché serve tanto tempo per avere un modello stabile e che non "spari" numeri del lotto  

Hihihi con questa formula "  Punteggio per il ranking = (1-e^-k*t)*ndownloads + (e^-k*t)*velocità " e l'accenno alla statistica baynesiana nei hai mandato KO un bel po'   Speriamo di non restare solo noi due!  

Quindi.  Bene se ci sono i dati per google ed amazon; vuol dire che le copie complessive giornaliere da calcolare saranno date da iTunes + Google + Amazon + x;  questa x è per tenere conto del totale di tutte le altre piattaforme, tipo le vendite Feltrinelli o altre, che immagino siano pochine  (lasceremo calcolare al sistema quanto vale questo x%, ma credo che sarà un 1-2% in più al massimo... E' però importante calcolarlo perché se dovesse crescere, vorrebbe dire che ci sono dei canali di vendita che non stiamo monitorando a sufficienza).

La prima fonte di partenza per me però è iTunes ed in particolare la elaborazione fatta da kworb. Ovvero i dati a questo link. http://kworb.net/popit/

La rilevazione è aggiornata (come si vede al link ) più volte al giorno (ogni 2,2 ore circa, cioè 11-12 volte) da kworb (nickname di un ragazzo olandese di 29 anni - come dice il FAQ della pagina) che prende ed elaborai dati di Apple.  Potremmo vedere - scrivendogli - se ci "parcheggia" o ci invia le sue rilevazioni o se possiamo prendere gli aggiornamenti da qualche parte (RSS?) quando vengono fatti...   Navigando un po' le pagine si capisce che lui pubblica i primi 50 con le percentuali, ma gestisce per tutti i Paesi le posizioni dei primi 200 in classifica (che sono poi i dati che iTunes mette a disposizione sul sito)... Se poi ci fosse da qualche parte il dato delle vendite del primo in classifica, oppure quello dei download totali giornalieri, possiamo mettere insieme la matrice di kworb e questo dato di vendita per fare una simulazione e calcolare le copie giornaliere di download per tutti i primi 50 (che è poi quello che fa digitalsalesdata), o forse simulare addirittura i primi 200. 

Io questi dati li raccoglierei TUTTI.  La logica del "big data" con cui lavoro da un po' è quella di raccogliere il maggiore numero possibile di informazioni, salvo lasciare poi ai modelli matematici il calcolo della RILEVANZA delle varie fonti... se ci accorgeremo che a una fonte di dati verrà dato un "peso" matematico uguale a zero... beh valuteremo di eliminarla.  Diciamo che vorrei evitare di fare io correlazioni perché escludere a priori non va molto bene... la pratica dimostra che troppo spesso ci si sbaglia o non si tiene conto di alcuni fenomeni. 

EDIT . Nel frattempo ho trovato in Amazon la top 100 che viene AGGIORNATA OGNI ORA http://www.amazon.it/gp/bestse.....sic-track/

Su google addirittura una Top 300, che con "mostra altro" arriva a 540 brani... https://play.google.com/store/music/collection/topselling_paid_track

Purtroppo qui c'è solo l'ordine di classifica ma non un dato numerico di vendite

pesca81it ha detto
sono l'unica a non aver capito quasi nulla?

No stai tranquilla; prometto che periodicamente farò degli aggiornamenti "comprensibili anche a mia nonna" come faccio spesso sul lavoro