È la prima domanda che ogni ente si pone quando decide di misurare la soddisfazione dei propri utenti: quanti questionari servono? La risposta onesta è che dipende. Ma dipende da tre elementi precisi, che si possono calcolare, e non dalla sensazione che “più sono, meglio è”.
Il primo elemento è la precisione desiderata, cioè il margine di errore. In un campione casuale semplice, se il 50% degli intervistati si dichiara soddisfatto, con 400 interviste il valore vero si trova, con il 95% di fiducia, entro ±4,9 punti. Con 1.000 interviste il margine scende a ±3,1.
Il margine di errore scende, ma sempre più lentamente
Il grafico mostra la regola più importante: il margine di errore diminuisce con la radice quadrata del campione. Passare da 100 a 400 interviste lo dimezza (da ±9,8 a ±4,9), ma per dimezzarlo di nuovo servono 1.600 interviste. Oltre una certa soglia, aumentare il campione costa molto e rende poco.
Per questo la domanda utile non è “quanti questionari possiamo raccogliere”, ma “quale differenza vogliamo essere in grado di vedere”. Se l’obiettivo è capire se la soddisfazione è sopra o sotto il 70%, un margine di ±5 punti può bastare. Se si vogliono confrontare tra loro più uffici o più anni, serve una precisione maggiore in ogni sottogruppo.
La dimensione della popolazione conta meno di quanto si pensi
Il secondo elemento è la dimensione della popolazione di riferimento. Qui molti sono sorpresi: per popolazioni grandi il numero di interviste necessarie praticamente non cambia. Per un margine di ±5 punti servono 370 interviste su 10.000 utenti e 385 su un milione. La correzione per popolazione finita diventa rilevante solo per enti o servizi piccoli, sotto qualche migliaio di utenti.
| Utenti del servizio (N) | ±5 punti | ±4 punti | ±3 punti |
|---|---|---|---|
| 500 | 218 | 274 | 341 |
| 1.000 | 278 | 376 | 517 |
| 2.000 | 323 | 462 | 697 |
| 5.000 | 357 | 537 | 880 |
| 10.000 | 370 | 567 | 965 |
| 50.000 | 382 | 594 | 1.045 |
| 100.000 | 383 | 597 | 1.056 |
| 1.000.000 | 385 | 600 | 1.066 |
Il vero rischio non è il numero, è la selezione
Il terzo elemento, il più importante, non compare nelle formule: il campione deve essere casuale o almeno rappresentativo. Mille questionari raccolti solo da chi ha voluto rispondere, magari tramite un link pubblicato sul sito, non hanno un margine di errore calcolabile. Rappresentano chi era più motivato a rispondere, spesso i molto soddisfatti o i molto arrabbiati.
Per un ente pubblico la scelta corretta è quasi sempre un campione più piccolo ma estratto con criteri noti (dalle liste degli utenti, per quote o stratificato per servizio e canale), integrato se serve da interviste telefoniche o di persona per raggiungere chi non usa il web. Un campione ben costruito di 400 persone vale più di 4.000 risposte spontanee.