L'appartenenza ad un panel riduce l'affidabilità?
In Public opinion Quarterly, volume 80, numero 4, inverno 2016 gli autori Kroh, Winter e Schupp
analizzano l’affidabilità dei rispondenti nell’indagine panel.
Uno dei temi più vagliati nel campo delle ricerche statistiche è relativo all’affidabilità delle
domande in un questionario; relativamente poca ricerca è stata svolta nel campo dell’affidabilità
dei rispondenti appartenenti a un panel.
L’indagine panel si articola in una serie di interviste ripetute sullo stesso campione in un certo
periodo di tempo con lo stesso questionario o con questionari differenti.
Una possibile distorsione dei risultati delle wave successive alla prima potrebbe essere indotta dal
fatto che i rispondenti tendano a informarsi sui temi richiesti nella prima wave; di conseguenza
potrebbero variare le proprie opinioni nel corso del tempo solo per effetto dei questionari
precedenti.
La coerenza delle risposte provenienti da panel potrebbe, invece, trarre giovamento dall’esperienza
che i rispondenti accumulano durante le wave; tale esperienza si tradurrebbe in risposte via via
meno affette da possibili incomprensioni.
L’articolo intende verificare l’ipotesi che l’esperienza sia uno dei fattori determinanti della qualità
delle risposte.
Si è fatto ricorso a un campione panel di 49522 residenti in Germania provenienti dall’indagine
SOEP (Socio-Economic Panel), intervistati con metodologia CAPI e PAPI, SAQ (self-
administered-questionnaire). Le interviste annuali sono state rilevate fra il 1992 e il 1997 e tra il
2002 e il 2013. L’affidabilità dei rispondenti è stata testata su item relativi ad aspetti caratteriali
(fiducia, estroversione, ecc) misurati su scala ordinale.
La metodologia impiegata si compone di vari passi successivi: sono state stimate le probabilità di
scelta di ogni livello di ogni item e, attraverso il modello usato per la stima, è stata calcolata la
verosimiglianza della risposta.
L’indicatore ottenuto è stato preso come misura della coerenza interna delle risposte fornite e
regredito su variabili di esperienza, personalità e demografiche.
La principale tesi della ricerca sembra confermata: il rispondente presente da più anni all’interno
del panel e sottoposto alla rilevazione degli stessi item nel corso del tempo tende a fornire risposte
più coerenti fra loro. Il fatto che le interviste siano state raccolte nel corso degli anni dallo stesso
intervistatore, invece, presenta un effetto significativo solo in alcuni dei modelli stimati.
Coloro che presentano un titolo di studio elevato presentano un’affidabilità elevata.
Per quanto riguarda il comportamento del rispondente è risultato che coloro che tendono a non
fornire le risposte, compilano in maniera più grossolana e incoerente; al contrario la variabilità
nulla delle risposte di coloro che compilano mettendole nella stessa colonna, induce la stima di una
maggiore coerenza dell’intervistato nel corso del tempo, non motivata però da una reale mancanza
di variabilità nel livello dell’item bensì da disinteresse verso l’indagine.
Livelli estremi dell’item sono correlati con una maggiore coerenza interna delle risposte fornite.
La prospettiva di permanenza all’interno del panel sembra un tratto caratterizzante di coloro che
compilano il questionario coerentemente: ciò può essere un’indicazione del fatto che l’interesse
suscitato dal questionario porta a compilarlo con maggiore attenzione.
Infine si rileva come cambiamenti nella composizione famigliare e nel lavoro siano correlati con
una minore coerenza delle risposte al variare del tempo.
Gli individui che forniscono risposte più coerenti, in generale, sembrano essere le donne, hanno
una maggiore età degli altri e sono stati sottoposti a un’intervista non eccessivamente lunga. Infine
si rileva che il metodo SAQ risulta legato a una maggiore qualità dei dati, sempre in termine di
coerenza delle risposte nel corso del tempo.