L'appartenenza ad un panel riduce l'affidabilità?

• 

In Public opinion Quarterly, volume 80, numero 4, inverno 2016 gli autori Kroh, Winter e Schupp

analizzano l’affidabilità dei rispondenti nell’indagine panel.

 

 

 

 

Uno dei temi più vagliati nel campo delle ricerche statistiche è relativo all’affidabilità delle

domande in un questionario; relativamente poca ricerca è stata svolta nel campo dell’affidabilità

dei rispondenti appartenenti a un panel.

L’indagine panel si articola in una serie di interviste ripetute sullo stesso campione in un certo

periodo di tempo con lo stesso questionario o con questionari differenti.

Una possibile distorsione dei risultati delle wave successive alla prima potrebbe essere indotta dal

fatto che i rispondenti tendano a informarsi sui temi richiesti nella prima wave; di conseguenza

potrebbero variare le proprie opinioni nel corso del tempo solo per effetto dei questionari

precedenti.

La coerenza delle risposte provenienti da panel potrebbe, invece, trarre giovamento dall’esperienza

che i rispondenti accumulano durante le wave; tale esperienza si tradurrebbe in risposte via via

meno affette da possibili incomprensioni.

L’articolo intende verificare l’ipotesi che l’esperienza sia uno dei fattori determinanti della qualità

delle risposte.

Si è fatto ricorso a un campione panel di 49522 residenti in Germania provenienti dall’indagine

SOEP (Socio-Economic Panel), intervistati con metodologia CAPI e PAPI, SAQ (self-
administered-questionnaire). Le interviste annuali sono state rilevate fra il 1992 e il 1997 e tra il

2002 e il 2013. L’affidabilità dei rispondenti è stata testata su item relativi ad aspetti caratteriali

(fiducia, estroversione, ecc) misurati su scala ordinale.

La metodologia impiegata si compone di vari passi successivi: sono state stimate le probabilità di

scelta di ogni livello di ogni item e, attraverso il modello usato per la stima, è stata calcolata la

verosimiglianza della risposta.

L’indicatore ottenuto è stato preso come misura della coerenza interna delle risposte fornite e

regredito su variabili di esperienza, personalità e demografiche.

La principale tesi della ricerca sembra confermata: il rispondente presente da più anni all’interno

del panel e sottoposto alla rilevazione degli stessi item nel corso del tempo tende a fornire risposte

più coerenti fra loro. Il fatto che le interviste siano state raccolte nel corso degli anni dallo stesso

intervistatore, invece, presenta un effetto significativo solo in alcuni dei modelli stimati.

Coloro che presentano un titolo di studio elevato presentano un’affidabilità elevata.

Per quanto riguarda il comportamento del rispondente è risultato che coloro che tendono a non

fornire le risposte, compilano in maniera più grossolana e incoerente; al contrario la variabilità

nulla delle risposte di coloro che compilano mettendole nella stessa colonna, induce la stima di una

maggiore coerenza dell’intervistato nel corso del tempo, non motivata però da una reale mancanza

di variabilità nel livello dell’item bensì da disinteresse verso l’indagine.

Livelli estremi dell’item sono correlati con una maggiore coerenza interna delle risposte fornite.

La prospettiva di permanenza all’interno del panel sembra un tratto caratterizzante di coloro che

compilano il questionario coerentemente: ciò può essere un’indicazione del fatto che l’interesse

suscitato dal questionario porta a compilarlo con maggiore attenzione.

Infine si rileva come cambiamenti nella composizione famigliare e nel lavoro siano correlati con

una minore coerenza delle risposte al variare del tempo.

Gli individui che forniscono risposte più coerenti, in generale, sembrano essere le donne, hanno

una maggiore età degli altri e sono stati sottoposti a un’intervista non eccessivamente lunga. Infine

si rileva che il metodo SAQ risulta legato a una maggiore qualità dei dati, sempre in termine di

coerenza delle risposte nel corso del tempo.