Psychology Journal Bans Significance Testing - http://www.sciencebasedmedicine.org/psychol...
Feb 26, 2015
from
lo trovo un po' come accettare una sconfitta
- d☭snake
O forse come ammettere la realtà: la psicologia non è (o non aspira a essere) una scienza
- Marco Delmastro
beh no dai, il senso e` bandire una tecnica abusata che viene usata come macchinetta produci-articoli senza mettersi a riflettere. Altre tecniche statistiche, anche piu` complicate, sono incoraggiate.
- d☭snake
Non è un problema esclusivo della psicologia (vedi ad esempio le neuroscienze) e come osserva dsnake ci sono alternative di analisi, oltre a procedere preventive di controllo (ad esempio registrare preliminarmente il disegno di ricerca per essere successivamente controllato). Ed è un po' stucchevole supporre che sia la fine delle ambizioni scientifiche della psicologia a causa di questo genere di problemi abbastanza comuni in altre branche in cui teoria e applicazioni sono così intrecciate e presentano diffuse ripercussioni sociali
- neurom
neurom: pero` ha il sapore della sconfitta ("il p-value non lo capisce nessuno per bene, non usiamolo") e lascia sperare pochissimo sulla capacita` di maneggiare altri strumenti. ~ per Marco: quello che manca nella psicologia (no anzi, piu` nelle neuroscienze) e` il rigore, la parte noiosa sull'analisi critica dell'esperimento, degli strumenti e delle fonti di errore. Imho manca perche` fin ora i risulatati erano abbondanti e accessibili e un certo tipo di cura dell'analisi dati del tutto overkill. Cambiera`, non sono sicuro che questo sia il modo di cambiarla pero` ...
- d☭snake
Diciamo che i tempi sono maturi per un gesto così clamoroso. È anche vero che storicamente accademica mente italianamente la statistica è sempre stata percepita come un corpo estraneo dagli psicologi di casa nostra. Lasciamo stare tutte le altre questioni metodologiche. Comunque all'estero ci sono dibattiti e cambiamenti in corso estremamente interessanti
- neurom
Si, si, sono stato un po' tranchant, lo ammetto (ma il punto resta: come dici tu, l'incapacità di usare uno strumento "semplice" non lascia ben sperare rispetto alla capacità di migrare verso strumenti pi`u complessi. Il che riporta tutto al punto di partenza: la scientificità di molti di questi studi è poco più che una patina di pittura)
- Marco Delmastro
uhm sulla scientificita` non sono troppo d'accordo. Molti degli esperimenti di psicologia e neuroscienze godono della proprieta` di essere riproducibili da gruppi indipendenti, un lusso che ad esempio il nostro campo di ricerca non ha piu` da anni (ok, ci sono DUE gruppi indipendenti e ci incrociamo facilmente a mensa ...)
- d☭snake
alla fine usare bene la statistica non e` mai stato un prerequisito fondamentale per fare dei buoni risultati scientifici, in tutti i campi (wink~wink)
- d☭snake
Ok stavo per scrivere qualcosa di simile
- neurom
avanzo grosse riserve sulla riproducibilità dei risultati per quel che riguarda il functional neuroimaging (esperienza diretta); l'uso distorto del p-value diventa rilevante in quei campi in cui non è possibile raccogliere molti dati (lo stesso articolo linkato alla fine suggerisce questo come soluzione)
- Paolopost
paolo: ora ci devi spiegare le riserve (curiosita`, poi sono argomenti che mi servono per punzecchiare gli amici)
- d☭snake
Dsnake, qui trovi una ormai famosa origine di tutti i problemi http://www.edvul.com/voodooc...
- neurom
Ci aprirei un blog su questa roba, non a caso ho preso in prestito il "voodo" come sottotitolo della stanzetta di psicologia qui su ff
- neurom
Una bella sintesi la trovi pure qui http://blogs.discovermagazine.com/neurosk...
- neurom
ora leggo con calma, ma cosi` a occhio quel tipo di errori sono riproducibili. Nel senso che non e` quello il problema di riproducibilita`, no?
- d☭snake
È uno dei problemi perchè sono i ricercatori che vanno in cerca dei voxel giusti... E poi ci sono altri problemi tecnici della misurazione con il segnale bold mai puro per tutti le variabili intervenienti di ordine fisiologico (battito del cuore, ritmo respiratorio, movimenti involontari dei partecipanti durante lo scan etc.)
- neurom
la psicologia è una scienza tanto quanto lo è la fisica... in cui notoriamente ancora ne capiam fino ad un certo punto, e non si sono unificate le teorie, e c'è l'esigenza di essere duttili, flessibili tra vari modelli che funzionano e dimostrano alcune cose... mentre altre le dimostrano altri modelli che non escludono necessariamente i precedenti.
- Viditù
promemoria, ci sarebbe molto da dire
- emme
@viditu': tuttavia da quel che emerge il fatto che effettivamente si "dimostri" il fenomeno in psicologia e' dibattuto. gli articoli linkati dicono che i metodi usati di norma in psicologia per sostenere che "a e b hanno un legame" non sono rigorosi, ma si basano sulla manipolazione consapevole o meno dei dati. questo in fisica accade molto meno.
- frugola
(in attesa di aver più tempo: non c'è UNA psicologia e la psicologia sociale è cosa molto diversa dalla psicologia sperimentale o dalla psicofisiologia)
- emme
ma sono daccordissimo con voi e l'articolo. solo che si taccia la psicologia di ascientificità per denigrarla e declassarla a fuffa, mentre è *dimostrato* che sia proprio il concetto di scienza in sè da reputare più flessibile, perchè se la intendiamo rigorose solo quelle dimostrabili e verificabili a priori, faremmo uscire una quantità enorme di discipline dalla categorizzazione.
- Viditù
emme: (in realta` questo e` un commento per Marco) come del resto non c'e` UNA fisica. Ci sono settori della fisica dove addirittura la parte importante dell'esperimento, quella che genera i dati, la fai costruire alla divinita` di turno ;P
- d☭snake
Ma infatti il lavoro molto bello di Vul è applicabile ai paperi di "neuroscienze sociali" (attività cerebrale correlata a tratti di personalità), non alle classe ricerche di psicologia sperimentale tipo attività cerebrale e performance cognitiva o emozione correlata etc.
- neurom
neurom: "problemi tecnici della misurazione con il segnale bold mai puro per tutti le variabili intervenienti di ordine fisiologico" benvenuto nel mondo dove il segnale e` sovrastato dal rumore, per fortuna sono problemi che ormai sappiamo affrontare. Tutte queste critiche che leggo, ma devo leggere ancora, mi sembrano sostanzialmente la denuncia di pratiche sbagliate piu` che problemi sostanziali
- d☭snake
(il mio entusiasmo poi serve a mascherare l'invidia: ci sono settori degli studi di psicologia e neuroscienze dove e` evidente che ci sia tantissimo da scoprire, praticamente ovunque ti giri scopri qualcosa. In HEP stiamo in ben altre condizioni ...)
- d☭snake
@viditu': penso che la distinzione fra "scienze dure" e "scienze molli" riassuma quello che dici nel tuo ultimo commento
- frugola