Hvorfor man skal passe på med at generalisere på baggrund af få cases
Hej,
En gang i mellem støder man ind i de der tekster, der bare forklarer tingene som de er. Ingen dikkedarer, ingen teoretiske krumspring, men derimod en logisk serie af facts. Harvard-professoren Stanley Lieberson er en af de tænkere, der producerer de der tekster. Hans bog fra 1985, Making it Count, er for mig at se en af de bedste fremstillinger af, hvad man kan (og især hvad man ikke kan) med metoder i socialvidenskaben.
Herudover har Lieberson også engageret sig i spørgsmålet om case-studier, som er en af de mest udbredte metoder i samfundsvidenskaben overhovedet. Jeg vil derfor anbefale alle at læse følgende artikel: http://www.wjh.harvard.edu/soc/faculty/lieberson/Small_Ns_and_Big_Conclusions.pdf. Artiklen hedder "Small N`s and Big Conclusions" og blev publiceret i Social Forces i 1991. I artiklen diskuterer Lieberson det problematiske i at udlede kausale forhold med få cases. Han går således i kødet på samlignende studier med kun få cases. En følge af Liebersons udlægning er for mig se også de problemer, der er ved at generalisere på baggrund af få cases.
Jeg håber, vi kan diskutere artiklen her på tråden, hvis nogen er friske.
vh Kristian
En gang i mellem støder man ind i de der tekster, der bare forklarer tingene som de er. Ingen dikkedarer, ingen teoretiske krumspring, men derimod en logisk serie af facts. Harvard-professoren Stanley Lieberson er en af de tænkere, der producerer de der tekster. Hans bog fra 1985, Making it Count, er for mig at se en af de bedste fremstillinger af, hvad man kan (og især hvad man ikke kan) med metoder i socialvidenskaben.
Herudover har Lieberson også engageret sig i spørgsmålet om case-studier, som er en af de mest udbredte metoder i samfundsvidenskaben overhovedet. Jeg vil derfor anbefale alle at læse følgende artikel: http://www.wjh.harvard.edu/soc/faculty/lieberson/Small_Ns_and_Big_Conclusions.pdf. Artiklen hedder "Small N`s and Big Conclusions" og blev publiceret i Social Forces i 1991. I artiklen diskuterer Lieberson det problematiske i at udlede kausale forhold med få cases. Han går således i kødet på samlignende studier med kun få cases. En følge af Liebersons udlægning er for mig se også de problemer, der er ved at generalisere på baggrund af få cases.
Jeg håber, vi kan diskutere artiklen her på tråden, hvis nogen er friske.
vh Kristian
Hej Kristian
Nu har jeg skimmet artiklen og synes på nogle områder, den har stærke pointer. Men jeg har også nogle grundlæggende indvendinger, som jeg skal vende tilbage til.
For det første er det naturligvis korekt, at hvis man ønsker generaliserbar viden, så bør man undersøge så mange cases som muligt. Men nu optræder alt ikke i mange cases, fx var der kun en fremkomst af kapitalismen. I sådanne tilfælde bør man (med forbehold forstås) bruge de data, man nu engang har. Hvis prisen for at få mange enheder er en teoretisk reduktion så hellere vage konklusioner på baggrund af få cases end konklusioner om noget andet på baggrund af mange cases.
Jeg synes pointen omkring de probabalistiske sandsynligheder er spændende. Men ikke alle sandsynligheder er probalistiske, jf antons eksempel med ssh for farven på en politiuniform fra denne tråd: http://sociologiskforum.dk/forum.vis.asp?id=1094&svar=13&q=generalisering (der også er relevant for vores diskussion).
Problemet med Liebersons kritik mener jeg er, at hans kausalitetsbegreb er alt for fokuseret på konstante årsgaer, der opfører sig på samme måde. Her tager han ikke højde for Flyvbjergs pointer vedrørende simple hypotesers teoretiske umulighed i sociologien. Nogle gange kan én (paradigmatisk) case faktisk være så relevant at kræfterne er bedre givet ud ved at undersøge, hvad der skete i dette tilfælde end partout at undersøge så meget som muligt. Betyder det, man fra denne case kan konkludere, at det samme vil ske i lignende tilfælde: netop ikke - men ikke kun pga. probabalistiske sandsynligheder, men også fordi "det sociale" nu har ændret sig. Men det betyder ikke, at vi ikke har at med spændende information.
Sagt lidt frækt synes jeg Flyvbjergs pointer om casens muligheder og begrænsninger er væsentligt mere interessante end Libersons.
Christoph
Nu har jeg skimmet artiklen og synes på nogle områder, den har stærke pointer. Men jeg har også nogle grundlæggende indvendinger, som jeg skal vende tilbage til.
For det første er det naturligvis korekt, at hvis man ønsker generaliserbar viden, så bør man undersøge så mange cases som muligt. Men nu optræder alt ikke i mange cases, fx var der kun en fremkomst af kapitalismen. I sådanne tilfælde bør man (med forbehold forstås) bruge de data, man nu engang har. Hvis prisen for at få mange enheder er en teoretisk reduktion så hellere vage konklusioner på baggrund af få cases end konklusioner om noget andet på baggrund af mange cases.
Jeg synes pointen omkring de probabalistiske sandsynligheder er spændende. Men ikke alle sandsynligheder er probalistiske, jf antons eksempel med ssh for farven på en politiuniform fra denne tråd: http://sociologiskforum.dk/forum.vis.asp?id=1094&svar=13&q=generalisering (der også er relevant for vores diskussion).
Problemet med Liebersons kritik mener jeg er, at hans kausalitetsbegreb er alt for fokuseret på konstante årsgaer, der opfører sig på samme måde. Her tager han ikke højde for Flyvbjergs pointer vedrørende simple hypotesers teoretiske umulighed i sociologien. Nogle gange kan én (paradigmatisk) case faktisk være så relevant at kræfterne er bedre givet ud ved at undersøge, hvad der skete i dette tilfælde end partout at undersøge så meget som muligt. Betyder det, man fra denne case kan konkludere, at det samme vil ske i lignende tilfælde: netop ikke - men ikke kun pga. probabalistiske sandsynligheder, men også fordi "det sociale" nu har ændret sig. Men det betyder ikke, at vi ikke har at med spændende information.
Sagt lidt frækt synes jeg Flyvbjergs pointer om casens muligheder og begrænsninger er væsentligt mere interessante end Libersons.
Christoph
Et eller andet sted er det jo ligegyldigt om noget er interessant eller ej. Det afgørende er om det er rigtigt. Og man kan KUN generalisere fra en case til mange HVIS 1) verden fungerer deterministisk eller nærdeterministisk OG 2) man kan udelede de kontrafaktiske forhold ved kun at se på én case - hvilket altså indbærer man ikke kan blive klogere ved at se på én case til, men ved det hele fra den første case - og det har jeg svært ved at se det overbevisende i. Og argumentet om at alt hele tiden "flyder" hjælper hverken kvalitative eller kvantaitative metoder - hvis ikke fortiden i et eller andet omfang gentager sig så er der slet ingen grund til at studere noget som helst - viden om hvad der skete for lidt siden hjælper dig ikke til at forstå hvad der sker nu - så kan vi lige så godt drikke bajere og se foldbold.
gummiand
gummiand
En kort (fordi det er sent) betragtning:
En grundregel fra den kvalitative metodelære: først når cases bliver redundante (dvs. ikke bibringer med ny information) stoppes med at indsamle cases.
Da dette hurtigt kan blive skruen uden ende, så holder man gerne op, når mængden af ny information pr. case i et stykke tid har været yderst begrænset.
Skulle pågældende fænomen være kvantitativt målbart, så ville man være idiot (eller fattig), hvis man ikke tog og målte den præcise udbredelse herefter.
Stadig kan man godt meningsfyldt generalisere ud fra få cases, fx atombomber er ikke rare. Præcis hvor urare og hvor tit de er det skal man naturligvis kvantificere. Problemet ved denne generaliseringskamp er, at nogen ting kan ikke (eller som tilfældet atomvåben har vist sig) bør ikke kvantificeres. At man skal tage de nødvendige forbehold, når man arbejder med få cases (og at mange ikke gør det) kan jeg kun erklære mig enig i.
Når det er sagt er pointen med det flydende, at vi kan se på homologe strukturer (jf Borudieu), der ligner hinanden. På den måde repræsenterer et resultat fra en god statistisk analyse i mine øjne en (stærk) case for, hvordan lignende fænomener kan anskues...
Christoph
PS. Igen viljeg påpege at et casestudie af kravene til gadebetjentes uniformering vil være en metodisk klogere måde at undsøge deres beklædning på end at udtage en repræsentativ stikprøve. Måske kunne mellemvejen være at se på rigspolitiets beklædningsrengskaber?
En grundregel fra den kvalitative metodelære: først når cases bliver redundante (dvs. ikke bibringer med ny information) stoppes med at indsamle cases.
Da dette hurtigt kan blive skruen uden ende, så holder man gerne op, når mængden af ny information pr. case i et stykke tid har været yderst begrænset.
Skulle pågældende fænomen være kvantitativt målbart, så ville man være idiot (eller fattig), hvis man ikke tog og målte den præcise udbredelse herefter.
Stadig kan man godt meningsfyldt generalisere ud fra få cases, fx atombomber er ikke rare. Præcis hvor urare og hvor tit de er det skal man naturligvis kvantificere. Problemet ved denne generaliseringskamp er, at nogen ting kan ikke (eller som tilfældet atomvåben har vist sig) bør ikke kvantificeres. At man skal tage de nødvendige forbehold, når man arbejder med få cases (og at mange ikke gør det) kan jeg kun erklære mig enig i.
Når det er sagt er pointen med det flydende, at vi kan se på homologe strukturer (jf Borudieu), der ligner hinanden. På den måde repræsenterer et resultat fra en god statistisk analyse i mine øjne en (stærk) case for, hvordan lignende fænomener kan anskues...
Christoph
PS. Igen viljeg påpege at et casestudie af kravene til gadebetjentes uniformering vil være en metodisk klogere måde at undsøge deres beklædning på end at udtage en repræsentativ stikprøve. Måske kunne mellemvejen være at se på rigspolitiets beklædningsrengskaber?
Det er godt nok længe siden denne tråd har været aktiv - men nu sidder jeg og keder mig på et hotel i oxford. For det første er det ikke en grundregel fra den kavlitative metodelærer at man bør stoppe med at indsamle data når de ikke længere kommer mere indformation - det er en grundregl i AL metodelærer. At indsamle data koster ressourcer og hvis der ikke længere kommer mere indformation er man bare dum hvis man bliver ved med at indsamle data. Problemet er imidlertid at fastslå hvornår der ikke kommer mere information. I den kvantitative metode er der præcice metoder til at fastslå værdien af den sidst tilkomne data, men jeg ved ikke hvordan man gør indenfor andre metodegrene...
Det er (næsten) rigtigt at der kun var en fremkomst af kapitalisem - men det tror jeg osse ærger en del historikere - hvis der var flere ville de nok osse se på dem....
Det er osse rigtigt at man skal bare have prøvet én atombombme (der er detoneret) for at vide at de ikke er rare - men det er netop osse fordi at der her er tale om nær-determinstiske fænomener (hvad det så end er) - og så behøver man ikke mange cases.
Det er næsten ligeså med politiets uniformer, dvs P(politimand | politiuniform) = 1 selv om der har været tilfælde hvor banditter har udnyttet at vi tror sådan og klædt sig ud som politi (dvs P(politimand | politiuniform) er faktisk ikke helt én, men næsten) - altså et nær-deterministisk fænomem - og så behøver man altså ikke mange observationer før flere observationer ikke bidrager meget.
Men det er ikke helt så simpelt - der har nu været ca 10.000 atomreaktorår - dvs der har kørt reaktoere svarende til at en reaktor har kørt i 10.000 år med kun to alvorglige uheld - betyder det så at atomkraft er næsten 100% sikker. Der har heller ikke været nogen alvorlige udslip fra atomaffaldslagre - kan vi så regne med at de er helt sikre?
Og jeg tror det er en rigtig dum at forlade sig ved at se på rigspolitiets beklædningsrengskaber? Nogen gange afviger virkeligeheden fra regulativerne...... fx må politiet ikke kalde nogen for perker - men det sker jo tilsyneladne aligevel i ny og næ.
gummiand
Det er (næsten) rigtigt at der kun var en fremkomst af kapitalisem - men det tror jeg osse ærger en del historikere - hvis der var flere ville de nok osse se på dem....
Det er osse rigtigt at man skal bare have prøvet én atombombme (der er detoneret) for at vide at de ikke er rare - men det er netop osse fordi at der her er tale om nær-determinstiske fænomener (hvad det så end er) - og så behøver man ikke mange cases.
Det er næsten ligeså med politiets uniformer, dvs P(politimand | politiuniform) = 1 selv om der har været tilfælde hvor banditter har udnyttet at vi tror sådan og klædt sig ud som politi (dvs P(politimand | politiuniform) er faktisk ikke helt én, men næsten) - altså et nær-deterministisk fænomem - og så behøver man altså ikke mange observationer før flere observationer ikke bidrager meget.
Men det er ikke helt så simpelt - der har nu været ca 10.000 atomreaktorår - dvs der har kørt reaktoere svarende til at en reaktor har kørt i 10.000 år med kun to alvorglige uheld - betyder det så at atomkraft er næsten 100% sikker. Der har heller ikke været nogen alvorlige udslip fra atomaffaldslagre - kan vi så regne med at de er helt sikre?
Og jeg tror det er en rigtig dum at forlade sig ved at se på rigspolitiets beklædningsrengskaber? Nogen gange afviger virkeligeheden fra regulativerne...... fx må politiet ikke kalde nogen for perker - men det sker jo tilsyneladne aligevel i ny og næ.
gummiand
Endnu en gang er det sent, men jeg skal alligevel prøve at klargøre, hvorfor man nogengange bør nøjes med få cases.
I den ideelle verden indsamlede vi selvfølgelig data fra så mange (alle cases) som muligt eller på en måde, så disse var rigtigt mange og simpelt tilfældigt udvalgte.
Bortset fra, at vi ikke kan kvantificere alt eller også er det meget svært. Kapitalismens opkomst ser jeg det fx som ret vanskeligt at kvantificere. Men det er vi vel ikke uenige om?
Andet punkt er, at ikke alt tilfredsstillende kan analyseres "på tværs". Af og til kræver forståelsen af et problem, at man ser på den specifikke (hermed menes blandt andet det, der er for unikt til at kunne opfylde kravene for et kvantitativ analyse) sammenhæng. Kan man argumentere for, at denne sammenhæng har været meget central, er beskrivelsen af denne måske mere lærerig end den kvantitative analyse (tænk her på Flyvbjergs brug af Dreyfus & Dreyfus tanker om læring, hvor metsring forudsætter erfaringsbaseret fremfor regelbasreret handling).
Hvad jeg her slår til lyd for er, at modeltankegangen (med forudsigende toerier mm) har sine styrker, men en historisk baseret analyse af (gerne flere) specifikke cases giver adgang til at generalisere på anden vis, fordi man ikke bruger Ockhams razor og smider barnet ud med badevandet.
Men det bliver rigtigt spændende, når vi kan (og har råd til!) at kombinere disse to tankegange...
Christoph
I den ideelle verden indsamlede vi selvfølgelig data fra så mange (alle cases) som muligt eller på en måde, så disse var rigtigt mange og simpelt tilfældigt udvalgte.
Bortset fra, at vi ikke kan kvantificere alt eller også er det meget svært. Kapitalismens opkomst ser jeg det fx som ret vanskeligt at kvantificere. Men det er vi vel ikke uenige om?
Andet punkt er, at ikke alt tilfredsstillende kan analyseres "på tværs". Af og til kræver forståelsen af et problem, at man ser på den specifikke (hermed menes blandt andet det, der er for unikt til at kunne opfylde kravene for et kvantitativ analyse) sammenhæng. Kan man argumentere for, at denne sammenhæng har været meget central, er beskrivelsen af denne måske mere lærerig end den kvantitative analyse (tænk her på Flyvbjergs brug af Dreyfus & Dreyfus tanker om læring, hvor metsring forudsætter erfaringsbaseret fremfor regelbasreret handling).
Hvad jeg her slår til lyd for er, at modeltankegangen (med forudsigende toerier mm) har sine styrker, men en historisk baseret analyse af (gerne flere) specifikke cases giver adgang til at generalisere på anden vis, fordi man ikke bruger Ockhams razor og smider barnet ud med badevandet.
Men det bliver rigtigt spændende, når vi kan (og har råd til!) at kombinere disse to tankegange...
Christoph
Andre læser også
- Perspektivering og konklusion
- Fænomenologisk metode/hermeneutisk fortolkning
- Definition af kontingens
- Svag paternalisme
- Abduktion
- Habermas` teori om system og livsverden
- Generaliserbarhed ved kvalitativ metode?
- Bourdieu - Foucault; Forskel eller lighed
- Magt og viden(foucault)
- Socialkonstruktionisme versus socialkonstruktivisme
- Socialkonstruktivistisk /hermeneutisk
- Metaperspektiv?
- Hvem kender til makro- meso- og mikro begreberne?
- Deduktiv vs. induktiv
- Foucault, subjektivering/objektivering
- Ordet "perspektivering" på engelsk?
- Foucaults diskursanalyse - i en simpel udgave?
- Har jeg forstået Luhmann korrekt???
- Socialkonstruktivisme
- Forskel på paradigme og diskurs
- Moral og etik - en begrebsafklaring.
- Kritisk realisme vs. realism
- HJÆLP!!! jeg fatter ikke felt og doxa
- Sammenhæng mellem kapital og habitus
- Governmentality
- Viden - ud fra en ontologisk og epistemologisk dimension