Übungsblatt 2: Gemischte Lineare Modelle (LMMs) mit cross-classified random effects

Veröffentlichungsdatum

7. November 2024

In der Vorlesung haben wir nur Gemischte lineare Modelle (LMMs) mit genesteten random effects behandelt (z.B. Messungen geschachtelt in Personen, geschachtelt in Klassen, geschachtelt in Schulen, etc.). In diesem Übungsblatt betrachten wir zum ersten Mal eine Fragestellung mit nicht geschachtelten – sogenannten cross-classified – random effects. Die bisher besprochenen Prinzipien sowie die Schätzung und Interpretation der Modelle funktioniert immer noch genau gleich. Daher ist das Beispiel eine gute Übung, um zu überprüfen, ob Sie die gelernten Konzepte selbstständig auf neue Fragestellungen anwenden können.

Beschreibung des Datensatzes

In diesem Anwendungsbeispiel betrachten wir einen Fragebogen mit 12 Items der Skala Gewissenhaftigkeit aus dem NEO-FFI (Borkenau und Ostendorf 1993). Der hier analysierte Datensatz ist ein Ausschnitt (nur Personen die angegeben haben, dass sie den Fragebogen ernsthaft beantwortet haben; nur Personen mit vollständigen Antworten auf der Gewissenhaftigkeitsskala), der Daten in Kuhlmann, Dantlgraber, und Reips (2017). Insgesamt sind die Antworten von 610 Personen in dem Datensatz vorhanden. Der komplette Datensatz ist frei verfügbar im OSF (Kuhlmann 2016). Anders als in der Originalversion des Fragebogens wurden die Items in dieser Studie auf einer Visuellen Analogskala von 1 bis 101 mit den beiden Ankern starke Ablehnung und starke Zustimmung beantwortet (siehe Screenshot in Kuhlmann, Dantlgraber, und Reips 2017).

Laden Sie sich den von uns reduzierten Datensatz VA_Gew_Kuhlmann_et_al.csv hier herunter, lesen Sie die Datei in R ein und verschaffen sich mit der head() Funktion einen kurzen Überblick.

dat <- read.csv2("VA_Gew_Kuhlmann_et_al.csv")
head(dat, 15)

   person Alter Geschlecht       item response
1       1    23          1  VA_Gew_01       92
2       1    23          1  VA_Gew_02       86
3       1    23          1 VA_Gew_03R       96
4       1    23          1  VA_Gew_04       82
5       1    23          1  VA_Gew_05       83
6       1    23          1 VA_Gew_06R       39
7       1    23          1  VA_Gew_07       79
8       1    23          1  VA_Gew_08       88
9       1    23          1 VA_Gew_09R       72
10      1    23          1  VA_Gew_10       87
11      1    23          1 VA_Gew_11R       95
12      1    23          1  VA_Gew_12       81
13      2    22          1  VA_Gew_01       78
14      2    22          1  VA_Gew_02       83
15      2    22          1 VA_Gew_03R       88

Wie Sie sehen, enthält der Datensatz nicht nur die Antworten der Personen auf die verschiedenen Gewissenhaftigkeitsitems, sondern auch das Alter sowie das Geschlecht der Personen. Der Datensatz ist im long format: Jede Person hat 12 Zeilen, jeweils eine für jede Itemantwort. Dieses Datenformat ist notwendig, damit wir die Daten mit lme4 auswerten können.

Um die cross-classified Struktur besser zu verstehen, können wir den Datensatz einmal so umsortieren, dass alle Antworten zu Item 1 untereinander stehen, dann alle Antworten zu Item 2, etc.:

head(dat[order(dat$item), ], 8)

   person Alter Geschlecht      item response
1       1    23          1 VA_Gew_01       92
13      2    22          1 VA_Gew_01       78
25      3    20          1 VA_Gew_01       76
37      4    23          1 VA_Gew_01       81
49      5    27          1 VA_Gew_01       48
61      6    58          2 VA_Gew_01       19
73      7    21          1 VA_Gew_01       83
85      8    42          1 VA_Gew_01       88

tail(dat[order(dat$item), ], 8)

     person Alter Geschlecht      item response
7236    603    17          2 VA_Gew_12       85
7248    604    17          1 VA_Gew_12       34
7260    605    18          1 VA_Gew_12       27
7272    606    18          1 VA_Gew_12       69
7284    607    18          2 VA_Gew_12       94
7296    608    16          2 VA_Gew_12       72
7308    609    17          2 VA_Gew_12      101
7320    610    14          2 VA_Gew_12       89

Dadurch sieht man, dass die Struktur von Personen und Items eine gewisse Analogie in dem long format Datensatz hat: Innerhalb einer Personen-ID gibt es mehrere Antworten (nämlich immer genau 12), und innerhalb einer Item-ID gibt es auch mehrere Antworten (nämlich genau 610). Anders ausgedrückt: Die Personen-ID “bündelt” immer 12 Antworten zusammen (die Spalten in folgender Tabelle), die Item-ID “bündelt” immer 610 Antworten zusammen (die Zeilen in folgender Tabelle):

	Person 1	Person 2	…	Person 610
Item 1	.	.	.	.
Item 2	.	.	.	.
…	.	.	.	.
Item 12	.	.	.	.

Hinweis

Die hier vorgestellte cross-classified Datenstruktur kann man exemplarisch sehen für viele psychologische Studien, in denen eine Reihe von Personen auf eine Reihe von Stimuli antworten. In unserem Beispiel sind die Stimuli Items in einem Fragebogen, in anderen Studien aber z.B. Bilder, Videos, Vignetten, oder grafische Displays in einem Wahrnehmungsexperiment. Typischerweise wird angenommen, dass sowohl die in der Studie untersuchten Personen als auch die Stimuli jeweils eine Zufallsstichprobe aus einer Population darstellen, auf die man mit den Aussagen der Studie generalisieren möchte.

Die folgende Grafik zeigt die Histogramme für die 12 Gewissenhaftigkeitsitems.

library(ggplot2)
ggplot(dat, aes(x = response)) + geom_histogram() + facet_wrap(. ~ item)

Die Items 3, 6, 9 und 11 sind im Datensatz umkodiert, sodass höhere Werte in den Itemantworten für höhere Ausprägungen in Gewissenhaftigkeit sprechen.

Auf Grund der feinen Abstufungen auf der Visuellen Analogskala erscheint es vertretbar, die Itemantworten als kontinuierliche Variablen zu modellieren. Auch wenn die Verteilungen einiger Items (vor allem die Items 4, 8 und 11) sehr schief verteilt sind, werden wir hier die Daten mit einem normalen LMM analysieren, welches bekanntermaßen eine Normalverteilung für die Level-1 Fehler annimmt.

Fragestellung: Hat das Alter der Personen einen Einfluss auf die Itemantworten im Gewissenhaftigkeitsfragebogen?

Aufgabe 1

Stellen Sie die gemischte Modellgleichung für ein LMM mit den folgenden Modellannahmen auf:

Die durchschnittliche Antwort auf den Gewissenhaftigkeitsitems variiert sowohl zwischen Personen als auch zwischen Items. Sowohl Personen als auch Items sind zufällig aus einem größeren Pool an möglichen Personen bzw. Items gezogen worden, und wir wollen auf andere Personen und Items generalisieren.
Die durchschnittliche Itemantwort einer durchschnittlichen Person und einem durchschnittlichen Item, hängt ab vom Alter der Person.
Der Effekt des Alters auf die Itemantworten der Gewissenhaftigkeitsskala ist für alle Personen und alle Items gleich.

Hinweis: Verwenden Sie in den Gleichungen den Index \(i\) für Items und den Index \(p\) für Personen.

Einige Lösungstipps (bevor Sie sich die Lösung direkt anschauen)

Personen werden als random intercept behandelt (so wie Sie das aus den geschachtelten/streng hierarchischen LMMs kennen). Sie sind auf Level 2, da mehrere Itemantworten pro Person vorliegen (jede Person hat 12 Items ausgefüllt).
Genauso werden Items als ein weiteres random intercept behandelt: Jedes Item hat eine eigene Schwierigkeit (sprich: einen eigenen Mittelwert). Sie sind ebenfalls auf Level 2, da mehrere Antworten pro Item vorliegen (jedes Item wurde von 610 Personen ausgefüllt).
“Der Effekt des Alters auf die Itemantworten der Gewissenhaftigkeitsskala ist für alle Personen und alle Items gleich” → Dieser Hinweis sagt Ihnen: Die Steigung ist fixed (und nicht random): Sie variiert nicht zwischen Personen, und auch nicht zwischen Items.

Lösung

Modellgleichungen:

\[ \begin{aligned} &\text{Level 1: }& Gewiss_{ip} &= \beta_{0ip} + \beta_{1}Alter_{p} + r_{ip} \qquad \qquad r_{ip} \sim N(0, \sigma^2)\\ &\text{Level 2: }& \beta_{0ip} &= \gamma_{00} + u_{0i} + u_{0p} \qquad \quad u_{0i} \sim N(0, \tau_{item}), u_{0p} \sim N(0, \tau_{person}) \\ \hline &\text{Mixed: }& Gewiss_{ip} &= (\gamma_{00} + u_{0i} + u_{0p}) + \beta_{1}Alter_{p} + r_{ip} \end{aligned} \]

Aufgabe 2

Schätzen Sie das Modell mit lme4.

Hinweis: Falls Sie eine Warnmeldung bekommen, dass das Model nicht konvergiert (Warning in checkConv [...] Model failed to converge [...]), können Sie die Warnung in diesem Fall ignorieren.

Exkurs: Warum kann man die Konvergenzwarnung in dem Fall ignorieren?

Die Warnung von lme4 gibt die erreichte Abweichung aus (max|grad|) und vergleicht diese mit der tolerierten Abweichung tol:

Warning in checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, :
Model failed to converge with max|grad| = 0.0021875 (tol = 0.002, component 1)

Hier wurde das gewünschte Level an Präzision in der Schätzung (0.002) nur ganz knapp verpasst (0.0021875). Außerdem haben wir das Modell zusätzlich mit einem bayesianischen Schätzalgorithmus (R Paket brms) geschätzt und sichergestellt, dass das Modell dann konvergiert und die Punktschätzungen sehr ähnlich sind. Daher vertrauen wir hier den Schätzungen aus lme4. Durch eine Erhöhung der Iterationen oder durch einen anderen Schätzalgorithmus ließe sich diese Warnung vermutlich auch in lme4 wegbekommen, aber das würde hier zu weit führen.

Lösung

library(lme4)

Loading required package: Matrix

fit <- lmer(response ~ 1  + (1|item) + (1|person) + Alter, data = dat)

Warning in checkConv(attr(opt, "derivs"), opt$par, ctrl = control$checkConv, :
Model failed to converge with max|grad| = 0.0021875 (tol = 0.002, component 1)

summary(fit)

Linear mixed model fit by REML ['lmerMod']
Formula: response ~ 1 + (1 | item) + (1 | person) + Alter
   Data: dat

REML criterion at convergence: 65139.6

Scaled residuals: 
    Min      1Q  Median      3Q     Max 
-3.9453 -0.4917  0.1240  0.6159  3.9358 

Random effects:
 Groups   Name        Variance Std.Dev.
 person   (Intercept) 154.46   12.43   
 item     (Intercept)  96.23    9.81   
 Residual             366.09   19.13   
Number of obs: 7320, groups:  person, 610; item, 12

Fixed effects:
            Estimate Std. Error t value
(Intercept) 68.15672    3.14842  21.648
Alter        0.13294    0.03819   3.481

Correlation of Fixed Effects:
      (Intr)
Alter -0.401
optimizer (nloptwrap) convergence code: 0 (OK)
Model failed to converge with max|grad| = 0.0021875 (tol = 0.002, component 1)

Aufgabe 3

Interpretieren Sie den geschätzten Einfluss des Alters auf die Itemantworten der Gewissenhaftigkeitsitems.

Lösung

Für jedes Jahr älter, erwarten wir bei einer durchschnittlichen Person und einem durchschnittlichen Item 0.13 Punkte mehr auf der visuellen Analogskala.

Aufgabe 4

Welche Antwort auf ein Gewissenhaftigkeitsitem würden Sie vorhersagen bei einem durchschnittlichen Item und einer durchschnittlichen Person mit einem Alter von 60 Jahren?

Lösung

\(68.16 + 0.13 \cdot 60 = 75.96\) Punkte

Alternativ: Berechnung mit R

new_dat <- data.frame(Alter = 60)
predict(fit, newdata = new_dat, re.form = NA)

       1 
76.13334

Aufgabe 5

Variieren die Antworten auf den Gewissenhaftigkeitsitems stärker zwischen den einzelnen Items oder zwischen den einzelnen Personen?

Lösung

Da die geschätzte Varianz für die random intercepts der Personen höher ist als für die random intercepts der Items, würden wir davon ausgehen, dass sich (bei konstantem Alter) die Antworten auf der visuellen Analogskala im Mittel zwischen den Personen stärker unterscheiden als zwischen den Items.

Exkurs: Weiterführende Überlegungen

Probieren Sie verschiedene noch komplexere Modelle aus, indem Sie random slopes erlauben und / oder zusätzlich noch die Variable Geschlecht im Datensatz berücksichtigen. Sie können die Modelle mithilfe der Funktionen AIC() und BIC() miteinander vergleichen.
Aktuell haben wir bei der Interpretation die Antworten auf die Gewissenhaftigkeitsitems direkt berücksichtigt, obwohl wir eigentlich ja davon ausgehen würden, dass Gewissenhaftigkeit eine latente Variable ist, die mithilfe der einzelnen Items gemessen wird. Es ist jedoch auch möglich, ein gemischtes lineares Modelle im Sinne eines eindimensionales Item Response Modells für kontinuierliche Daten zu interpretieren. Diese Perspektive wird hier diskutiert.

Literaturverzeichnis

Borkenau, Peter, und Fritz Ostendorf. 1993. NEO-Fünf-Faktoren-Inventar (NEO-FFI) nach Costa und McCrae: Handanweisung.

Kuhlmann, Tim. 2016. „Investigating measurement equivalence of Visual Analogue Scales and Likert-type scales in Internet-based personality questionnaires“. OSF. osf.io/gvqjs.

Kuhlmann, Tim, Michael Dantlgraber, und Ulf-Dietrich Reips. 2017. „Investigating measurement equivalence of visual analogue scales and Likert-type scales in Internet-based personality questionnaires“. Behavior research methods 49: 2173–81. https://doi.org/10.3758/s13428-016-0850-x.