Pourquoi ne pas effectuer des tests t? 

Les comparaisons multiples

Les contrastes

    Comparer deux groupes

    Comparer plus de deux groupes

    Indépendance des contrastes

    Une "recette" pour déterminer les coefficients

Avantages relatifs de chaque méthode

Quand effectuer des contrastes?

Quand effectuer des comparaisons multiples?

Comment effectuer des contrastes et des comparaisons multiples sur SPSS?

A quoi servent ces méthode statistiques?

    Exemple: Considérons une expérience de changement d'attitude dans laquelle un message est présenté par une source crédible ou peu crédible. Dans une troisième condition, le message n'est pas présenté. La variable "crédibilité" a donc trois niveaux: crédible,  non crédible, contrôle.

    Lorsqu'un facteur a plus de deux niveaux, ces méthodes permettent d'examiner entre quels niveaux il existe des différences significatives.    Si l'analyse de variance permet de vérifier si, effectivement, il y a des différences entre les moyennes, elle ne permet pas de déterminer où ces différences se situent. Un effet principal du facteur crédibilité dans le cadre d'une analyse de variance indique uniquement qu'au moins une différence entre deux conditions est significative (la condition crédible est peut-être différente de la condition contrôle  mais pas de la condition non crédible par exemple) . Or, l'objectif du chercheur est moins de savoir s'il existe des différences significatives que d'identifier quelles différences le sont effectivement et dans quelle direction. Il est donc important de disposer d'une procédure permettant de dissocier les différences réellement significatives de celles qui ne le sont pas. C'est pourquoi on effectue généralement des comparaisons multiples ou des contrastes lorsqu'un facteur a plus de trois niveaux. Si on obtient une interaction entre deux facteurs, on peut également recourir à ces méthodes pour comparer les différents groupes impliqués, ce qui permettra de déterminer la nature exacte de l'interaction.

 Lorsque l'on veut déterminer quels groupes de sujets diffèrent entre eux, pourquoi ne pas effectuer de multiples tests t?

Il pourrait paraître tentant, plutôt que de recourir à ces méthodes d'effectuer plusieurs tests t. Par exemple si l'on dispose de trois moyennes, on comparerait successivement les deux couples de moyennes. Cependant, cette approche n'est pas recommandable. Effectivement, si l'on effectue un seul test t, on court le risque de rejeter une hypothèse nulle qui est vraie dans seulement 5% des cas (si le seuil est fixé à .05). Par contre si on en effectue deux, on risque sur l'ensemble des deux comparaisons d'avoir au moins rejeté une hypothèse nulle qui était vraie (en d'autres termes d'avoir commis une erreur de première espèce) dans près de 10% des cas. La probabilité d'effectuer au moins une erreur de première espèce sur l'ensemble des comparaison s'appelle le "familywise error rate" (FER). Si, par exemple, on en a effectué 5, ce FER augmente à 22%. Et elle augmente ainsi de suite à mesure que l'on augmente le nombre de comparaisons.  Procéder à plusieurs tests t successifs est donc susceptible de nous amener à tirer des conclusions incorrectes. C'est pourquoi, les contrastes et les comparaisons multiples constituent une alternative préférable. Toutefois, ils répondent à ce problème d'erreur cumulée de deux façons différentes.

Les comparaisons multiples a posteriori (ou post hoc tests)

En gros, les comparaisons multiples a posteriori consistent à effectuer des comparaisons entre tous les groupes de sujets correspondant à un facteur.  Dans le cas du facteur "crédibilité" de notre exemple, il y a trois comparaisons impliquées (non crédible vs contrôle, non crédible vs. contrôle, contrôle, vs. crédible). Toutefois, ces comparaisons sont effectuées en contrôlant le risque d'effectuer une erreur de première espèce, c'est-à-dire de déclarer que des moyennes sont différentes alors qu'en fait elles ne sont pas.

Comme nous l'avons vu, plus il y a de comparaisons à effectuer (ce qui dépend du nombre de groupes impliqués, s'il y en a 4, par exemple il y aura 6 comparaisons), plus le FER tend à augmenter si on garde le même seuil pour chaque comparaison. Effectivement, s'il faut faire trois comparaisons, on ne risque que de se "tromper" trois fois, si on en fait six, on risque de se "tromper" 6 fois. Si par exemple, on prend un seuil de .01 dans le premier cas, le FER risque d'approcher .02 dans le premier cas mais .06 dans le second.

Pour maintenir le FER, les tests de comparaisons mutiples a posteriori renforcent l'exigence du seuil choisi pour chaque comparaison en fonction du nombre de comparaisons à effectuer. S'il y en a 6, isl pourraient par exemple exiger un seuil de .05/6 alors que s'il y en a deux, un seuil de .05/2 (ceci est le cas particulier d'un test de CM: le test de Bonferroni). Par conséquent, à mesure que le nombre de comparaisons augmente,  ces tests exigeront une différence plus importante entre deux conditions pour déclarer que celle-ci est significative.

 Il existe plusieurs tests de comparaisons multiples. Le plus conservateur est le test "honestly significant difference" de Tukey. En d'autres termes, celui-ci contrôle très bien l'erreur mais risque de ne pas détecter des différences significatives. Le plus laxiste est le "Least significant difference" (LSD). Ce test par contre risque de détecter des différences qui n'existent pas.  Je vous conseille un compromis, le test de Student Newman Keuls (SNK). 

Les contrastes

Comme nous le constatons, les tests de comparaisons multiples effectuent TOUTES les comparaisons et maintiennent le FER en définissant un seuil plus exigeant pour chaque comparaison. Une autre façon de maintenir le FER est tout simplement d'effectuer moins de comparaisons. C'est la solution offerte par les contrastes.  L'un des intérêts des contrastes réside dans le fait qu'ils permettent soit de comparer deux moyennes entre elles, soit de comparer plusieurs moyennes simultanément à une autre (par exemple comparer la condition contrôle combinée avec la condition non crédible à la condition crédible). Examinons d'abord le premier cas.

Comparer deux groupes

La logique d'un contraste consiste à attribuer des coefficients à chaque groupe de sujets et à tester si la somme des moyennes des groupes pondérée par leurs coefficients (ou encore la somme des produits des moyennes de chaque groupe par leur coefficient) est susceptible d'être nulle dans la population dont sont issus les sujets.  Ceci revient à dire que tout contraste s'exprime de la façon suivante (pour trois groupes de sujets):

(Coefficient 1) * (Moyenne Groupe 1) + (Coefficient 2)*(Moyenne Groupe 2) +(Coefficient 3*Moyenne Groupe 3)= 0

Ca a l'air compliqué mais c'est simple! Tout l'art du contraste consiste à choisir les coefficients de façon à tester au mieux les hypothèses que vous avez définies. Les contrastes sont particulièrement simples à utiliser lorsque vous ne souhaitez que comparer deux groupes: dans ce cas, vous décidez d'attribuer un coefficient à un groupe et le coefficient opposé à l'autre. De façon générale, on choisira souvent -1 et 1, mais -2 et 2 ou -0.5 et .5 (ou encore toute autres paires de coefficients opposés) fournira le même résultat. Vous attribuez alors un coefficient de 0 aux groupes que vous n'incluez pas dans l'équation.

Reprenons l'exemple ci-dessus. Si vous choisissez de comparez le groupe crédible et le groupe non crédible, que vous leur attribuez chacun un coefficient opposé (par exemple 1 et -1) et que vous définissez un coefficient de 0 pour le groupe contrôle, vous obtiendrez la somme suivante (lisez bien les équations! C'est important):

1* (Moyenne Crédible))+(-1)*(Moyenne Non Crédible)+0*(Moyenne Contrôle) = 0

Ou encore:

(Moyenne Crédible) - (Moyenne Non Crédible) + 0 =0

Ou encore:

Moyenne Crédible = Moyenne Non Crédible.

En d'autres termes, en donnant des coefficients opposés à deux groupes et un coefficient de 0 aux groupes non impliqués dans la comparaison, on teste la différence entre les deux groupes qui nous intéressent. Le test s'effectue grâce à un test t standard. S'il est significatif, cela signifie que les deux moyennes sont donc bien différentes.

Comparer plus de deux moyennes entre elles.

Imaginons à présent que vous émettiez l'hypothèse que seule la source crédible aura un effet. En d'autres termes vous vous attendez à ce que deux conditions soient satisfaites. La première est la suivante: 

1. Moyenne Non Crédible = Moyenne Contrôle

Ceci correspond à une comparaison de deux moyennes donc, en attribuant un coefficient de -1 à la condition Non Crédible, un coefficient de 1 à la condition contrôle et un coefficient de 0 à la condition crédible, on la teste (cf. exemple précédent).

En second lieu, vous vous attendez à ce que la condition crédible donne lieu à un changement d'attitude plus élevé que les deux autres conditions. Vous pourriez effectuer deux contrastes séparés pour tester ceci. Toutefois, comme vous venez de montrer (si votre hypothèse nulle n'est pas rejetée) qu'on peu traiter la moyenne crédible et la moyenne contrôle comme  identiques, vous pourriez "combiner" ces deux conditions et les comparer en une fois à la condition crédible. L'hypothèse nulle serait donc:

1a Moyenne Crédible> Combinaison(Moyenne Non Crédible, Moyenne Contrôle)

ou encore

1.b Moyenne Crédible>1/2*(Moyenne Non Crédible + Moyenne Contrôle)

L'hypothèse nulle est donc que:

 Moyenne Crédible = (1/2) * ((Moyenne Non Crédible)+(Moyenne Contrôle))

soit

(1*Moyenne Crédible)+(-1/2)*(Moyenne Non Crédible)+(-1/2)*Moyenne Contrôle=0.

Les coefficients sont donc ici 1 pour la condition Crédible, -1/2 pour Condition Non crédible et  -1/2 pour la Condition Contrôle.

Contrairement à un test de comparaisons multiples, vous pouvez donc comparer plusieurs moyennes simultanément.

Une "recette" pour déterminer les coefficients.

Vous souhaitez toujours comparer un ensemble de groupe A à un ensemble de groupe B.

    Par exemple, le groupe non crédible combiné avec le groupe contrôle d'une part et le groupe crédible d'autre part.

1. Déterminez le nombre de groupes dans l'ensemble A, appelons na et le nombre de groupe dans l'ensemble B, appelons le nb.

    na=2 (contrôle, non crédible), nb = 1 (crédible)

2. Pour chaque groupe "A", assignez un code de 1/na

    Pour le groupe "contrôle", 1/na = 1/2; Pour le groupe "non crédible", 1/na = 1/2.

3. Pour chaque groupe "B" assignez un code 1/nb

    Pour "crédible", 1/nb = 1. 

Indépendance des contrastes

   Si vous émettez l'hypothèse que seule la condition crédible aura un effet, vous pourriez effectuer trois comparaisons: crédible vs. non crédible; crédible vs. contrôle; contrôle vs. crédible. Evidemment en faisant cela vous augmentez le FER. Il y a par ailleurs un autre problème. Imaginez que par un hasard malheureux, et bien que vous ayez veillé à répartir vos sujets aléatoirement dans chaque condition, le groupe de sujets assignés à la condition crédible soit composé de personnes particulièrement influençables et qu'en raison de cette erreur d'échantillonnage, et non en raison de la manipulation elle-même, le score observé dans cette condition soit plus élevé que dans les deux autres. Si vous effectuez un premier contraste crédible vs. non crédible, la différence risque d'être significative et vous risquez de rejeter à tort l'hypothèse nulle (en décrétant que votre manipulation a eu un effet) à cause de cet échantillonnage malheureux. A présent, si vous effectuez, un second contraste crédible vs. contrôle, vous risquez à nouveau d'effectuer la même erreur. En d'autres termes, les résultats de ces deux comparaisons ne sont pas indépendants car ils impliquent le même groupe, "aberrant", la condition crédible. 

    Pour éviter qu'un groupe "aberrant par hasard" n'influence l'ensemble des contrastes, on cherchera à effectuer des contrastes indépendants, qui ne dépendent donc pas les un des autres. Pour déterminer si deux contrastes sont indépendants, il faut tout d'abord effectuer un tableaux de contrastes. Le tableau suivant représentent trois "triplets" de coefficients possible pour les trois groupes. Le premier contraste compare le groupe crédible au groupe non crédible; le second compare le groupe crédible au groupe contrôle; le troisième compare la combinaison du groupe crédible et du groupe non crédible au groupe contrôle (ça devrait vous paraître évident à la simple observation du tableau):  

  Pour examiner si deux contrastes sont indépendants , il est nécessaire de calculer la sommes des produits des coefficient pour chaque groupe. Si cette somme vaut 0, ils sont indépendants

   Si l'on veut examiner les contrastes 1 et 2, cela donne:

 (1*1)+(-1)*0+0*(-1)=1.

 En revanche, si l'on veut examiner les contrastes 1 et 3, cela donne:

 (1*1)+(-1)*(1)+0*(-2)=0

Il est donc préférable d'effectuer les contrastes 1 et 3 que 1 et 2 car les premiers, contrairement aux seconds, sont indépendants.

Avantages relatifs de chaque méthode

L'avantage des contrastes réside dans le fait qu'ils sont plus puissants que les comparaisons multiples: ils permettent donc plus facilement de détecter une différences. En revanche, ils présentent le désavantage d'être très sélectifs: on ne peut effectuer que quelques contrastes alors que les comparaisons multiples impliquent tous les groupes. En effectuant des contrastes, on s'interdit donc de comparer certains groupes, bien que cela puisse être intéressant.

Quand choisir les contrastes?

Les contrastes sont des méthodes qu'on qualifie d' a priori car ils sont guidés par des hypothèses que l'on a formulées préalablement à l'étude elle-même. On les définit donc généralement sans avoir observé les moyennes et sur base uniquement de ses hypothèses théoriques. 

Quand opter pour les Comparaisons Multiples a posteriori?

On optera pour les comparaisons multiples lorsqu'on n'a pas d'hypothèse(s) claire(s) quant aux différences que l'on compte observer (ce qui ne devrait jamais arriver!) ou lorsque la configurations des résultats va à l'encontre des hypothèses. Imaginons par exemple que notre chercheur s'attendait à ce que la condition crédible diffère des deux autres (qui ne diffèreraient pas entre elles). Il compte effectuer un contraste, en comparant la condition "crédible" aux deux autres conditions combinées. Toutefois, ces résultats vont totalement à l'encontre de ses hypothèses: la condition "non crédible" semble plus élevée que les deux autres, qui n'ont pas l'air de différer. Cela n'a donc pas de sens de combiner les conditions "contrôle et non crédible" et de les comparer ensemble à la condition crédible.  Dans ce cas, vu que son hypothèse est infirmée, le chercheur souhaite déterminer "ce qui se passe réellement". Après tout le niveau observé dans la condition non crédible est peut-être dû au hasard, vu qu'il est totalement contraire à des hypothèses apparemment logiques. Pour le savoir, il est nécessaire d'effectuer des comparaisons mutliples qui contrôleront adéquatement qu'on ne risque pas de rejeter à tort l'hypothèse nulle selon laquelle cette condition ne diffère pas des autres.  

Comment effectuer des contrastes et des comparaisons multiples sur SPSS

Lorsque vous n'avez qu'un facteur dont vous voulez comparer les niveaux, pas de problèmes, passez au paragraphe suivant! Vous pouvez également effectuer des comparaisons multiples entre des groupes définis par deux ou plusieurs facteurs. Par exemple, vous pouvez considérer six groupes en fonctions du sexe et de la crédibilité: garçons "peu crédibles", filles "peu crédibles", garçons "contrôle", filles "contrôles", garçons "crédibles", filles "crédibles". Dans ce cas, il vous faudra d'abord créer une variable incluant ces six groupes et variant de 1 à 6.

Une fois que c'est fait, cliquez sur:   

Insérez votre variable dépendante dans "dependent" et votre facteur dans "factor" (avec les niveaux).

Pour effectuer des comparaisons multiples a posteriori, choisissez le test que vous souhaitez (par exemple, le test SNK). Cliquez sur continue et puis sur OK. Vous verrez apparaître un tableau d'analyse de variance suivi des comparaisons multiples. Par exemple, l'output suivant montre les résultats d'un test SNK pour une variable dépendante appelée "ACC" en fonction de trois conditions (Inconsistant, No label, Consistant). Dans chaque colonne sont représentés les groupes qui ne diffèrent pas entre eux. Dans ce cas, le groupe inconsistant et no label sont dans la même colonne, donc ils ne diffèrent pas entre eux. En revanche, le groupe consistant est isolé dans une colonne et diffère donc des deux autres.

Pour effectuer des contrastes, cliquez sur "contrasts". Ensuite notez le coefficient assigné au groupe ayant la valeur la plus basse (par exemple, si votre facteur crédibilité varie entre 1 et 3, et que le niveau "crédible" correspond à une valeur de 1, vous indiquerez là le coefficient correspondant au groupe "crédible"). Cliquez sur "add", indiquez le coefficient du second groupe et ainsi de suite jusqu'à avoir assigné un coefficient à tous vos groupes. Une fois que c'est fait, vous pouvez éventuellement déterminer les coefficients correspondant à un nouveau contraste en cliquant sur "add". Une fois tous vos contrastes encodés, cliquez sur "continue" et "OK". Vous voyez apparaître un tableau d'analyse de variance, suivi de vos coefficients et de l'analyse proprement dite. Généralement, on se contente de la partie "assumes equal variances". Ce tableau est divisé en lignes correspondant à chaque contraste. La colonne "sig" vous indique la signification statistique du contraste correspondante. Notez bien le "t" et ses degrés de liberté. Attention! Veillez bien à examiner si la valeur du t est positive. Si elle est positive, la différence observée va dans le sens que vous aviez prédit (en d'autres termes que le groupe a coefficient positif a obtenu une valeur plus élevée que le groupe à coefficient négatif). Si elle est négative, vous obtenez en réalité des résultats opposés à votre hypothèses...