lundi 1 mars 2010

Résultats d'études et enquêtes: attention aux biais méthodologiques

enquête

Fin janvier 2010, je prenais connaissance d'une étude indiquant que 97 % des Luxembourgeois étaient contents de leur emploi actuel. Une statistique qui n’est pas banale, vous en conviendrez!

J’ai bien tenté d’en savoir plus sur la question, mais mes recherches afin de pouvoir expliquer une telle situation sont demeurées vaines. Je me suis donc tourné vers Jonathan Pottiez, l’invitant à venir discuter avec les lecteurs du Gestionnaire Borg de la question.

M. Pottiez ayant gentiment accepté mon invitation je l’en remercie sincèrement et je vous invite à lire attentivement son texte et à aller le visiter sur ses propres espaces virtuels dont vous trouverez les coordonnées plus bas.

_______________________________________________

Jonathan Pottiez est Consultant-Chercheur chez Formaeva, société basée en France spécialisée dans l'évaluation de l'efficacité des formations ( le site de Formaeva et le blogue de Formaeva). Vous pouvez aussi le retrouver sur Twitter à : @jpottiez

À la suite de différents échanges sur Twitter, l'auteur de ce blogue m'a récemment proposé de me prononcer, en tant que blogueur européen (français précisément), sur les résultats d'une enquête concluant que les Luxembourgeois étaient satisfaits de leur emploi dans une proportion de 97 %. Le Français que je suis a eu comme premier réflexe de comparer ce taux de satisfaction à celui de ses compatriotes qui n'est que "que" de 55 %. À la lecture de tels chiffres, nous pourrions être tentés, en France, de migrer massivement vers les terres luxembourgeoises, véritable paradis des travailleurs semble-t-il. Mais ce serait peut-être aller trop vite en besogne. Cette analyse comparative des taux de satisfaction inter pays a-t-elle du sens? Permettez-moi d'émettre un doute, en rappelant deux limites fréquentes dans ce type d'étude.


Tout d'abord se pose la question de la qualité de la mesure : comment a été menée l'enquête? Quelles questions ont été soumises? Comment ont-elles formulé? N'y voyez pas là une forme de méfiance naturelle, mais il arrive que certaines enquêtes (même menées par de grands instituts de sondage) prêtent à rire du point de vue méthodologique. Sans trop caricaturer, imaginons que l'on vous pose cette question : "Êtes-vous un peu, beaucoup ou fortement stressé(e) au travail?". Avec un tel choix de réponses, il n'est pas étonnant que les statistiques sur le stress s'envolent. Sans remettre en question l'existence du stress en entreprise, il aurait été probablement préférable de questionner les facteurs causant le stress plutôt que de demander directement au répondant s'il se sent stressé. Pour ma part, il ne se passe pas un seul jour sans que je ne me sente un minimum stressé. Et cela commence dès le matin lorsque je cours après mon train. Le premier sondeur venu en déduirait que mon activité est stressante. Que nenni. On retrouve le même type de biais dans certaines enquêtes RH menées en entreprise avec des questions formulées ainsi : "Êtes-vous satisfait(e) de votre salaire?". J'imagine que nul n'oserait répondre qu'il en est satisfait, et encore moins dans les entreprises où règne une culture revendicative historique. Vous connaissez beaucoup de personnes satisfaites de leur salaire au point de répondre "Oui, je suis très satisfait(e)" ? Soyons sérieux un instant. Peut-être serait-il plus valide de demander au personnel s'il est satisfait de son salaire par rapport au travail fourni (couple contribution/rétribution), ou par rapport aux salaires du marché (informations que l'on a auprès de ses proches, de ses collègues, etc.). Bref, pour apprécier la validité des résultats de l'enquête évoquée plus haut, il faudrait se pencher attentivement sur l'outil utilisé pour l'enquête, sur la manière dont il a été exploité, sur la procédure d'échantillonnage (sélection des répondants), etc.


De plus, aussi proches soient-ils géographiquement parlant, cela a-t-il un sens de comparer des pays entre eux? Le Luxembourg a ses spécificités. Qu'est-ce qui le caractérise? Pour comparer le taux de satisfaction de ses salariés à celui des salariés français, il eut été raisonnable de prendre en compte les éléments pouvant différencier ces deux pays. Au hasard :

  • La typologie de secteurs d'activité : quelle est-elle? S'il apparaît que le secteur tertiaire est majoritaire au Luxembourg (ex : banques et assurances), il y a des chances pour que la qualité de vie au travail soit "légèrement" plus élevée que dans un pays à dominante industrielle.
  • Le niveau de qualification moyen : les avantages du Luxembourg attirent des profils plutôt qualifiés, donc occupant des fonctions probablement intéressantes, bien rémunérées... bref, permettant un certain confort de vie, y compris au travail.
  • Le choix d'y travailler : il me semble que la proportion de travailleurs ayant émigré au Luxembourg est assez importante. Autrement dit, on va travailler là-bas aussi, et surtout, parce qu'on le souhaite. Et ce souhait d'émigrer là-bas est probablement la conséquence des qualités intrinsèques du pays déjà partiellement énumérées.
  •  ... et probablement encore bien d'autres facteurs (sur ce point, les Luxembourgeois seront mieux placés que moi pour répondre).

En résumé, ce type d'enquêtes consistant à comparer des pays entre eux, sans contextualiser les résultats, n'a que peu de sens. Tout du moins, cela a autant de sens que le fait de mener une enquête de satisfaction relative aux conditions de travail chez Google et chez Renault... et de comparer leurs résultats. D'un côté, des ingénieurs en informatique chouchoutés et dorlotés et, de l'autre, des ouvriers de production travaillant à la chaîne. Voulez-vous parier que ce taux de satisfaction serait plus fort chez nos chers "Googlers"?

Source de l'image: hfabulous

5 commentaires:

Julie Fortin a dit...

Malheureusement, M. Pottiez a entièrement raison lorsqu'il mentionne que «certaines enquêtes (même menées par de grands instituts de sondage) prêtent à rire du point de vue méthodologique». Je dénonce d'ailleurs cet état de fait régulièrement dans le blogue que j'anime.

M. Pottiez soulève de très bonnes questions et je suis assez d'accord avec ses propos. Je trouve toutefois qu'il n'insiste pas suffisamment sur la méthode, en particulier sur l'échantillonnage.

L'article précise que l'enquête a été effectuée «auprès de plus de 1300 responsables RH et/ou financiers dans 8 pays sur la base d’un échantillon représentatif d’entreprises».

Qu'est-ce que ça veut dire, concrètement?
- D'abord, cette enquête n'est absolument pas représentative des «salariés» de ces pays, comme le titre l'article! On ne parle pas des ouvriers d'une chaîne de montage ici, mais de responsables RH ou financiers.
- L'enquête a été faite auprès de 1300 personnes dans 8 pays, ce qui fait une moyenne de 163 répondants par pays! Je regrette, mais la précision des résultats est grandement affectée par un aussi petit nombre de répondants : la marge d'erreur augmente considérablement. Imaginez, pour un sondage d'opinion publique représentatif des Québécois, on sonde habituellement 1000 répondants... On est loin du compte ici!
- L'article ne précise pas comment ont été sélectionnées les entreprises. S'agit-il d'un échantillon probabiliste? En d'autres mots, les entreprises ont-elles été sélectionnées au hasard? S'il ne s'agit pas d'un échantillon probabiliste, oubliez ça, de tels résultats sont impossibles à généraliser à la population.

Jonathan Pottiez a dit...

Merci Julie pour votre commentaire. Vous avez raison, je n'ai pas trop insisté sur les questions de méthode, mais il est clair qu'il y a là quelques "défaillances". A commencer, comme vous le soulignez, par le choix du répondant : la fiabilité inter-juges pose problème (comment un responsable peut se prononcer pour l'ensemble des salariés de son entreprise quant à leur satisfaction au travail ?).

J'ai été visité votre blog également, très intéressant : en GRH, nous avons beaucoup à apprendre des méthodes de mesure... ;-)

Julie Fortin a dit...

En fait, j'ose espérer que le sondage ne demandait pas aux responsables de se prononcer pour les autres, mais qu'il s'agit plutôt d'un sondage sur la satisfaction au travail des responsables RH et financiers. Mais bon, on ne peut être sûrs de rien...! ;-)

[Et merci pour votre commentaire à propos du blogue de SOM. J'essaie de dénoncer le plus possible les «horreurs méthodologiques» qui vont à l'encontre de la rigueur scientifique. Je serais d'ailleurs intéressée à poursuivre un échange avec vous sur «l'Opiniongate» qui secoue en ce moment l'Élysée!]

Jonathan Pottiez a dit...

Effectivement, au temps pour moi, il s'agit bien évidemment de la satisfaction au travail des responsables directement (j'espère en tout cas... mais il nous faudrait les détails du protocole méthodologique pour s'en assurer).

Cela dit, j'ai déjà eu l'occasion de consulter des enquêtes avec de telles erreurs (y compris des "recherches"...). Du genre, "le climat social est-il bon chez vous ?", et le DRH répondait... à la place de l'ensemble du personnel (quelle "bonne" mesure de climat social !). Parfois un DRH qui n'a jamais vu un salarié de sa vie... (sic !).

Pour l'OpinionGate, avec plaisir ! Il y aura aussi au moins Twitter pour cela, sinon nous risquons de dévier du sujet et de "polluer" le blogue du Gestionnaire Borg qui a eu l'amabilité d'instaurer cet échange ;-)

Je suis assez favorable aux sondages pour prendre le "pouls". En GRH, nous les utilisons pour partir d'une base (ex : la satisfaction au travail justement), afin d'identifier des insatisfactions précises pour y remédier. Mais il faut garder un minimum de cohérence politique.

A l'échelle d'un pays, construire une politique sur la base de sondages (aux résultats volatiles, par définition), c'est le risque de ne pas avoir de cohérence dans la durée (notamment entre le discours et les actes).
En France, si nous en étions restés aux sondages, la peine de mort n'aurait jamais été abolie.

Et puis, quel est l'objet du sondage ? La popularité ? Un Président n'a jamais été élu pour être populaire mais pour faire le job. Et cela passe souvent pas des mesures impopulaires : on ne peut pas plaire à tout le monde... donc, nécessairement, si les sondages sont représentatifs, il ne peut y avoir un taux de satisfaction de 60/70 % ou plus (sinon, je m'interroge sur cette représentativité !).

Unknown a dit...

Discussion très intéressante, donc vous êtes plus que légitimés de «polluer» à votre guise.

:)