Evaluer l’expérience client. 3

Evaluer l’expérience client. 3

(Source: Mooc EDX “Research Surveys” C. Lampe, University of Michigan)

Evaluer l’expérience client.3 est le troisième article portant sur l’expérience client.

Le premier article a porté sur l’analyse qualitative de l’expérience client : sur le questionnement de personnes, l’observation des comportements et la mise en œuvre du diagramme des affinités.

Le deuxième article a porté sur l’enquête d’opinion : sur les données à collecter, la population à questionner, les incitations à répondre.

L’article présent a pour objectif de commencer à traiter du questionnaire : des méthodes de questionnement, des types de question et de  quelques questionnaires couramment utilisés dans l’évaluation de l’expérience client.

Le prochain article portera sur la mesure de la satisfaction du client et sur les grands questionnaires visant l’évaluation de la totalité de l’expérience client.

1. Réussir l’expérience utilisateur du questionné

Une enquête par questionnaire n’est réussie que si elle apporte les réponses attendues. C’est dire que les questions doivent être comprises par des gens différents comme souhaité par l’enquêteur et que les réponses doivent être données authentiquement et dans la forme souhaitée par l’enquêteur.

Cela implique d’abord que l’on ait en tête l’expérience utilisateur du questionné ; puis qu’on facilite cette expérience en traduisant ce que l’on souhaite mesurer en questions compréhensibles par lui et en modalités de réponses qui le guident.

1.1. L’expérience utilisateur du questionné.

On doit connaître le parcours de l’enquêté si on veut que l’expérience utilisateur sont convenable pour lui.

On peut résumer cette expérience dans les étapes suivantes :

-première perception de la question qui doit susciter l’intérêt et l’envie de répondre ;

–compréhension de la question ; des mots utilisés et du sens de la question ;

-collecte des informations et réflexion pour préparer la réponse ;

–réponse dans la forme proposée par le questionneur.

1.2. Définir le concept et le convertir en questions que les enquêtés comprennent.

Ce que l’on souhaite mesurer est propre à une situation particulière ; l’objet de la mesure peut résulter d’un problème perçu par l’entreprise, du désir de tester un projet, des résultats d’une enquête qualitative antérieure ou d’un sondage précédent.

Traduire cet objet de mesure en questions compréhensibles et attrayantes est difficile, en particulier  lorsqu’il s’agit d’un concept (la qualité, la satisfaction, la motivation, l’engagement etc.) et encore plus lorsqu’on vise à établir la relation entre plusieurs concepts (satisfaction et productivité, etc.). Et les différences d’interprétation du mot peuvent induire d’importantes erreurs, en particulier si l’échantillon est petit.

Aussi la bonne façon de clarifier le concept et de passer du concept à la question est de définir d’abord les réponses recherchées et l’utilisation que l’on veut en faire ; elle est aussi de tester le projet de questionnaire, sur un groupe choisi de personnes internes à l’entreprise ou sur un mini-échantillon des futurs enquêtés.

1.3. La formulation des questions.

Toute question comporte les 3 points suivants :

-la question proprement dite avec, si nécessaire, sa raison d’être ou motivation du questionné ;

-si nécessaire, l’instruction rapide qui clarifie la question et guide la réponse ;

-l’espace libre laissé pour la réponse ou l’échelle d’évaluation ou la liste des réponses entre lesquelles il faut choisir ou qu’il faut hiérarchiser;

Les critères d’une bonne question sont la validité et la fiabilité:

-la validité concerne la précision avec laquelle la question permet de mesurer le concept visé ;

-la fiabilité concerne la stabilité de la compréhension de la question pour tout questionné et tout moment.

La formulation doit respecter les principes suivants :

– Formuler la question d’après les réponses recherchées et l’analyse que l’on veut en faire ;

– S’assurer par une question préalable que la question s’applique bien au questionné ;

– S’assurer que chaque question ne concerne qu’un concept non pas deux ou plus.

– Utiliser des mots simples, familiers et concrets pour le questionné ; c’est sa compréhension qui compte ;

– Formulez de réelles questions s’achevant par un ? ;

– Eviter tout biais par une  formulation neutre.

2. Les types de questions.

On distingue deux types de question : la question ouverte et la question fermée.

2.1. La question ouverte

La question ouverte permet aux questionnés de répondre librement. Ce type de question est choisie par l’enquêteur s’il n’y a pas lieu de définir une liste de réponses prédéterminées, si on ne sait pas faire cette liste ou si on veut collecter la formulation de l’enquêté. Ce type de question offre beaucoup d’avantages mais aussi d’importants inconvénients ; la réponse est plus difficile pour le répondant qui tendra à l’éviter et, si elle est donnée, elle doit être « re-traîtée » pour être exploitable.

On peut distinguer trois types de questions ouvertes :

– demande de réponse narrative : « Quelle a été votre expérience d’utilisation de X ? »

– demande de chiffrement : « Combien de produits semblables avez-vous examinés avant de choisir ?).

– demande de liste de « choses « : « Quelles sont les sites que vous avez consulté avant de choisir »

Les bonnes règles à suivre sont les suivantes :

– recourir à la question ouverte avec parcimonie;

– justifier la question, motiver à répondre et spécifier clairement le type de réponse attendue.

– utiliser une invite-relance pour tenter d’obtenir un développement de la réponse sommaire qui a été donnée ; par exemple: « pouvez-vous m’en dire plus à ce sujet » ; « Pourriez-vous être plus précis »,  etc.)

2.2. La question fermée.

La question fermée s’accompagne d’une liste des réponses possibles. Le questionné peut être invité à  choisir ou à classer une réponse ou plusieurs ; on parlera alors de question fermée nominale. Il peut aussi être invité à évaluer les réponses sur une échelle ; on parlera alors de question fermée ordinale.

Voici la gamme des questions fermées :

Les bonnes règles à suivre sont les suivantes :

– proposer des listes de réponses aussi complètes que possible ;

– choisir les formats de réponses les plus appropriés à votre intention de mesure : les formats les plus simples sont indiqués sur le schéma ci-dessus (choix unique, choix multiple, ordre de classement, échelle) ; des formats plus complexes seront présentés plus loin.

– inclure ou pas la réponse « Je ne sais pas » selon que l’on veut obliger l’enquêté à choisir ou le laisser donner une réponse réellement choisie ;  inclure ou pas la réponse « Autre » pour se donner une chance de collecter une réponse imprévue mais avec le risque de fournir un « refuge » au répondant

2.2.1. La question fermée nominale

Ce type de question demande au questionné de choisir une ou des réponses dans une liste de réponses possibles ou de classer les réponses. « Parmi les réponses suivantes, laquelle ou lesquelles sont à vos yeux la ou les plus … ».

Les bonnes règles à suivre sont les suivantes :

-si la liste des réponses est longue, demander au questionné de ne classer que quelques articles ;

-si la liste des réponses est composée d’énoncés longs et difficiles, comme, par exemple, après la question suivante : « Lequel des énoncés suivants exprime (ou exprime le mieux) vos sentiments à propos de  X ?) »  Il vaut mieux poser la question pour chaque énoncé puis demander de classer en donnant un rang ;

-formuler les réponses de façon neutre et les présenter de façon aléatoire pour ne pas influencer le questionné ;

-au lieu de soumettre une liste d’ « objets » ou d’arguments, etc. (« Veuillez cocher tout ce qui s’applique à vous ») il vaut mieux poser pour chaque « objet » une question à choix forcé (Oui-Non).

2.2.2. La question fermée ordinale

Ce type de question demande à l’enquêté d’évaluer un « objet » sur une échelle de valeurs.

Exemple : «  Direz-vous que ce fut une expérience réussie ? »

L’échelle suivante est dite unipolaire = complétement réussi, très réussi, plutôt réussi, légèrement réussi,  pas du tout réussi. Le point « zéro » est à la fin.

« Est-il probable que vous recommandiez X à un ami ou un collègue ? » Très probable, plutôt probable, ni probable, ni improbable, plutôt improbable, très improbable. L’échelle est dite bipolaire car le point zéro est au milieu.

Les bonnes règles à suivre sont les suivantes :

-choisir une longueur d’échelle appropriée ; quatre ou cinq options pour les échelles unipolaires et 5 à 7 pour les échelles bipolaires.  Ici, on doit choisir entre l’avantage d’avoir des réponses plus nuancées et le risque de non-réponse en raison de la difficulté de choisir.

-définir un « milieu » (point zéro) sur une échelle bipolaire ;

-commencer par les options positives ou par les négatives mais suivre cet ordre pour toutes les questions ;

-se méfier des questions « d’accord – pas d’accord » car elles tendent à susciter le  biais d’acquiescement.

Cela est encore plus vrai dans les questions matricielles (en ordonnée : liste de questions ordinales ; en abscisse : échelle « d’accord – pas d’accord »).

-choisir des réponses numériques précises plutôt que des adverbes flous ; exemple : « Plusieurs fois par jour. Au moins une fois par jour. Une fois par mois. Jamais » ;  plutôt que « Régulièrement, occasionnellement, rarement, jamais » qui seront interprétées différemment.

-retenir l’échelle pertinente ; équilibrée avec un « point zéro » si la question est bipolaire et avec des valeurs adéquates, basées sur la moyenne de la population étudiée (revenu = moins de X, entre X et Y, plus de Y).

3. Quelques questionnaires utilisés en évaluation de l’expérience client.

On a retenu, ici, trois questionnaires classiques, reportant à l’article prochain plusieurs autres.

On présentera ces trois questionnaires après avoir donné deux échelles qui sont maintenant standardisées lorsque la question vise à savoir si l’enquêté comprend X ou s’il est d’accord ou pas avec une proposition :

-aucune compréhension – peu de compréhension – une certaine compréhension – bonne compréhension –pleine compréhension – ne sait pas – refus de répondre ;

-tout à fait d’accord – plutôt d’accord – plutôt en désaccord –tout à fait en désaccord – ne sais pas – refus de répondre.

3.1. L’utilisabilité d’un système (System Usability Scale  ou SUS)

Le questionnaire SUS a pour objectif de déterminer l’utilisabilité d’un service ou d’un système, c’est-à-dire  le degré auquel un système peut permettre d’atteindre des buts avec efficacité, efficience et satisfaction et  le degré auquel il est fiable, facile à apprendre, facile à adopter.

Le questionné doit évaluer 10 propositions en plaçant son évaluation sur une échelle de Likert de 5 niveaux allant de « Tout à fait en désaccord » à « Tout à fait d’accord ».

Voici les 10 affirmations (et leurs objectifs) :

-Je pense que je vais utiliser le service fréquemment (Fréquence d’utilisation)

-Je pense que le service est inutilement complexe (Complexité d’utilisation)

-Je pense que le service est facile d’utilisation (Facilité d’utilisation)

-Je pense que je vais devoir faire appel au support technique pour utiliser ce service (Contrôle utilisateur)

-Je trouve que les fonctionnalités du service sont bien intégrées (Bonne intégration des fonctions)

-Je trouve qu’il y a beaucoup trop d’incohérences dans ce service (Incohérence des fonctionnalités)

-Je pense que les gens apprennent très rapidement à utiliser le service (Rapidité d’apprentissage)

-Je trouve le service vraiment très lourd à utiliser (Lourdeur du service)

-Je me suis senti très confiant en utilisant ce service (Confiance dans le service)

-J’ai dû apprendre beaucoup de choses avant de pouvoir utiliser ce service (Apprentissage)

On voit qu’il y a des questions positives et des questions négatives et on peut calculer un indice global.

(Voir source = https://www.myfeelback.com/fr/blog/questionnaire-system-usability-scale-experience-client

On peut adapter le questionnaire à son besoin et, éventuellement, changer le système de réponse (accord-désaccord) mais on doit reconnaître que c’est un moyen puissant d’analyse et de comparaison.

3.2. L’utilisabilité d’un site internet (Standardized User Experience Percentile Rank Questionnaire, SUPR-Q). C’est un indice de satisfaction de l’utilisateur fondé sur 4 critères : utilisabilité, confiance, fidélité et apparence.

http://uxpajournal.org/supr-q-a-comprehensive-measure-of-the-quality-of-the-website-user-experience/

3.3. Le modèle d’acceptation de la technologie (Technology Acceptance Model. TAM).

Ce type de questionnaire est employé pour prédire si une personne utilisera une application informatique mais peut être adapté à tout produit ou service. Le modèle prend en compte deux facteurs : l’utilité perçue (PU) et la facilité d’utilisation perçue (PFU). Il a fait l’objet de multiples variantes.

Le questionné doit évaluer plusieurs propositions en plaçant son évaluation sur une échelle de Likert de 5 niveaux allant de «Tout à fait en désaccord» à « Tout à fait d’accord ».

Voici une présentation des objectifs, des 10 affirmations classiques et de 4 questions sur l’attitude (ATT) ;

Source : mémoire de l’Université du Québec

On notera, ici, qu’il y a toujours une distance entre exprimer une intention positive et passer à l’acte.

3.4. Les questionnaire utilisé par Qualtrics (cabinet de sondages) pour évaluer l’expérience de ses clients

Exemple intéressant de jonction entre évaluation et raisons de l’évaluation.

Aucune reproduction ne peut être faite de cet article sans l’autorisation expresse de l’auteur ».  A.Uzan.16/07/2018