Polimètre, suite

Suite à la publication du Polimètre, et des commentaires intrigués, dubitatifs, ne comprenant pas les résultats ou les tenants et aboutissants de ce test, voici quelques explications des auteurs de l'outil.

-

Le Polimètre a été conçu par deux chercheurs, Paul Antoine Chevalier (ENS Cachan) et Lionel Page (University of Westminster, Londres) avec la collaboration d’une équipe de RTL et du site Debat2007.

L'objectif du Polimètre est tout d'abord d'être un outil permettant aux électeurs d'obtenir très  facilement et très rapidement une information sur la proximité entre leurs points de vue et celui des candidats. Il ne remplace pas une recherche personnelle d'informations.

Le Polimètre est aussi un outil d'analyse des décisions politiques. Le test est pour cette raison accompagné de questions complémentaires. Les réponses des internautes (complètement anonymes) feront ensuite l'objet d'une étude statistique.

Le format du questionnaire

Le polimètre comprend 30 questions auxquelles on peut répondre par 5 modalités. Ce format qui peut apparaître un peu rigide présente en réalité de nombreux avantages.

• Il est important   d’avoir un grand nombre de questions afin que le calcul final de la   distance soit robuste. Plus il y a de questions, moins il y a de risque   que le résultat soit influencé par une réponse dissonante ou aberrante.   Nous avons donc préféré avoir un grand nombre de questions courtes   plutôt qu’un petit nombre de questions plus longues et plus subtiles.
• Certains tests (le   politest < http://www.politest.fr/>, pourquivoter   <http://www.pourquivoter.com/presidentielle_2007/le_test.html>)   proposent de choisir pour chaque thème entre différentes propositions.   Cette solution ne nous semble pas satisfaisante parce qu’il est en   réalité très difficile de formuler des propositions qui s’opposent   bien les unes aux autres. Nous avons préféré demandé aux internautes   ce qu’ils pensent de chaque proposition.
• Il est important   que chaque question comporte le même nombre de modalités de réponse   et que ces modalités de réponse soient comparables. Si cette condition   n’est pas respectée (comme dans le site quelcandidat.fr < http://www.quelcandidat.com/quel-candidat-vous-ressemble.php>),   il nous semble difficile de calculer une distance de manière rigoureuse.   La standardisation des questions permet d’avoir un calcul cohérent   de la distance.
• Il est également   très important de laisser aux internautes la possibilité de ne pas   avoir d’opinion. Cela permet d’éviter d’imposer à l’internaute   une question qu’il ne se pose pas. Aucun des autres tests français   (politest <http://www.politest.fr/>, quelcandidat.fr <http://www.quelcandidat.com/quel-candidat-vous-ressemble.php> et pourquivoter.com <http://www.pourquivoter.com/presidentielle_2007/le_test.html>)   ne propose pourtant de modalité de non réponse. 
• Afin d’avoir le   questionnaire le plus souple possible, nous proposons aux internautes   de surpondérer les questions qu’ils jugent importantes et de sous   pondérer les questions qu’ils jugent peu importantes.

La sélection des questions.

Nous avons rédigé un ensemble de questions tentant de faire le tour du débat public. Ces questions ont été discutées avec une équipe de journalistes de la rédaction de RTL. Nous avons tenté d’avoir un questionnaire équilibré comportant à la fois des questions de droite et des questions de gauche.

Ce questionnaire a été envoyé aux candidats à l’élection présidentielle. Après avoir reçu leurs réponses, nous avons opéré une nouvelle sélection des questions de manière à maximiser la distance¹ entre deux candidats.

Cette méthode de sélection des questions nous permet de bénéficier à la fois d’une caution politique et d’une caution scientifique. Si le questionnaire avait été déséquilibré, les candidats nous l’auraient signalé. Par ailleurs, ils sont entièrement responsable de leurs réponses et on ne peut pas nous accuser d’avoir mal interprété leurs positions. D’autre part, il est important d’avoir effectué une seconde sélection des questions pour s’assurer qu’il existe une distance minimale entre les candidats de sorte à ce que le résultat ne dépende pas d’une seule question.

Le nombre de questions finales est contraint par la participation des internautes. On pourra toujours trouvé qu’il manque certaines questions. L’essentiel, c’est que les questions sélectionnées permettent de bien distinguer les différents candidats.

Le calcul de la distance

Ce test repose sur le calcul d’une distance entre les réponses de chaque candidat et les réponses des internautes. Le calcul de la distance s’effectue de la manière suivante.

La première étape consiste à définir une distance pour chaque question. A chaque question il y a cinq réponses possibles. Nous avons regrouper ces cinq modalités en trois groupes : pour, contre et sans opinion. Si le candidat a répondu dans une catégorie différente de l’internaute, la distance est de 1. S’il a répondu une modalité différente au sein de la même catégorie, la distance vaut ¼. S’il a répondu exactement la même chose que l’internaute, la distance est nulle.

Ensuite, on définit un poids pour chaque question. Par défaut le poids vaut 1. Si l’internaute est sans opinion, le poids est nul. Si l’internaute a cliqué sur + (resp. + +), le poids est doublé (resp. triplé). Si l’internaute a cliqué sur – (resp. - -) le poids est divisé par deux (resp. par trois). La distance finale est une somme pondérée sur toutes les questions divisée par la somme des pondérations. On obtient alors une distance entre 0 et 1. Cette distance est alors convertie en un score entre -100 et 100.

Si on a répondu exactement comme un candidat, le score vaut 100. Si on a répondu exactement à l’opposé d’un candidat le score vaut (-100). Le score en tant que tel n’apparaît pas dans la page de résultats mais permet de réaliser le diagramme en bâtons.

Bien entendu, les questions complémentaires n’entrent pas en compte dans le résultat final.

Ce calcul de la distance a plusieurs avantages :

• A la différence   du Politest, il ne repose pas sur un classement plus ou moins arbitraire   des différentes réponses sur un axe gauche droite.
• Il n’avantage   pas les candidats ayant répondu au centre (plutôt d’accord ou plutôt   opposé).
• Il donne la même   importance à chaque question.

L’interprétation des résultats.

Les résultats du test ne doivent pas être sur-interprétés. En particulier, le test ne dit pas pour qui voter. Il y a beaucoup d’éléments qui ne sont pas pris en compte dans ce test. Par exemple, nous ne prenons pas en compte les éléments liés à la personnalité des candidats. Il ne prend pas non plus en compte le fait que l’on peut privilégier un vote utile ou au contraire un vote protestataire.

Ce test constitue simplement un indicateur de la proximité politique entre les internautes et les différents candidats. Cet indicateur est imparfait, mais il a l’avantage de reposer sur une méthode simple et claire. On peut donc accepter de se prêter au jeu, même si les résultats peuvent apparaître surprenants.

Remarques annexes

Pour des raisons politiques, nous ne publierons pas les réponses des candidats. Il ne faudrait pas en effet que l’on confonde leurs réponses à un ensemble de questions fermées avec leurs réelles prises de position qui nécessitent d’être plus précises et plus subtiles.

 

Tous les commentaires sur le questionnaire sont les bienvenus. Il s’agit de notre première expérience de ce type et il serait bien de pouvoir éventuellement améliorer le dispositif pour d’autres élections.

Comments

[Rédigé par: m.]

j'ai de sérieux doutes quant à la pertinence des résultats : nos deux scientifiques, fussent-ils statisticiens, affirment péremptoirement que leur test est le meilleur, et surtout dénigrent les autres tests, sans pour autant apporter de preuves.

l'étalonnage, par exemple me semble un peu limite : les réponses des candidats ne constituent pas un bon étalon, le test s'adressant au public : il eût sans doute fallu étalonner le test sur le public, et avec un échantillon plus grand que quelques candidats.

le choix des distances et des pondérations ensuite n'est pas explicité : pourquoi une distance de 1 ou 1/4 ? pourquoi des pondérations de 2 ou 3 ?
le choix est sans doute légitime, qu'ils nous disent pourquoi.

puisqu'on parle chiffre, pourquoi ne pas avoir utilisé les outils qui permettent justement ce genre de cacluls (ACP, AFC, ACM, ...) et s'en remettre à un calcul de moyenne, trop bête pour prétendre à de la finesse ?

ce qui me gêne le plus, ce n'est pas tant la méthode de calcul, qui après tout est peut être bonne, mais le manque de retenue de ces deux chercheurs, qui utilisent leur "caution scientifique" pour affirmer sans expliquer quoi que ce soit, et qui dénigrent les autres tests, sur le mode : "le notre est meilleur puisque nous sommes scientifiques". beurk !

à propos, serait-il possible d'avoir les distances des candidats aux autres candidats ? comme ça ; pour voir.

[Rédigé par: euh...]

Le test n'est pas au point.
Je suis liberal et pro-ogm, et la polimetre me dit: Dupont-aignian(euh...) , puis Bové (sic), Voynet , Bescancenot (!!!!) et Buffet (resic)...

[Rédigé par: m.]

j'ajoute, parce que je suis méchant, qu'un informaticien et un économiste ne font pas un statisticien, et qu'en bon corporatiste je suis souvent effrayé par l'usage que l'on peu faire d'outils et de concepts qu'on ne maîtrise pas (et c'est pas econoclaste qui me contredira...)

[Rédigé par: Oaz]

"Pour des raisons politiques, nous ne publierons pas les réponses des candidats."

Une remarque qui tue tout le discours qui précède. Un des principes de base de toute démarche scientifique, c'est quand même de ne rien cacher des élements constitutifs de la démarche, non ?

D'autant plus que ces réponses peuvent être obtenues très facilement quand on connait l'aspect mathématique de la démarche (qui est ici dévoilé) : il suffit de mettre '++' sur la question dont on veut avoir la réponse pour chaque candidat et d'essayer les 5 choix possibles de réponse pour cette question tout en restant sur un degré d'importance neutre pour toutes les autres questions.
Ainsi, pour la 1ère question (la démarche des anti-OGM qui sortent de la légalité), Bové et Besancenot sont 'tout à fait d'accord', Buffet et Voynet sont 'plutôt d'accord', Dupont-Aignan, Royal, De Villiers et Lepage sont 'plutôt opposé' et, enfin, Sakozy, Bayrou et Le Pen sont 'fortement opposé'.

La liste exacte de toutes les réponses permettrait au moins à ceux qui ne comprennent pas pourquoi ils se retrouvent proches de tel ou tel candidat d'avoir les explications correspondantes.

[Rédigé par: WS]

Beaucoup de gens sont défrisé parceque Le Pen apparait pas trop mal classé dans leur résultat. En fait cela montre juste un truc: personne ne connait les propositions de Le Pen au delà de la question de l'immigration et de quelques unes de ses marottes.
Qui sait ce que Le pen pense des OGM par exemple? Moi pas, et je m'en fous, car quoiqu'il en pense cela n'aura aucune influence sur mon jugement qui est défititivement négatif en raison de ses positions sur l'immigration.

Pour améliorer le test il faudrait que celui qui s'y soumet dispose de 2 ou 3 "questions veto" qui éliminent automatiquement tous les candidats qui ne répondent pas comme lui à ces questions.

(pas plus de 3 questions veto, sinon on arriverait vite à une grande majorité d'abstentionniste, bien choisir ses questions veto pousserait de plus à une vraie réflexion personnelle...)

[Rédigé par: Paul-Antoine Chevalier]

Pour répondre à m. et à oaz, il ne s'agit pas de se cacher derrière la science pour faire argument d'autorité. Je pense que j'apporte plusieurs éléments concrets qui indiquent que notre test est mieux conçu que les tests concurrents en France. En particulier, il est très important d'avoir des questions standardisées et des possibilités de non réponses. Par ailleurs, le choix des distances (1 et 1/4) proprement dit comporte toujours une part d'arbitraire. Chacun sait qu'il n'existe pas de réponse solution optimale au codage d'une variable polytomique ordonnée. Ce choix nous a tout simplement semblé mesuré et judicieux. En revanche, ce qui est important, c'est le choix d'une distance qui élimine le biais vers le centre.

Pour répondre à une autre remarque du même m., il ne s'agit pas d'un calcul de moyenne, mais d'un calcul de distance, ce qui est complètement différent.

[Rédigé par: VinZ]

C'est bien beau de dire qu'ils sont meilleurs que les autres…

Mais, moi qui vait voter Ségolène, le politest me dit proche du PS, quelcandidat me dit proche de Ségolène, alors que leur outil me dit… proche de Besancenot et de Buffet, ce qui est franchement n'importe quoi !

[Rédigé par: Jeff]

Merci pour cette recherche sur les origines de ce polimètre. J'avoue que je reste sur ma faim après avoir fait ce test !! Mes intentions de vote vacillent entre Ségolène Royal et François Bayrou et je me retrouve en tête avec le PC, la LCR, Bové, Lepage et Voynet !

J'ai d'ailleurs fait le test avec une personne en face de moi. Celle-ci avait deux différences mais surtout une grosse différence de revenus. Résultat : avec deux réponses différentes et un revenu différent, Sarkozy est arrivé en premier ! (pour quelqu'un qui vote à gauche depuis toujours, ça fait bizarre... ;-))

Bref, c'est loin d'être au point et j'ai d'ailleurs beaucoup de mal à comprendre une des dernières questions qui consiste à choisir le candidat qui répondrait le mieux à notre tranche de revenu. Je trouve que cette question nous invite à penser que le plus important c'est notre porte-feuille et que chaque candidat s'occupe d'une tranche de la population, par définition. Un peu limitée comme vision de la politique...

A revoir donc à mon humble avis...

[Rédigé par: Dia]

Marche pas du tout avec moi. Le seul test qui pour l'instant soit conforme est : quelcandidat.com

[Rédigé par: Linca]

Pour ceux qui votent Ségolène voir François et reçoivent en tête l'extrème gauche...

Peut-ètre que ces candidats sont (beaucoup) plus à droite qu'on ne le croit?

[Rédigé par: WS]

Tous ces tests sont sans grands intérêts mais les réactions des lecteurs de Versac sont riches d'enseignement: ce que les gens attendent du test apparement c'est qu'il leur dise ce qu'il savent déjà (c'est-à-dire pour qui ils vont voter) Quel serait alors l'intérêt du test?

Le test mesure (imparfaitement bien sûr) la proximité des opinions exprimées avec celles des candidats. Evidemment ça donne des surprises car les concepteurs du test connaissent beaucoup mieux les réponses des candidats que ceux qui font le test (et pour cause, ils ont interrogé directement les candidats!!!)

L'attitude de déni de certains est asszez délicieuse. Le test montre simplement que le candidat de leur coeur n'a pas répondu comme eux à ces qq questions. C'est difficile à contester, et pourtant!

[Rédigé par: versac]

WS : très juste !

[Rédigé par: Jeff]

Et que faites-vous du fait qu'une seule différence de revenus en fin de questionnaire implique un changement de candidat en tête passant de Marie-George Buffet à Nicolas Sarkozy ??

Toujours "un déni délicieux" ? Le test montre surtout qu'aucun test ne laissant le choix qu'entre 4 types de réponses plutôt proches ne peut répondre à des questions aussi complexes que l'entrée dans l'Europe de la Turquie, les OGM, le rapport entre immigration et chomage...

Quant au "déni délicieux", comment expliquer que le politest et le test sur quelcandidat me confortent dans mes choix ?

[Rédigé par: abadinte]

Moi j'adore le fait que les personnes les plus proches de mois sont Buffet, Bayrou et Besancenot. Je savais que Bayrou était un bon gauchiste!

[Rédigé par: versac]

Dia : qu'est-ce qu'un résultat conforme ? L'objet du test n'est pas de vous dire pour qui vous comptez voter, mais de noter d'éventuels décalages entre votre intention de vote, et la proximité de programmes.

[Rédigé par: Bouba-Olga Olivier]

les trackbacks ne fonctionnent pas, alors un petit commentaire pour signaler mon billet, plutôt critique vis-à-vis de Polimètre...

http://obouba.over-blog.com/article-6007151.html

commentaires bienvenus!

[Rédigé par: dfitz]

Jeff : tu as refait le test en ne modifiant que le paramètre des revenus ?

[Rédigé par: jani-rah]

Je ne pense pas que le revenu intervienne dans les réponses, seulement ensuite pour faire une analyse statistique des réponses.

Pour le reste, je trouve la méthode bonne.

Mais le tout souffre de manques importants qui donnent des résultats aberrants.

Exemple : pourquoi je vote Royal : en plus d'un cadre clair (pas augmentations impots et diminution relative de la dette) pour un projet, autour de quelques propositions importantes que l'on ne retrouve pas dans le questionnaire :
-une réforme vers un syndicalisme plus représentatif et partenarial (elle ne propose pas le syndicalisme obligatoire)
-une plus grande décentralisation et un état plus efficace
-un effort massif sur la recherche et sur la justice
-un investissement fort sur l'environnement et l'éducation
-la modernisation du discours de la gauche : priorité aux pme, à l'innovation, à la dette, donnant-donnant etc...

Cela n'apparait pas dans le questionnaire.

Enfin, exemple de question mal posée : voulez vous la proportionnelle à l'AN ? Moi je pense que c'est une question très importante, mais je ne veux qu'une part de proportionnelle. Et encore, les 50 % de Bayrou cela me semble être trop ! Donc je répond plutôt favorable, alors que je suis tout à fait favorable à l'ouverture d'une part de proportionnelle, soit à l'assemblée, soit par la réforme du Sénat...

[Rédigé par: Photine]

Ce type d'invention est une démonstration du "tout mécanique" totalement inutile.

Le croirez-vous ? je n'ai pas besoin d'une appli pour savoir quelle est la candidate la plus proche de mes idées. Je réfléchis, je me renseigne, je discute, je m'intéresse...

Sans compter le biais des personnes qui font le test : "telle idée vous rapproche de tel candidat". Mais "telle idée = tel candidat", nous sommes déjà en pleine interprétation, là.
Rien de scientifique.

Et pas intéressant.

[Rédigé par: valery]

Tous les tests me donnent Voynet en tête : pas faux sur la base des programmes. Je en voterai pas pour elle pour d'autres raisons. En revanche le politest se montre particulièrement précis : tous les candidats de la gauche et du centre sont plus ou moins proches de moi, le candidat de la droite et les candidats de l'extrême droite sont éloignés.

Il ne faut pas s'étonner de la distance entre le vote envisagé et le résultat puisque justement le vote ne dépends pas seulement de la proximité entre ses opinions et le programme du candidat.

De toute manière les programmes ne sont jamais appliqué en l'état (heureuseement d'ailleurs !), alors...

Mais je confirme que le test est plus rigoureux que les autres que j'ai testé.

[Rédigé par: VinZ]

Les gens donnent des exemples de résultats farfelus, et tout ce qu'on trouve à leur répondre, c'est qu'il n'ont rien compris au test, qu'il n'est pas fait pour eux… Sympa…

[Rédigé par: FrédéricLN]

L'objection technique de m. sur le calcul des distance peut paraître fondée, mais d'expérience, cela joue peu dans les affectations.

L'idée de neutraliser le "biais d'affectation vers le centre" en traitant les "sans opinion" comme une catégorie à part peut se défendre (ça marche d'autant mieux que la liste de questions est longue - plutôt 50-60 que 30 - mais soit).

Mais la grosse difficulté de ce type de questionnaires (90% de la qualité des affectations finales), et cette note méthodo n'y répond pas, c'est : "d'où sont tirées les formulations des questions ?"

Je n'en sais rien, mais la présence, dans la liste, de formulations négatives (les trucs machin ne sont pas chose : oui ou non ?) démontre, avec toutes mes excuses, de l'amateurisme de ce côté.

Ceci dit par qqun qui a trouvé le test pas mal, puisqu'il m'a donné dans l'ordre le tiercé de mes candidats préférés.

[Rédigé par: palpatine]

Tiens, je pensais à la même remarque que Linca juste au dessus, mais ça fait trop peur... Alors en tant que bon mathématicien, ça parle de "distance", mais sur quelle dimension, quelle norme ? Parce que des manières de calculer des distances, c'est pas ça qui manque (on en a même en dimension infini, alors...). Et la pondération, elle ne serait pas un peu biaisée par le coefficient sympathie ? Bref, faute d'avoir les résultats top-secret des candidats (ça fait re-peur...), pourrait-on avoir le code, histoire de le faire vérifier par des matheux (pas moi, berk les stats ! Déjà que la topologie, c'est pas super passionnant...).

[Rédigé par: palpatine]

(mince, j'avais pas vu le captcha, mon comm' était donc posté juste après celui de Linca, on l'aura compris... -_-)

[Rédigé par: duong]

Moi c'est la sélection des questions qui ne me parait bonne.

La méthode est trop "bourrin mathématique" et il faudrait faire intervenir des gens qui connaissent la chose politique, en se référant certes aux clivages du moment et non aux clivages "éternels" sur 2 axes, ce qu'on peut reprocher au Politest.

Mais là ces questions franchement ... par ailleurs, il faudrait peut-être plus inciter les gens à répondre "je ne sais pas" car il y a vraiment des questions auxquelles la plupart des gens ne pourraient pas répondre, mais ils répondent quand même par habitude.
Et ces questions vont forcément compter dans le résultat.

[Rédigé par: Garag]

Euh... Mince je savais pas que j'étais si proche de la poste et de Mr Bové et du PC. J'ai moi aussi un gros doute sur l'efficacité de leur programme.

Enfin bon, à partir du moment ou on est sur de ses idées...

[Rédigé par: Oaz]

Pour ceux que ça intéresse, j'ai bricolé un truc qui permet d'avoir le détail des résultats du polimètre (les avis concourants et divergents que l'on peut avoir avec les candidats sur chacune des questions)

Plus d'infos là : http://barrejadis.azeau.com/index.php?itemid=74

[Rédigé par: Oaz]

"à propos, serait-il possible d'avoir les distances des candidats aux autres candidats ? comme ça ; pour voir."

J'ai calculé cela. Voir mon blog. Par exemple là : http://barrejadis.azeau.com/index.php?itemid=77

[Rédigé par: Ola]

Voilà un article plein de bon sens (de l'absurde) sur ces questionnaires...