As-tu l’impression que les études se contredisent constamment ?
Que des nouvelles études aux résultats extraordinaires font mystérieusement apparition aux 30 secondes ?
Qu’on peut toujours citer une étude qui va dans le sens de ce qu’on veut affirmer ?
Que les compagnies manipulent les résultats des recherches ?
Que des sites webs douteux ne citent que les conclusions des études qui font leur affaire ?
Si oui, tu n’as pas tort… et c’est très facile à faire d’ailleurs.
Voici comment faire dire tout ce que tu veux à une étude clinique.
P.S. Merci à mon ami Dany Plouffe pour m’avoir inspiré l’idée de cette BD.
Dans les Qui voudrait faire ça, j’ajouterais bien « un blogueur qui veut avoir raison » ou « un troll qui veut se moquer d’une bande de guignols ».
Mais le second est excusable (enfin, je dis ça parce que j’en suis un 😀 ).
Cher Pharmachien,
Je m’esclaffe de rire en lisant tes propos: c’est carrément génial et quelle bonne idée de permettre à l’ensemble des gens de saisir comment torture-t-on des résultats de recherche pour avoir les résultats qu’on veut (j’adore l’idée de capturer des études en liberté). Personnellement, j’ai également tendance à me méfier des études publiées dans des périodiques obscurs et davantage lorsqu’un prétendu chercheur donne une adresse « Hotmail » (malheureusement, j’ai vu cela à quelques reprises) pour entrer en communication avec lui.
C’est vieux, mais voici justement le genre d’informations pour lesquelles il faut exercer un jugement critique (en anglais) : http://www.dhmo.org/facts.html
Merci, sincèrement, pour les rires comme pour la propagation de la pensée critique. Tu devrais songer à devenir le sensei de l’autodéfense intellectuelle, ayant pour disciples des hordes de karatékas attaquant les mythes, les pseudosciences, les informations mal présentées, les documents issus d’un département de marketing, etc.
Cardinal El Véger, voici le lien en français pour les autres :
http://www.dhmo.org/translations/french/facts.html
Très drole !! Je me suis fait bloquer d’une page facebook parce que j’avais commenté un article qui disait qu’une plante guérissait 97% des cancers ! La recherche était vague et j’avais trouvé un autre article qui disait que « le médicament » à base de cette plante était hématolytique lorsque donner intra-veineux. Je crois que le propriétaire de la page n’a pas aimé 😉
Qu’elle est votre opinion sur les nouvelles percer sur les micro biote et leur potentiel révolutionnaire. Sujet qui nous à été soumis récemment a découverte. Prometteur?
Prochain chapitre …. les graphiques ? 🙂
Il pourrait toujours bien y avoir pire, des études complètement fabriquées de toute pièces avec du faux data et des valeurs obtenues avec un clavier! Ça semble complètement tordu, mais cela s’est déjà fait plus souvent qu’autrement!
Très bon article cher Pharmachien, je vois trop souvent des amis ou conaissances parler de data scientifique qui veut rien dire,c’est abérrant!
Décidément mon article favori. Je ne suis plus capable des gens qui partagent des argicles ou lien de site bidon avec aucune référence ou de mauvaises. Ou comme dans la BD, prennent uniquement les informations qu’ils veulent comme argument à leur opinion préconçue.
Il est temps de redonner vie à la vraie recheche.
Bonjour!
Comme toujours, j’ai adoré ton article. Tu nous aides à ouvrir notre esprit.
Je voulais seulement te signaler une petite erreur d’orthographe : langagières et non languagières.
Tu n’es pas obligé de publier mon commentaire.
À bientôt.
Super bel article 🙂 Ce que j’aime de cet article, c’est ce que c’est le même problèmes dans tous les domaines…. pas juste en études clinique!
Ca va encore pas faire plaisir a ton pote Venesson. Vu comment c’est sa spécialité de faire dire des choses gradiloquentes aux études.
J’ai adoré la BD. Par contre, le titre me met mal à l’aise.C’est probablement dans l’ambiguïté de l’expression « faire dire ». Si je dis que Stephen Harper promet d’instaurer un contrôle des naissances s’il est réélu, est-ce que je le lui ai fait dire? Certains diraient oui, c’est comme dans l’expression « Vous me faites dire des choses que je n’ai pas dites. » Faire dire peut aussi vouloir dire convaincre ou faire changer d’idée. Quand j’entends quelqu’un dire qu’on peut faire dire ce qu’on veut à une étude scientifique, j’ai l’impression que cette personne dit que la science n’est pas fiable et qu’elle ne sert à rien. J’ai seulement peur que cette phrase soit interprétée comme ça par des gens moins habilités à interpréter les études scientifiques et c’est justement à eux que tu t’adresses. À mon avis, le titre de l’article pourrait être plus néfaste que bénéfique pour les gens qui vont seulement lire le titre sans lire l’article.
Très intéressant, peut être compléter avec la notion de pyramide des preuves, pour conseiller de consulter plutot les méta analyse ou revue systématique sur un sujet, que les RCT. http://www.ebm.lib.ulg.ac.be/prostate/images/pyramide.gif
Ça me fait penser aux études sur le lait maternel, qui prouvent que le lait de maman est mieux que les formules en pharmacie. Malheureusement, ces études prennent rarement en compte les conditions de la mère. En effet, on a récemment avancé l’idée qu’en fait les mères qui allaitent sont, de base, plus éduquées, et informées que celles qui n’allaitent pas. Elles auraient ussi tendance à être plus riche que celle qui n’allaitent pas. Ceci change beaucoup de choses. Le fait que ces bébés sont plus en santé que les bébés non-allaités pourraient potentiellement être lié au fait que la mère est plus informée, et non parce qu’elles allaitent. Elles allaitent justement parce qu’elles sont plus informés, etc… Une étude sur des jumeaux, l’un nourris par formule de pharmacie, et l’autre par l’allaitement, est venu èa la conclusion que les deux enfants s’étaient développés de façon identiques et aucun n’était plus malade que l’autre. Biensûr, ça ne prouve encore rien à 100% pour l’instant, mais c’est une piste à explorer, surtout pour rassurer les mères qui se sentent comme des échecs parce qu’elles n’ont pas réussi à allaiter puisqu’on dit partout qu’il faut allaiter pour être une bonne mère, et que sinon ton enfant ne sera pas aussi intelligent, etc… Bref, stop the shaming envers les mères qui n’allaitent pas seulement à cause de quelques études, qui en passant, même si prouve qu’allaiter est meilleur, disent eux-même que la différence n’est pas tant grande au final.
Votre remarque, encore plus que les études auxquelles vous faites référence est l’illustration type des problèmes qu’elles posent :
1/ l’ethnocentrisme qui a tendance à considérer que la population dans laquelle on vit est représentative de l’ensemble de la population mondiale. Par exemple, quand on n’oublie pas que plus de la moité de la population mondiale vit dans des conditions de pauvreté plus ou moins extrême, que la majorité des femmes n’y ont pas d’accès à une forme d’éducation qui leur donnerait les moyens d’en savoir plus notamment sur l’éducation des enfants et les problèmes de santé, et qu’enfin elles n’ont ni les moyens, ni souvent la possibilité de trouver des laits maternisés, votre remarque fait rire un peu jaune.
2/ toujours lié à l’ethnocentrisme (et aussi au fait qu’il est plus facile et moins couteux de réunir des étudiants sur un campus américain pour l’échantillon que d’aller le chercher plus loin et autrement), la plupart de ce type d’études se fait sur un échantillon de population très homogène et donc absolument pas représentatif de l’ensemble de la population humaine.
C’est le temps des vaccins VPH…. tellement de témoignages contradictoires, difficile de se faire une idée. Tu devrais nous éclairer 😉
C’est un article clairement écrit par un individu qui n’a aucune idée de la façon dont les études cliniques sont conduites! Très diminutif comme commentaires qui dirige le lecteur vers une opinion négative sur les gens qui passent des années à développé des études pour améliorer les conditions des patients.
J’aime bien Tintin, quoique je le trouve aussi insupportable par moments que le « meilleur élève de la classe », bref.
Jetez un coup d’œil sur le l’ensemble du blog, voulez-vous ? Ensuite revenez faire amende honorable.
Hum, je vois plutôt cet article comme une critique d’autres personnes que les scientifiques ; seul un scientifique est cité parmi les Fardoche potentiels à la fin, les autres sont même plus souvent coupables de mauvaise interprétation d’études que les scientifiques.
Vous ne semblez pas avoir trop compris le sens du message. C’est plus une critique des interprétations erronées que certaines personnes font des données/études qu’une critique des chercheurs qui écrivent les dits articles.
Il y a beaucoup de bonnes études, mais peu de gens capable de bien les lire. On se retrouve trop souvent dans nos médias traditionnels avec des interprétations incorrectes de ces bonnes études ou malheureusement, a une surreprésentation d’études bidons de « p value hunting » ou même sans statistiques avancées, publiées dans des journaux obscurs.
Moi qui s’attendait presque à tomber sur une explication du paradoxe de Simpson, je ne peux pas dire être déçu.
( https://fr.wikipedia.org/wiki/Paradoxe_de_Simpson )
Si tu veux, il y a ici une explication illustrée du paradoxe de Simpson.
youtube.com/watch?v=vs_Zzf_vL2I
Une petite astuce qui peut être utile.
Si une personne proclame qu’une chose est vrai parce qu’une étude le dit et a du mal à comprendre ce qui ne colle pas, vous pouvez tenter l’analogie suivante :
Tirer des conclusions à partir des résultats d’une seule étude, c’est comme si tu arrivais à l’orée d’une forêt, que tu trouvais un gland par terre, et que tu en concluais que tout les arbres de la forêt sont des chênes.
J’ai bien aimé et malgré le fait que la BD fait référence à la pharmacologie et études en économie c’est la même chose. Par des études bidons ou encore par le fait de tirer des conclusions hâtives on en arrive à modifier les perceptions des gens. À titre d’exemple, il y a plusieurs façon de calculer la dette (et selon ta vision tu vas utiliser celle qui fait ton affaire). Et encore là, la dette en soi ne dit rien… faut la comparer avec autre chose et quand on se compare, on se console.
J’ai eu affaire à une « présentation » de marketing de réseau douteux (société pyramidale qui prône l’illusion du cash rapide en crossant tes amis). Les « produits » sont tellement louches, par exemple, tel produit va faire grossir vos veines pour augmenter le flux sanguin… Un autre contient 10 tasses de carottes, 20 tasses de betteraves, etc dans 1 once du liquide seulement…
Dire que des gens sont bernés par ces informations d’hurluberlu par manque de sens critique…
Michele , tes commentaires sur certaines études sur le lait maternel sont un bel exemple d’analyse bidon d’études scientifiques: tu tentes de faire dire des choses qui TE conviennent…
Vaccin Gardasil? Plusieurs parents sont inquiets? Vous en pensez quoi?
Pour ma part n’ayant pas eu d’explications sérieuses sur les bénéfices ni sur les risques de ce nouveau vaccin, je m’abtiendrai de faire vacciner ma fille….en revanche pour moi, il est très important que le suivi annuel de prévention du cancer (frottis + echo) soit fait de façon très sérieuse.
ps : attention , ce ne sont pas des conseils mais une opinion personnelle.
Hello Pharmachien ! Bravo et merci pour cette BD, le genre qu’on aimerait voir tourner plus sur Facebook par exemple.
Et bravo aussi pour ton passage à « Lisez la Science », aussi instructif qu’agréable à écouter.
Je fais ma pub de putassière façon, mais si des gens sont intéressés pour en lire un peu plus sur le sujet : https://associationslibres.wordpress.com/2015/05/02/evaluer-la-qualite-des-recherches-scientifiques/
Ce site est une merveille en fait d’études observationnelles. De beaux exemples de corrélations qui ne sont surement pas des liens de causalitées.
Un de mes exemples préféré: le nombre de kg de margarine consommées par capita et la chute du nombre de divorce au Maine. À bas la margarine! Sauvons nos mariages!! 😉
Ici: http://www.tylervigen.com/spurious-correlations (en anglais)
Des bijoux! Bonne journée
Merci beaucoup, cet article est indispensable
« Utilise ton habileté langagière, et ton mépris de la science, pour t’en sortir. » ^^
Merci pour cet article qui, en plus de m’avoir fait rire, me permet d’y voir un peu plus clair au milieu de toutes ces études qui se contredisent. Tiens, dernièrement, une étude aurait montré que le cholestérol était bon pour la santé et ne bouchait pas les artères… Ce serait un mensonge des entreprises pharmaceutiques pour gagner de l’argent.^^ Tu as vu ça ?
Personnellement, je vais quand même continuer à limiter ma consommation de beurre. 😉
C’est l’hypothèse des lipides. Recherche https://en.wikipedia.org/wiki/Lipid_hypothesis Ils ont parti le bal dans les années 70 en disant que gras=cholesterol=maladies cardio-vasculaires. Il y a plusieurs spécialistes des maladies du Coeur qui disent que cette explication est trop simpliste et a juste encouragé les pharmaceutiques a vendre des medicaments pour faire baisser ton cholesterol pour prévenir tout. Les résultats avaient été dissimulés pour cacher certaines populations dans le monde qui avait un plus gros IMC et cholesterol mais moins de maladies cardiaques vs d’autres population qui étaient l’inverse. As-tu remarqué aussi que les conseils alimentaires gras vs proteins vs hydrates de carbones ont changés constamment en 20 ans ? Il y a un episode de South Park qui parodie ça. Gluten Free Ebola Ep.2 S.18
Marrant je venais justement de dire à mon père pourquoi le documentaire qu’il regardait à la télé était bidon.
Une affirmation, appuyée par
_Un exemple larmoyant sans possibilité de prouver les liens de cause à effet. Mais c’est triste regardez ! donc on a raison
_ Un ou deux « experts » qui pronnent la théorie du complot alimentaire
_Aucune étude citées
_Aucun chiffre
_aucune preuve
juste « BWAAAAAH regardez c’est affreux et en plus y’en a partout de ces trucs »
Encore bravo pour cette super BD
Une série intéressante pour les esprits critiques (cash investigation)
https://www.youtube.com/watch?v=2pPCt0XqZLs
Dans cette émission on y parle des résultats de recherche passés au tordeur pour leur faire dire que que l’on veut (vendre).
Très bonne analyse : pertinente et complète. D’une façon très inteligente, tu ne t’attaques pas aux études en soit, mais comment elles sont utilisées à mauvaise escient. Je travaille dans la nutrition, domaine particulièrement exposé à ce problème. Une étude devient malheureusement un argument d’autorité pour justifier la moindre allégation. Or dans la plupart des cas il existe un énorme gap entre les conclusions toutes en nuance d’une étude, et la coté définitif et catégorique de l’allégation.
J’y vois dans cette pratique une forme de malhonnêteté intellectuelle particulièrement lâche, jouant sur la crédulité des gens qui n’ont pas de background scientifique ou esprit sceptique
Un exemple récent parmi tant d’autres : un site internet vantait les bienfaits des apports protéinés des certains légumineuses, tout en dénigrant massivement les protéines de sources animales du à leur risque cardio-vasculaire – avec un article d’une agence de santé nationale comme preuve à l’appui.
Or l’auteur du site s’est bien gardé de citer une mise en garde dans ce même article sur les inconvénients des protéines végétales (à savoir plus faible bio-disponibilité + carence en acides aminés essentiel).
Pour toutes les questions sur les études à la fin, comment on fait pour trouver les réponses ? Un étude ça peut faire plein de pages et je ne sais pas où chercher ne serait-ce que pour savoir s’il y a eu des réplications !
C’est très difficile en effet, à moins d’être très habitué à (et formé pour) parcourir la littérature scientifique et en faire l’analyse critique.
Tout passe par Pubmed : https://www.ncbi.nlm.nih.gov/pubmed/
A+!
Olivier
J’aime beaucoup cette BD. Elle est très pertinente et mérite de circuler à répétition pour nous rappeler la pertinence de faire l’effort d’exercer notre esprit critique.
J’avais pris l’habitude d’augmenter la fiabilité de mes lectures en les recoupant de plusieurs sources que je considérais fiables et dont la qualité de l’analyse faisait ressortir leurs forces et leurs limites. Nous ne disposons malheureusement pas d’une méta-analyse sur tout ce qui nous intéresse (ou du temps pour la trouver…).
Maintenant, je me demande surtout à combien peut-on évaluer la grosseur d’un échantillonnage de patients pour considérer la validité de l’étude? Je veux bien faire une recherche à ce sujet mais si quelqu’un peut m’éclairer, j’aimerais beaucoup.
Salut Jacynthe !
Petit truc : dans la section « méthodologie », regarde si l’étude cite la puissance statistique (c’est un calcul entre la taille de l’échantillon et la différence que l’on espère observer).
Beaucoup études n’ont pas le pouvoir statistique nécessaire pour tirer des conclusions fiables, alors elles ne font pas ce calcul.
A+!
Olivier
D’habitude, j’adore vos BD et je les partage.
Mais pas celle-la. Je suis tout a fait avec vous dans l’idee d’avoir un esprit critique, de remettre en cause un dogme, de reconnaitre dans une etude la portee reelle des resultats etc. Normalement, c’est meme la base de la recherche
Mais la, certaines parties m’ont fait reagir.
« Les statistiques ne devraient jamais remplacer le gros bon sens ». Bam, le gros argument des politiciens et des douchebags de Radio X qui n’y connaissent bien. Un test stat, ce n’est pas une poignee de chiffres tirés aleatoirement. Un seuil de .05 signifie qu’il y a 95% de chance que l’effet observé ne soit pas du au hasard. Et non, on ne fait pas dire ce qu’on veut a un test statistique. La variance de Furoncle-Davis est peut-etre un tres bon test. C’est l’interpretation qui peut etre critiquable.
La, en voulant critiquer les mauvais articles, c’est toute la recherche qui est remise en question. Madame Michu pourra donc donner son opinion plein de gros bon sens sur un article (quelque soit sa qualite), parce que lePharmacien l’a dit. Le gros bon sens qui fait dire que le monoxyde de dihydrogene est dangereux, ou les vaccins parce qu’il y a de l’aluminium.
Vous faites un boulot formidable pour debunker les enormités qu’on croise sur les sites de pseudo-sciences et les abus des etudes a faible portée. Mais c’est deja difficile de faire evoluer les mentalites chez les profanes (changements climatiques, inocuite des vaccins…), et la, vous leur donnez tout l’argumentaire pour ne croire aucun resultat qui ne leur conviendrait pas… Parce qu’ils ont leur gros bon sens.
« Les statistiques ne devraient jamais remplacer le gros bon sens »
Je parle ici de gros bon sens scientifique, en particulier en ce qui concerne la pertinence clinique des résultats (ex. NNT, taille de l’effet, etc.).
« La variance de Furoncle-Davis est peut-etre un tres bon test. C’est l’interpretation qui peut etre critiquable. »
Oui c’est bien ce que je dis dans la BD.
Ayant travaillé dans l’industrie pharmaceutique quelques années, je suis très familier avec les stratégies que cette dernière utilise pour faire parler les statistiques plutôt que le « gros bon sens ». Scientifique.
Je suis le premier à appuyer tous mes propos avec des données probantes : http://lepharmachien.com/tlmep/
Merci pour ton commentaire et A+!
Olivier
… mais j’ai quand même modifié la phrase pour « le sens critique » 😉
Merci Julien !
Olivier
Salut Olivier,
Je voulais te remercier pour tes articles des plus intéressants.
Ma conjointe travaille pour un CRO et fait de la recherche clinique depuis plus de 15 ans (CA, CRA, Clinical Lead) et malgré que les compagnies pharmaceutiques font beaucoup d’argent, les protocoles d’études sont très strictes. La FDA et Santé Canada sont très pointilleux sur les détails.
J’adore « spammer » les sceptiques avec tes acticles 🙂
Je détese les sites de désinformation (pas besoin de les nommer), mais étant moi même en informatique, je sais que le sensationnalisme est payant.
Lâches pas 🙂
C est valide pour toutes les sciences?? Meme pour les etudes qui demontrent un consensus?? Comme la climatologie?
Un consensus n’est pas une « étude ».
C’est une réflexion critique d’un groupe d’experts qui considèrent la totalité des études sur un sujet donné. Comme dans le cas des changements climatiques.
Olivier
Bonjour Olivier,
En parlant des « études scientifique » qui sont d’un sérieux plus que douteux et qui, en plus, (croisement de sujet ici) remettent en question l’efficacité de la vaccination (oui, encore!), que penses tu de la FAMEUSE étude allemande Kiggs ?
J’adore ton travail, je suis une fan et je bombarde les gens qui répandent des faussetés avec tes articles en souhaitant qu’ils et elles développent un peu leur sens critique ! 😉
Allo Marie-Soleil !
Merci pour les bons mots !
Cherche le mot « Kiggs » sur la page suivante : http://lepharmachien.com/vaccins/. Beaucoup de commentaires intéressants à ce sujet.
A+!
Olivier
[…] Le brillant Pharmachien explique ainsi mieux que quiconque Comment faire dire tout ce qu’on veut à une étude clinique […]
Lire ceci m’a donné des flashbacks post-traumatiques de discussions avec des « Flat-Earthers ». Oui, oui, ils existent – en grand nombre même! Vrai, on peut faire tout dire à une étude mais on peut aussi faire tout dire par le biais de la [pseudo] science, surtout quand on y connaît absolument rien mais qu’on se croit tout de même « expert » en la matière (tsé avec un beau secondaire 5 et une job de flippeux de burger chez McDo…). Je les vois étaler leur ignorance absolue sur l’internet à gauche et à droite, et c’est pire encore quand des « vedettes » s’en mêlent. Ils sont de vrais pros à aller chercher seulement les éléments qui font leur affaire dans les dires et les recherches de scientifiques, toujours pris hors-contexte, pour formuler des conclusions complètement farfelues. Tu présentes à ces gens les vrais faits de la réalité tels qu’ils le sont et tu te fais aussitôt étiqueté comme vendu aux dogmes de la science, source infinie de mensonges et de conspirations mondiales selon eux. Bien sûr, ils ont toutes sortes notions pseudo-scientifiques ou carrément magiques pour expliquer leur Terre en forme de frisbee qui ne font aucun sens et toutes non prouvées ni observés, mais apparemment c’est plus rationnel ça que de croire la réalité, un non-sens.
[…] et comment débusquer ces façons de faire. L’équivalent de cette pause peut être consulté sur cette page du site du […]
Un gros merci pour l’émission sur « Les Gros Méchants OGM ». Ça fait 30, 40 ans qu’on mange des « OGM » en Amérique du Nord. Combien d’études les anti/pro- OGM ont-ils publiées prouvant leur toxicité par la croissance des cancers ou des déformations à la naissance des Nord-Américains… Ça me rappelle une étude scandinave démontrant l »absence d’effet des ondes radio des cellulaires au sujet des cancers du cerveau après des décennies d’utilisation. Pourquoi les journalistes n’enquêtent pas sur le sujet? Pas besoin d’être scientifique pour prouver la toxicité ou pas des nouvelles technologies… de la paresse? de la peur? Demandez donc cher « Pharmachien » à vos consœurs et confrères d' »Enquête »
Salut Serge !
C’est peut-être juste moi, mais j’ai de la difficulté à saisir si ton commentaire est ironique ou non. Merci de préciser pour que je puisse te répondre plus en détails.
A+!
Olivier