La science invisible (ou que faire des résultats négatifs ?)

#4・
6

éditions

Abonnez-vous à ma lettre

By subscribing, you agree with Revue’s Conditions d'utilisation and Politique de confidentialité and understand that Grand Labo : le debrief will receive your email address.

Mathieu Rouault
Mathieu Rouault
Bienvenue aux nouvelles abonnées et aux nouveaux abonnés ! Dans cette newsletter, je propose un débrief de l'émission du mardi et je partage quelques liens qui m'ont paru intéressants. Vous pouvez vous abonner à la chaine et rejoindre le serveur Discord de Grand Labo pour continuer la conversation, si le cœur vous en dit !

Cliquez sur l'image pour regarder le replay de l'émission
Cliquez sur l'image pour regarder le replay de l'émission
[Débrief] La science invisible
Une partie immense du produit de la recherche scientifique mondiale est chaque année mise à la poubelle. L'assertion semblera excessive. Elle correspond pourtant au sort bien réel qui est fait aux résultats dits “négatifs”, thème de l'émission de mardi.
Qu'est-ce qu'un résultat négatif ? Dans sa définition la plus large, c'est un résultat obtenu par un chercheur qui ne parvient pas au résultat escompté. Mais, remarque Marie-Emilia Herbet, conservatrice des bibliothèques à Lyon 1 et membre du projet DATAAC, cette expression générique peut désigner des situations assez différentes.
Polysémie
Mettons de côté les résultats négatifs dus à une erreur - de manip, par exemple. Le plus souvent, on parle de résultats négatifs dans les cas où une expérience ne valide pas l’hypothèse qu'elle veut vérifier. A l'évidence, de tels résultats méritent d’être partagés avec la communauté scientifique, ne serait-ce que pour éviter que la même étude soit menée par d’autres chercheurs en pure perte de temps.
C’est l’exemple donné par Pierre-Adrien Payard, maître de conférences en chimie à Lyon I. L’un de ses articles les plus cités détaille l’échec d’une manipulation chimique réalisée à l’échelon moléculaire. Comme il l’explique dans l'interview diffusée au cours du live : « les résultats négatifs des uns sont les résultats intéressants des autres ».
Les résultats négatifs peuvent aussi être des résultats « non concluants ». Bien que non satisfaisants, ils ne suffisent cependant pas à écarter définitivement une hypothèse, qui mériterait d’être explorée avec d’autres moyens ou sous un angle différent.
Autre variété : les résultats « dissidents », obtenus par un chercheur qui tente en vain de reproduire à l'identique une expérience menée par un de ses pairs. On rejoint là une autre problématique, celle de la reproductibilité de la science (voir le live consacré à ce thème ici).
Il serait possible d'affiner sans peine la typologie des résultats négatifs. Mais derrière la variété des cas de figure, un même problème se pose, décrit dès 1975 par le psychologue Robert Rosenthal en une expression : le « file drawer problem ». Pour faire simple, les chercheurs sont très réticents à faire connaitre des résultats qu'ils tiennent pour des échecs, et préfèrent les enfouir au fond d'un tiroir.
Les choses ont-elles changé aujourd'hui avec le développement de la science ouverte ? Pas sûr. Dans l'enquête récente de DATAAC sur ce sujet, une très grande majorité des chercheurs sondés se déclarent disposés à publier leurs résultats négatifs pertinents et souhaiteraient accéder à ce type de données. Pourtant, la même enquête révèle que seuls 12% de ces chercheurs avaient publié des résultats négatifs dans un journal à comité de lecture.
Pourquoi un tel décalage ? La réponse est peut-être à regarder en partie du côté de la culture hyper-compétitive de la recherche. Partager ses résultats non concluants, c'est par exemple s'exposer, dans l'esprit de nombreux chercheurs, à se faire “voler” un sujet de recherche par un autre chercheur mieux doté.
Or, observe Sylvain Chabé-Ferret, chercheur en économie à INRAE, cette invisibilisation d'une partie de la science conduit à biaiser les données de champs de recherche entiers. Ce qui peut avoir des effets dramatiques, notamment lorsque ces études fondent des politiques publiques dans les domaines sociaux ou environnementaux. Sous réserve qu'un certain nombre de garde-fous encadrent la diffusion de tels résultats - et éviter notamment la propagation de faux négatifs - la mise en visibilité de cette science des tiroirs paraît capitale.
Espaces de publication
Se pose encore la question de savoir dans quels espaces la partager. Car les revues scientifiques carburent à la nouveauté. Pour la plupart d’entre elles, entre l’article qui présente une découverte, même minime, et celui qui relate l’échec d’une expérience, le choix est vite fait.
Quelques éditeurs ont bien essayé de jouer le jeu, c’est vrai. C’est par exemple le cas de Plos One. Depuis 2006, ce journal en open access a l’ambition de partager toutes les recherches menées dans les règles de l’art, sans prime au scoop scientifique. Dans cet esprit, comme l’explique Yann Benétreau-Dupin, la collection « The Missing Pieces » a été créée en 2015 pour mettre en visibilité quelques résultats négatifs particulièrement intéressants. Mais cette collection ne semble pas très conséquente. D’ailleurs Plos One ne communique pas sur le nombre total d’études présentant des résultats négatifs parues sur son site. Surtout, cette initiative reste marginale : si l’on excepte quelques hors-séries ici et là, les revues et journaux des grands éditeurs privés n'ont pas emboité le pas.
Alors ? Où publier ses résultats négatifs ? Plusieurs revues, le plus souvent thématiques, ont été créées ces dernières années pour les accueillir. C’est le cas de Negative Results. Ce journal, créé par des chercheurs français en sciences du vivant, a été reçu fraichement par la communauté scientifique et n'a pu se développer comme l'auraient souhaité ses fondateurs. L'un d'entre eux, Rémi Thomasson, explique que l’association éditrice est devenue un outil de sensibilisation des chercheurs à ces enjeux. Autre exemple, The Journal of Trial and Error, pluridisciplinaire, s’est lancé dans l’aventure. Selon Valentine Delrue, doctorante en histoire des sciences à l’Université de Gand, le but est de « réduire l'écart entre les recherches qui sont faites et celles qui sont publiées ».
Solutions nouvelles
Aux côtés de ces journaux, des initiatives diverses fleurissent. Gilmary Gallon et Estelle Rascol préparent ainsi la sortie de Gaffex, (Gathering of Fondamental Failed Experiments) une plateforme ouverte dédiée aux expériences « ratées ». Les créateurs de Gaffex promettent que l'on n'y retrouvera que de vrais résultats négatifs, à l'aide d'un peer-reviewing communautaire qui filtrera les faux négatifs. Le projet, annoncé en 2019, doit donner lieu à une première version avant la fin 2022.
De son côté, René Bernard, responsable de l’open science au centre Berlinois Neurocure, propose, avec l’application Fiddle, d’aider les chercheurs détenteurs de données non concluantes à trouver les options de publication les mieux adaptées à leurs travaux. René Bernard fonde aussi beaucoup d’espoirs sur l'utilisation croissante des preprints, où de telles données négatives peuvent être diffusées. Les registered reports sont également une option de plus en plus sérieuse.
Pour partager les résultats négatifs, on peut aussi préférer recourir à des outils existants. Pourquoi pas Github ? C’est l’idée de Sylvain Chabé-Ferret avec le dépôt SKY, dans lequel chaque chercheur en sciences sociales peut téléverser son cahier de laboratoire.
Mais pour lui comme pour d’autres, la publicité des résultats négatifs ne deviendra réalité que lorsque les organismes de recherche et les agences de financement la rendront obligatoire. C’est une exigence notamment éthique, estime Rémi Thomasson, dans tous les cas où les résultats procèdent d’expériences faites sur des animaux. Et, de façon générale, n’est-on pas en droit de demander à des scientifiques travaillant sur fonds publics de publier tous leurs résultats, quand bien même ceux-ci paraitraient à première vue décevants ?
Voilà qui présuppose sans doute une autre culture de la recherche scientifique, dans laquelle excellence rimerait un peu plus avec transparence.
📌 Lu, vu, entendu
Assurer un revenu universel aux étudiantes et étudiants dans le besoin, pourquoi pas ? C'est l'idée, relatée dans le Los Angeles Time, du sénateur californien Dave Cortese, sollicité par un chercheur en sociologie venu lui dépeindre la précarité de ses étudiants.
Il faut préférer la vérité à la précision, selon l'auteur et scénariste Aaron Sorkin. Dans ce billet de blog assez court, mais très intéressant, le chercheur Lance Fortnow se demande si cette remarque est transposable à la communication scientifique.
On apprend dans cette étude de chercheurs de l'Hôpital général du Massachusetts, relayée par Sciences et Avenir, que la dépression favoriserait la croyance aux “fake news” sur le vaccin.
Comment viennent les idées scientifiques les plus disruptives ? Quelques réponses dans ce billet paru mardi dans The Harvard Gazette.
Et aussi
La sortie d'un nouveau média dédié à la science est toujours une bonne nouvelle et, justement, Brief.science se lance. Cette newsletter portée par deux jeunes journalistes se propose “d'approfondir votre culture scientifique, vous permettre de mieux comprendre l'Univers, tout en vous faisant passer un bon moment et en vous surprenant avec les dernières grandes découvertes.” Pour en savoir plus et les soutenir en vous abonnant, c'est ici : https://www.brief.science/
Longue vie à Brief.science !
Longue vie à Brief.science !
🎙 Prochain ép. : Stop Tracking Science !
Mardi prochain, pas de live. Mais j'ai une bonne excuse : je serai en tournage pour finaliser un épisode plutôt cool qui devrait bientôt sortir sur la chaine (je partagerai peut-être quelques photos du tournage sur le Discord).
A la place, je diffuserai un nouvel épisode dans lequel il sera question de la façon dont les éditeurs scientifiques surveillent des chercheuses et des chercheurs. Une manière célébrer le Data Privacy Day avec quelques jours de retard.
A mardi !
Avez-vous aimé ce numéro ? Oui Non
Mathieu Rouault
Mathieu Rouault @grand_labo

Chaque semaine, une synthèse de l'émission du mardi, l'annonce des prochains sujets et des infos en lien avec les thèmes de Grand Labo.

Pour vous désabonner, cliquez ici.
Si on vous a fait suivre cette lettre d'information et que vous l'aimez, vous pouvez vous y abonner ici.
Created with Revue by Twitter.