Transparence dans l'évaluation par les pairs : comment la mettre en œuvre sans chaos
1. Le courriel qui a révélé une mauvaise pratique
Histoire inspirée d'un cas réel répertorié dans la base de données COPE ; les noms et les détails ont été modifiés.
Ernesto, un évaluateur chevronné, a retrouvé un paragraphe de sa propre plume – mot pour mot – dans un article publié six mois plus tard. Il a découvert que l’auteur avait copié l’évaluation anonyme qu’il avait reçue d’une autre revue. Ce cas, documenté par COPE (2023), a relancé le débat sur le manque de transparence du processus.
1.1 Pourquoi tant de gens se méfient-ils de l'évaluation par les pairs à l'aveugle ?
- Manque de responsabilité : un relecteur négligent peut bloquer un article sans justification.
- Biais caché : les études publiées dans PLOS ONE montrent une moindre acceptation des auteures dans certaines disciplines lorsque le processus n’est pas mené en double aveugle.
- Plagiat inversé : comme dans le cas d’Ernesto, l’auteur réutilise des commentaires ou des idées.
2. Taxonomie des modèles d'évaluation par les pairs ouverts
Modèle | Identité du réviseur | Publication du rapport | Exemples d'utilisation |
Commentaires après publication | Révélé | Commentaires du public | Recherche F1000 |
Rapports publiés, relecteur anonyme | Caché | PDF avec avis | BMJ Open , eLife |
Identités ouvertes + rapports | Révélé | PDF avec avis | Communications de la nature |
Évaluation collaborative par les pairs | Collaboratif | Historique des modifications | Frontières |
3. Transparence dans l'évaluation par les pairs, avantages mesurables
- Téléchargements supplémentaires de données supplémentaires : +18 % (Figshare 2024).
- Réduction des plaintes formelles : de 12 à 3 par an dans le Colombian Journal of Chemistry après la publication des rapports.
- Augmentation de la longueur moyenne des commentaires : +150 mots dans l'indice pilote, 2024.
4. Risques et contrepoids
Risque | Impact potentiel | Contre-mesure |
Évasion des inspecteurs | baisse de 10 à 15 % | Option d'anonymat facultative |
Diffamation ou calomnie | Légal | Modération automatisée + clause de retrait |
Surcharge éditoriale | Au fil du temps | L'index vous permet d'ajouter facilement le rapport d'évaluation en tant que fichier supplémentaire ; l'attribution d'un DOI est facultative et dépend de la politique de chaque revue. |
5. Plan progressif sur 6 mois
- Mois 1 – Diagnostic culturel : enquête auprès des auteurs, des relecteurs et des lecteurs sur l’ouverture d’esprit.
- Mois 2 – Document de politique : définit quels rapports seront publics et sous quelle licence.
- Mois 3 – Projet pilote dans un numéro spécial : inviter des relecteurs avec un bonus de visibilité.
- Mois 4 – Intégration technique : activer l’option « publier le rapport » dans Index.
- Mois 5 – Évaluation des indicateurs : temps de révision, longueur du rapport, satisfaction.
- Mois 6 – Mise à l’échelle : étendre au reste du magazine si les indicateurs clés de performance s’améliorent de ≥ 10 %.
6. Outils qui facilitent la transparence
- Crédit d'évaluation par les pairs ORCID : enregistre l'activité et encourage la signature.
- Déclaration de Scite.ai : Consultez les principales affirmations et vérifiez les références citées.
- Crossmark + DOI de la revue : relie l’article à son historique de revues.
7. Étude de cas approfondie : Revues de soins infirmiers
Données synthétisées à partir de deux revues de soins infirmiers ayant adopté l'évaluation par les pairs ouverte.
Après une phase pilote de 12 mois :
- Le délai moyen d'examen n'a augmenté que d'un jour (de 26 à 27) malgré des rapports plus longs.
- Le taux d'acceptation final a baissé de 2 %, reflétant une plus grande rigueur.
La satisfaction des auteurs est passée de 3,8 à 4,4/5 dans une enquête interne.
8. FAQ
Puis-je commencer par publier simplement les rapports des rédacteurs ou le résumé du processus d'évaluation ?
Oui. Certaines revues commencent par une « note de l’éditeur » expliquant le processus d’évaluation. C’est un premier pas vers la transparence sans compromettre l’intégrité des évaluateurs.
Que se passe-t-il si les évaluateurs ne souhaitent pas que leur identité soit publique ?
Pas de problème. Vous pouvez proposer l'option de l'anonymat. L'important est de publier le contenu de l'évaluation, et non nécessairement le nom de l'auteur.
La publication des rapports a-t-elle une incidence sur le facteur d'impact ?
Non. Tant que les rapports possèdent un DOI distinct et ne sont pas indexés comme articles scientifiques, ils n'affectent pas des indicateurs tels que le JIF.
Quelle licence est recommandée pour les rapports d'évaluation ?
La pratique la plus courante consiste à utiliser une CC-BY pour autoriser la réutilisation avec attribution. Si le relecteur souhaite davantage de confidentialité, une licence CC-BY-NC , ou aucune licence libre ne peut être attribuée.
Les relecteurs accepteront-ils toujours de participer si leur évaluation est publiée ?
En général, oui. Certains y voient même un avantage car cela leur permet de mettre en valeur leur travail. Vous pouvez les y encourager en enregistrant leur évaluation sur ORCID.
Cela augmente-t-il significativement la charge de travail éditoriale ?
Pas nécessairement. Index vous permet d'inclure facilement des rapports en tant que fichiers supplémentaires et, si vous le souhaitez, de générer un DOI pour les lier à l'article.
Quels avantages spécifiques ont été observés dans d'autres revues ?
Des commentaires plus détaillés, moins de plaintes de la part des auteurs et une perception accrue d'équité dans le processus. Dans plusieurs programmes pilotes, une amélioration de la qualité des évaluations a également été observée.
Dois-je l'appliquer à tous les articles ou puis-je le faire seulement dans certains cas ?
La transparence peut être mise en œuvre progressivement : commencez par un numéro spécial, des articles invités ou une sélection de manuscrits. Évaluez ensuite la situation et décidez s’il convient de l’étendre.
Que se passe-t-il si un avis contient des erreurs ou un langage inapproprié ?
La rédaction a toujours le dernier mot. Vous pouvez modifier ou modérer les commentaires avant leur publication. Vous pouvez également supprimer un signalement s'il enfreint les règles déontologiques.
9. Conclusion pratique
L'évaluation par les pairs ouverte n'est pas une mode passagère, mais une évolution nécessaire vers une science plus transparente et fiable. Sa mise en œuvre, si elle est réalisée de manière progressive, avec une politique claire et un soutien technique adéquat, ne crée pas de chaos. Il en résulte une plus grande rigueur, une reconnaissance accrue pour les évaluateurs et une confiance renforcée des auteurs. C'est un investissement stratégique dans la qualité et la réputation éditoriale.
Vous souhaitez évaluer la faisabilité de l'évaluation par les pairs ouverte dans votre revue ? Réservez une démonstration de 20 minutes avec Index et recevez un rapport comparatif incluant des indicateurs de revues similaires.