Critique de la bibliométrie comme outil d'évaluation; vers une approche qualitative.

The evaluation of the researchers is a problem we are facing at present times. Bibliometric methods use mainly statistical tools, consequently, this approach
does not provide any tools of qualitative evaluation.
Bibliometry is a quantitative evaluation of literature.
Numerous studies contributed to the advance of this science
and to the discovery of indicators allowing to estimate the productivity of a researcher, a country or an institution. So, we suggest to examine the specific details of the bibliographic references in the texts. Our hypothesis is that by locating the indicators in corpus we will provide
sentences localization with linguistics clues. These
specific linguistic units, using the method of contextual exploration, give us opportunities to annotate articles with information about citation. We uses the contextual
exploration method, a linguistic approach, which
allows us to annotate automatically the text. Contextual
Exploration, proposed and developed by Jean-Pierre
Desclés and LaLICC group, is based upon the observation that it is possible to identify specific semantic information contained in certain parts of text. This approach does not depend on the specific domain of articles. Furthermore,
we will resolve the limitation of statistical method,
related to a possible distortion resulting from the negative
citation of authors.The informatic application of this study will be integrated into the platform EXCOM
(EXploration COntexuel Multilingue). We demonstrated
that it was possible to identify and to annotate the
textual segments from bibliography. Furthermore, through this linguistic study of the textual segments, we identified and categorized linguistics clues. The annotation of these linguistics clues facilitates automated processing within
the frame of the contextual exploration method
implemented in the platform EXCOM. This phase
allows us to qualify the relations between the author, the coauthors and also the bibliography. It is possible to
classify citation according to a qualitative approach and it is offering a better use of the bibliography.
1. Les outils bibliométriques
Si l’évaluation de la science et de la production
scientifique des chercheurs est un débat récurrent,
il est de plus en plus présent ces dernières années.
L’approche bibliométrique est la plus développée pour ne pas dire la seule. On pourra citer les écrits de Bradford, Lotka, Zipf et des travaux portant sur l’unification de ces lois. Nous pouvons également présenter les calculs des distributions à travers les mesures de concentration
ou l’entropie de Shannon. Ces méthodes sont
principalement issues de l’univers des statistiques et des grands nombres. Au-delà de l’aspect théorique des
distributions bibliométriques, nous pourrions citer un homme, Eugene Garfield, qui à travers son article
« Citation indexes of science : a new dimension in
documentation throught association of ideas » a proposer
un outil dévaluation de la science connu sous le nom de Facteur d’Impact. Afin de montrer l’importance de
disposer d’un tel outil, nous présenterons deux catégories
d’indicateur et leur utilité: les indicateurs univariés et les indicateurs relationnels.
Les indicateurs univariés permettent avant tout d’évaluer
la productivité d’un chercheur, d’un laboratoire, d’un
domaine ou bien d’un pays. Cependant, cet indicateur reste
déconseillé au niveau de l’individu. Les quantités
mesurables peuvent être le nombre de publications, le nombre de co-signatures et co-publications, le nombre de citations qui montrent l’impact des articles cités. Les liens scientifiques des citations montrent le rapport
d’influence entre communautés scientifiques. Nous
retrouvons ici le fameux facteur d’impact proposé par
M. Garfield et qui est utilisé par l’Information Science
Institute. Enfin, le nombre de brevets ainsi que les citations de brevets sont également des indicateurs d’inventivité, d’innovation et de capacité technologique montrant le résultat des ressources investies dans les activités de
recherche et développement.
Les indicateurs relationnels sont principalement les
co-citations et les co-occurrences de mots. Les co-citations présentent les réseaux thématiques et l’influence des auteurs. L’indice d’affinité mesure les liens entre les pays en calculant le taux relatif des échanges scientifiques
entre deux pays de masse scientifique comparable,
pendant une période donnée par rapport à l’ensemble de la coopération nationale de ces deux pays. L’utilisation
des citations ou des co-auteurs permet de proposer
des relations entre auteurs sous forme matricielle afin d’obtenir des réseaux.
2. Les limitations de l’outil
La bibliométrie apporte donc une mesure des activités
de recherche, mais un ensemble de limites
d’ordre technique et conceptuel ne permet pas l’utilisation
à l’unanimité des indicateurs correspondants. Nous
relèverons les biais suivants: actuellement, seul le premier
auteur est pris en compte. Il faut également considérer les fautes de frappe et l’homonymie. Les domaines sont inégalement représentés et les indicateurs s’appliquent très difficilement pour les sciences humaines et sociales. Toutes les revues ne sont pas recensées et pour celles qui le sont, il peut y avoir sur ou sous-estimation de la
revue et donc des travaux et des équipes. On notera que l’autocitation ou la citation d’un article controversé n’est pas abordé par l’approche statistique. De plus, les ouvrages ne sont pas pris en compte. Nous pouvons aussi constater que deux ans ne suffisent pas pour qu’un article se révèle or il s’agit de la durée retenue pour le calcul du facteur d’impact.
Si les journaux en science de l’information s’intéressent naturellement à cette problématique, nous constaterons
que cette question touche des domaines qui dépassent ce cadre. Garfield mentionnera par la suite : « I first
mentioned the idea of an impact factor in 1955. At that time it did not occur to me that it would one day become the subject of widespread controversy. [...] I expected that it would be used constructively while recognizing that in the wrong hands it might be abused ». On peut non
seulement affirmer que les moyens actuels ne permettent
pas d’identifier la valeur d’un papier. Mais qu’elle
conduit à des pratiques qui peuvent mettre en péril la qualité
des articles. Les conséquences ne sont pas sans
importance. Cela peut provoquer des comportements
antiscientifiques comme le plagiat, la publication dans une revue où le FI est élevé plutôt que dans une revue adéquate ou bien encore de diviser les données en partie
ridiculement petites. Nous sommes dans l’ère du « publier ou mourir ». De ce déclin de la diversité, nous risquons d’avoir à moyen terme une recherche homogène. Si les articles pointant du doigt les biais introduits par cette
méthode d’évaluation sont de plus en plus nombreux, ils ne proposent cependant guère de solutions innovantes, seulement de nouvelles approches statistiques permettant de minimiser les biais introduits.
Il est difficile de mesurer la qualité d’une production scientifique car la bibliométrie, et plus spécifiquement
les indicateurs, caractérisent le contenant et non le contenu. Ils sont des mesures et non des signes précieux de la qualité de la recherche. Si la bibliométrie rajoute de la valeur à la vue des pairs, elle ne peut que difficilement les remplacer. Ce débordement, en dehors des canaux de communication classique n’est-il pas le signe précurseur que l’hégémonie du FI de ces cinquante dernières années a vécu et qu’il est désormais nécessaire de passer d’une évaluation quantitative à une évaluation qualitative de la publication scientifique.
3. Une approche qualitative
Une nouvelle approche de cette problématique doit être envisagée. Nous devons désormais nous
intéresser à l’auteur, à ces co-auteurs et également au contenu
d’un article selon une approche qualitative. Pour cela, une réflexion sur l’étude des publications doit être entreprise. Sans prétendre fournir un traitement sémantique complet d’un article scientifique, nous pourrons dans un premier temps considérer les relations sémantiques entre l’auteur, les co-auteur et les références bibliographiques. Il serait tout à fait pertinent de savoir si un article est cité de façon positive ou négative. Une référence bibliographique citée en contre-exemple est tout à fait révélatrice des relations entre les travaux des chercheurs. Il peut s’agir entre autre
d’une référence par rapport à une définition, une
hypothèse ou bien une méthode, mais également
d’un point de vue, d’une comparaison ou bien d’une
appréciation. Cette approche permettra également de mettre
en évidence l’autocitation. La méthode de l’Exploration
Contextuelle va permettre, à l’aide d’une étude
poussée des indices, une analyse plus fine des références
bibliographiques.
De l’importance des références bibliographiques.
Nous nous proposons d’utiliser les renvois
bibliographiques d’un article afin de déterminer
des segments textuels sur lesquels nous pourrons
appliquer la méthode d’exploration contextuelle. L’appel de citation dans un texte peut prendre différentes formes. Il peut s’agir principalement d’un renvoi numérique ou d’un renvoi par nom d’auteur. Pour cela, nous dresserons une classification des différentes familles numériques et alphanumériques des références bibliographiques. Afin de traiter automatiquement cette tâche d’identification et d’extraction, nous pourrons par exemple définir un alphabet adéquat permettant d’appliquer au corpus un automate fini déterministe. Cette extraction va nous
permettre dans un premier temps d’étiqueter le corpus, puis de dresser des listes d’auteurs, de renvois ainsi qu’une bibliographie complète de l’auteur et de ces
co-auteurs. Il sera également intéressant, dans notre
approche qualitative, d’établir les relations entre les
renvois bibliographiques et la bibliographie.
Approche linguistique et Exploration Contextuelle.
Suite à l’identification des appels bibliographiques,
nous pourrons alors proposer une annotation de
celles-ci avec une catégorie afin de définir comment l’auteur
a été cité. Cette catégorisation est définie par l’étude d’indice que nous relèverons dans la phrase. Nous
rechercherons les indices positifs/négatifs de citation d’un auteur, ainsi que les citations hypothèses/méthodes
utilisées par un auteur. L’application des règles de
l’Exploration Contextuelle permettra ainsi de lever les
indéterminations sémantiques de l’unité linguistique analysée. On caractérisera ce point de vue comme étant
une catégorisation sémantique des références de
citation d’auteur. L’application informatique de cette étude s’effectue dans le cadre de la plateforme EXCOM (Exploration Contextuelle Multilingue) qui est en cours
de réalisation au sein du Laboratoire LaLICC. Ce
moteur d’annotation sémantique s’appuie sur la méthode
de l’Exploration Contextuelle et permet d’étiqueter
automatiquement un texte à partir de ressource linguistique. Nous serons alors en mesure d’apporter une information d’ordre sémantique et à terme de proposer une évaluation
qualitative des renvois bibliographiques. Enfin cette
approche proposera de dépasser le cadre bibliométrique
pour analyser les sources d’un texte et détecter
d’éventuelles cliques entre auteurs au sens de la théorie des graphes.