L’utilisation de la bibliométrie dans l’évaluation de la recherche en Comptabilité – Contrôle – Audit A la recherche d’indicateurs quantitatifs

CONTRIBUTION DES SUPPORTS A LA RECHERCHE

Parmi les entités étudiées dans les recherches utilisant la bibliométrie, les supports et en particulier les revues, tiennent une place particulièrement importante. En effet, les revues sont très souvent considérées comme l’unique, ou du moins le plus reconnu, support de production académique. Parce que les supports servent généralement à évaluer la production scientifique des chercheurs et indirectement des institutions, il convient de s’intéresser à leur contenu en termes de production (1.1.). Certains auteurs ont par ailleurs utilisé la bibliométrie comme outil d’aide à la sélection et au classement des supports s’attachant à montrer l’influence de ces supports (1.2.). Enfin, une autre catégorie d’études cherchant à dépasser l’objectif de sélection, ont cherché à évaluer le profil des supports influents (1.3.)

L’EVALUATION DE LA PRODUCTION DES SUPPORTS

Comme nous l’avons évoqué en introduction, le nombre de publications dans les supports étudiés selon plusieurs critères est le principal indicateur utilisé quant il s’agit d’évaluer la production des supports. Parmi les études de production des supports, nous pouvons opérer une distinction entre les études de production relatives à un support unique et les études de production relatives à plusieurs supports simultanément. Globalement, ces études s’intéressent tant à l’identification des auteurs des publications selon plusieurs critères qu’à la couverture thématique des supports étudiés. L’analyse de la production dans les supports, principalement de revues, permet d’identifier les caractéristiques des auteurs (1.1.1.) et des articles (1.1.2.).

Les caractéristiques des auteurs des articles d’un support
Pour rendre compte des caractéristiques des auteurs publiant dans les supports, les études antérieures se sont basées principalement sur deux indicateurs à savoir :
– le nombre d’articles par auteur ;
– le nombre d’auteurs par article.
Le premier indicateur permet de déterminer la contribution en termes de production des différents auteurs à la revue (Chung, Pak et Cox, 1992 ; Needles, 1997 ; Gosselin, 2005). Dans cet objectif de mesure d’une contribution, le nombre d’articles est généralement pondéré par le nombre d’auteur du même article. Le second indicateur permet, quant à lui, de rendre compte de la pratique de co-signature (ou co-écriture) (Gosselin, 2005).
Le nombre d’articles par auteur permet indirectement de déterminer le nombre d’articles selon plusieurs critères relatifs à leur origine qu’elle soit géographique ou institutionnelle (Needles, 1997).

Les caractéristiques des articles publiés dans un support
Les caractéristiques des articles publiés dans les supports ont également fait l’objet de nombreuses études. Les principaux critères utilisés sont le sujet de recherche (Sundem, 1987 ; Smith et Krogstad, 1991 ; Needles, 1997), le thème de recherche (Sundem, 1987 ; Gosselin, 2005), la méthode utilisée (Dyckman et Zeff, 1984 ; Sundem, 1987 ; Smith et Krogstad, 1988 ; Needles, 1997 ; Bhimani, 2002), le champ de recherche (Needles, 1997).

L’EVALUATION DE L’INFLUENCE DES SUPPORTS

Pour évaluer l’impact autrement dit l’influence de certains supports, les études antérieures ont envisagé deux méthodes possibles à savoir :
-l’analyse citationnelle ;
-l’enquête de qualité par le biais de questionnaire.
Ces deux types d’étude se basent sur le nombre de fois où les supports sont cités selon plusieurs critères. Les supports peuvent être cités dans les références bibliographiques des articles (1.2.1.) ou cités par les chercheurs dans leurs réponses à des questionnaires interrogeant sur la qualité des revues (1.2.2.).

Analyse citationnelle des supports

L’évaluation de l’impact autrement dit l’influence des supports tels que les revues, les ouvrages ou autres publications a été étudiée à maintes reprises en utilisant l’analyse citationnelle.
Il convient de préciser que les auteurs assimilent souvent les études d’influence à des études de qualité. Pourtant les études d’influence mesurent davantage la notoriété que la qualité des supports. L’hypothèse faite par les auteurs est la suivante : les revues le plus souvent citées sont très souvent des revues de qualité. L’indicateur utilisé est alors le nombre de citations par type de support, s’il s’agit de déterminer les catégories de support influents (Smith et Krogstad, 1984 ; Beattie et Ryan, 1991 ; Charreaux et Schatt, 2005b), et le nombre de citations par revue s’il s’agit d’établir une liste de revues influentes (Smith et Krogstad, 1984 ; Hasselback et Reinstein, 1995).

Etude de perception de la qualité des revues

Le deuxième type d’étude consiste à sonder les chercheurs sur leur perception de la qualité de certains supports par le biais d’un questionnaire. Aucune étude de ce genre n’a, à notre connaissance, été menée en France. Il conviendrait d’interroger les chercheurs francophones sur la perception qu’ils ont de la qualité de plusieurs revues. Ce type d’étude est réalisée par le biais d’un questionnaire adressé principalement à des chercheurs, des directeurs d’institutions et parfois même à des professionnels. La qualité des revues qu’il s’agit de classer est mesurée par un score déterminé grâce à une échelle de Likert de longueur variable. Plusieurs critères sont dès lors utilisés. Les indicateurs les plus utilisés sont le score de qualité déterminé par revue et en fonction des caractéristiques propres aux répondants à savoir leur domaine de recherche, leur spécialité, leur formation, leur grade, leur qualité (Benjamin et Brenner, 1974 ; Weber et Stevenson, 1981 ; Howard et Nikolai, 1983 ; Hull et Wright, 1990 ; Brown et Heufner, 1994 ; Lowe et Locke, 2005).Si l’objectif des études précédentes est principalement de classer les revues en fonction de leur influence auprès de la communauté des chercheurs, et d’autres publics, ces études servent également de base à d’autres recherches s’intéressant au profil des revues reconnues comme influentes dans une optique de benchmarking.

L’EVALUATION DU PROFIL DES SUPPORTS INFLUENTS

Cette troisième catégorie d’étude s’intéresse alors aux caractéristiques des auteurs (1.3.1.) et à celles (1.3.2.) des articles publiés dans les revues influentes

Profil des auteurs des articles publiés dans les supports influents

Les principales caractéristiques des auteurs identifiés dans les études de profil trait à :
– L’origine institutionnelle des auteurs (Prather-Kinsey et Rueschhoff, 1999 ; Buchheit, Collins et Reitenga, 2002 ; Rougès, 2005);
– L’origine géographique des auteurs (Lukka et Kasanen, 1996 ; Carmona, Gutièrrez et Camara, 1999 ; Rougès, 2005).

Profil des articles publiés dans des supports influents

Si les études bibliométriques à travers l’examen des productions académiques permettent d’établir le profil des auteurs des articles (comme nous l’avons évoqué dans le paragraphe précédent), elles peuvent également permettre de rendre compte des caractéristiques des articles en termes de sujet, d’objet, de champ, de discipline, de thème et de méthode de recherche et de sources (Lukka et Kasanen, 1996 ; Prather et Rueschhoff, 1996 ; Shields, 1997 ; Prather-Kinsey et Rueschhoff, 1999 ; Buchheit, Collins et Reitenga, 2002 ; Rougès, 2005).