Modélisation d’expertise scientifique pour la constitution de comités de programme

Scientométrie et informatique pour caractériser l’expertise

La scientométrie est l’étude quantitative de la science et de l’innovation (Leydesdorff & Milojević, 2015). Nombre d’ouvrages de vulgarisation emploient scientométrie, bibliométrie et infométrie de manière interchangeable (De Bellis, 2009, p. 5) et ces derniers sont souvent considérés comme synonymes (Larivière, 2015, p. 27). L’institutionnalisation de la scientométrie comme discipline scientifique remonte aux années 1950 (D. J. Price, 1951). La scientométrie mesure et analyse la science pour comprendre, notamment, comment celle-ci se structure et évolue. Elle s’appuie sur la définition et l’analyse d’indicateurs quantitatifs valorisés en observant les activités de la recherche. Cette thèse exploite le même matériau que les méthodes scientométriques. C’est pourquoi nous la lions à la scientométrie, introduite dans la section 4.2. Différents travaux dans le domaine de l’informatique s’appuient sur les contributions issues de la scientométrie (Cabanac, 2016). Nous détaillons plus particulièrement les travaux en lien avec la notion d’expertise ou de réputation dans la section 4.3. Récemment, la   composition des comités de programme de conférences a suscité l’intérêt de la communauté informatique, comme illustré dans la section 4.4. 

Point de vue scientométrique 

La scientométrie s’est attachée à mesurer la science à différents niveaux tels que les auteurs, les revues, les institutions ou encore les pays. Les publications — et notamment les citations qu’elles véhiculent — constituent le matériau d’une grande partie des travaux (De Bellis, 2009). De nombreux indicateurs quantitatifs issus des activités de la recherche ont été définis et analysés pour répondre à différentes questions concernant la structuration et l’évolution de la recherche (Todeschini & Baccini, 2016). Par exemple, Leydesdorff et Rafols (2011) se sont intéressés à la définition d’indicateurs pour mesurer le degré d’interdisciplinarité dans les revues. Des indicateurs de notoriété célèbres ont été proposés, comme le h-index au niveau auteur (Hirsch, 2005) ou le facteur d’impact (journal impact factor) au niveau des revues (Garfield, 1955, 2006). Par ailleurs, Bouyssou et Marchant (2011) ont, par exemple, analysé différentes mesures de classement des auteurs et de leurs départements universitaires. Les résultats montrent la nécessité d’utiliser une mesure adaptée à chaque niveau. Marchant (2009), qui a analysé différentes mesures de classement d’auteurs de publications, suggère par exemple d’utiliser celle qui correspond le mieux au problème considéré. Wildgaard (2015) a comparé 17 indicateurs au niveau auteur et souligné que de nombreux facteurs influençaient les résultats, comme la couverture des travaux dans les bases bibliographiques. La visibilité dans la base peut être très différente de la visibilité au sein de la communauté. L’utilisation d’indicateurs scientométriques en dehors de leur cadre de définition reste par conséquent délicate (Leydesdorff, Bornmann, Comins & Milojević, 2016). Dans ce contexte, l’utilisation de la scientométrie dans un but d’évaluation de la recherche suscite de nombreuses mises en garde (Billaut, Bouyssou & Vincke, 2010 ; Gevers, 2014 ; Gingras, 2014). La comparaison des chercheurs à l’aide d’indicateurs qui n’ont pas été définis pour cet objectif demeure très controversée. Au-delà de la définition d’indicateurs, de nombreuses problématiques intéressent la scientométrie dans sa compréhension du fonctionnement de la recherche (Cabanac, 2015). Parmi ces problématiques, certains travaux se sont intéressés aux conférences 

De la scientométrie à l’informatique scientifiques 

 — Bartneck et Hu (2009) ont présenté une étude scientométrique de la conférence CHI en informatique (Computer-Human Interaction). L’étude portait sur l’évolution d’un certain nombre d’indicateurs tels que le nombre d’articles, le nombre de pages par article, le nombre d’auteurs ou encore le h-index des organisations associées aux publications ; — Sakr et Alomari (2012) se sont intéressés aux conférences prestigieuses dans le domaine des bases de données, soulignant au passage l’intérêt de ce type de conférences pour les chercheurs en informatique. L’étude portait sur l’évolution des comités de programme des quatre plus prestigieuses conférences du domaine en termes de taille des comités notamment en rapport avec le développement de la communauté, en termes de chevauchement des comités de programme ou de renouvellement de ces comités. Les résultats ont montré une forte dynamique de ces conférences durant la période étudiée ; — Küngas et al. (2013) ont étudié des classements des conférences pour évaluer à quel point ils étaient fondés sur des critères objectifs, comme le taux d’acceptation. L’application de méthodes d’apprentissage suggère que le taux d’acceptation est un indicateur pertinent pour prédire le classement d’une conférence. Il est cependant préférable de le combiner à des indicateurs bibliométriques (comme le nombre de citations des articles de la conférence) pour identifier les conférences les mieux classées ; — dans le cadre d’un volume sur les contributions séminales à l’ingénierie des systèmes d’information, Jarke, Pham et Klamma (2013) font montre de réflexivité en analysant l’évolution de la communauté CAiSE (Conference on Advanced Information Systems Engineering) à l’aune des thématiques et des réseaux de cosignataires ; — Kergosien, Bessagnet, Sallaberry, Le Parc-Lacayrelle et Royer (2016) ont davantage orienté leur étude de l’évolution de la communauté nationale EGC suivant des aspects spatio-temporels liés aux affiliations des auteurs. 

Un certain nombre de travaux avec des objectifs très différents s’appuient sur des préoccupations ou des contributions issues du domaine de la scientométrie.  Y. Chen, Wei, Wu et Hu (2006) se sont par exemple focalisés sur la recherche de documents similaires au sein d’une base bibliographique telle le Web of Science. Une mesure de similarité entre documents est proposée, prenant en compte à la fois le texte et les citations des notices bibliographiques. Les listes de références des documents sont considérées comme des listes d’items pondérés. La similarité entre deux documents prend en compte les références communes. Zhuang, Elmacioglu, Lee et Giles (2007) indiquaient le rôle majeur des conférences dans le domaine de l’informatique (voir aussi J. Chen & Konstan, 2010 ; Freyne, Coyle, Smyth & Cunningham, 2010). Face à la prolifération des conférences, un constat était qu’il devenait de plus en plus difficile d’évaluer la qualité d’une conférence. L’article propose un ensemble d’heuristiques pour identifier automatiquement le niveau d’une conférence en collectant des caractéristiques relatives aux membres de comités de programme. Cette fouille se basait sur des indicateurs tels que le nombre moyen de publications ou de co-auteurs des membres de comités de programme, leur visibilité ou encore leur influence. Wang, Tong et Zeng (2013) ont proposé une approche pour classer des articles suivant leur prestige estimé. L’approche se base sur un graphe hétérogène exploitant différents types d’information comme les citations, les auteurs, ainsi que les conférences et revues. Elle s’appuie sur une combinaison des algorithmes PageRank et HITS ainsi que deux stratégies de prise en compte du temps pour l’estimation du prestige futur des articles. Les expérimentations menées sur deux collections (ArXiv KDD Cup 2003 et CORA) ont montré des résultats encourageants. Vasilescu, Serebrenik, Mens, van den Brand et Pek (2014) se sont intéressés aux conférences en génie logiciel, en proposant des indicateurs pour mesurer leur « bonne santé ». Il s’agissait de mesurer la stabilité de la communauté, l’ouverture aux nouveaux auteurs ou encore la représentativité du comité de programme. L’étude des conférences a montré des disparités entre les conférences sur certaines mesures. Avin, Lotker, Peleg et Turkel (2015) ont étudié douze ACM/IEEE conférences pour vérifier s’il pouvait exister un biais dans la sélection des articles lié aux articles soumis par des collaborateurs passés des membres des comités de programme. L’approche s’est basée sur la construction d’un réseau social par édition de conférence, rassemblant les individus impliquées dans l’édition de la conférence (auteurs et membres de comité de programme). Les analyses effectuées pour les douze conférences ont montré globalement une certaine équité, même si des biais étaient ponctuellement constatés