PLANIFICATION SÉQUENTIELLE D’EXPÉRIENCES

Introduction

La planification d’expériences via l’échantillonnage par hypercube latin (LHS), décrite en section 2.2.1, est une méthode simple et efficace pour définir des plans d’expériences qui explorent l’espace des paramètres. Cependant, il n’est pas possible de savoir si la taille du LHS choisi permettra la construction d’un méta-modèle suffisamment prédictif pour l’application désirée. En effet, outre la méthode de planification d’expériences considérée, la prédictivité d’un méta-modèle dépend de la taille n du plan d’expériences utilisé. Or, la relation entre n et la prédictivité du méta-modèle est a priori inconnue. Une pratique courante consiste à définir des plans d’expériences de grande taille afin de s’assurer de la bonne prédictivité du méta-modèle. Une telle approche présente toutefois des inconvénients. D’une part, un grand plan d’expériences ne garantit pas que la prédictivité du métamodèle soit suffisante. Si elle ne l’est pas, il faut revoir le plan d’expériences en considérant des points d’expériences additionnels. D’autre part, cette approche ne permet pas de minimiser n. Ainsi, on peut considérer des plans d’expériences plus grands que nécessaire, et donc gaspiller le temps de calcul pour les évaluations superflues. Principe La planification séquentielle d’expériences consiste à définir un plan d’expériences initial, puis à le compléter itérativement par un point, ou un ensemble de points, jusqu’à l’épuisement du budget en temps de simulation ou l’obtention d’un méta-modèle de la qualité souhaitée. Ainsi, une planification séquentielle peut permettre la définition d’un plan d’expériences dont la taille n est déterminée par la prédictivité du méta-modèle. Les méthodes de planification d’expériences présentées en partie 2.1, comme les LHS, ne sont généralement pas séquentielles. Une exception notable est celle des suites à faible discrépance, pour lesquelles la sélection de points additionnels peut se faire naturellement via le calcul des termes suivants de la suite. Il est ainsi possible d’utiliser un critère géométrique ou statistique pour choisir les points d’expériences qui sont ajoutés au fur et à mesure. Toutefois, un intérêt majeur de la planification séquentielle d’expériences est qu’elle permet de choisir les prochains points d’expériences à partir des informations fournies par le méta-modèle actuel. On parle alors de planification séquentielle adaptative et de plans adaptatifs. Il faut dans ce cas définir une stratégie de sélection des prochains points d’expériences, aussi appelé critère de remplissage. Une stratégie séquentielle judicieusement choisie peut permettre de construire plus efficacement des méta-modèles prédictifs qu’une planification d’expériences non adaptative. Planification séquentielle et krigeage Le choix du critère de remplissage dépend avant tout du but à atteindre. On distingue ainsi les stratégies visant l’optimisation de celles visant l’obtention d’un méta-modèle prédictif sur l’ensemble de l’espace. Dans le cadre d’une optimisation, les points d’expériences peuvent être ajoutés à proximité d’optima ou dans les zones susceptibles d’en contenir, afin de déterminer l’optimum global. Un critère populaire avec le krigeage est celui de l’amélioration espérée (Expected Improvement) [Jones et al., 1998]. Différentes stratégies séquentielles ayant pour but l’optimisation sont décrites et passées en revue dans [Jones, 2001] et [Forrester and Keane, 2009]. Dans cette thèse, on cherche à construire des méta-modèles prédictifs sur l’ensemble de l’espace des paramètres. On s’intéresse donc à des stratégies séquentielles permettant d’améliorer rapidement la prédictivité globale du méta-modèle. L’idée la plus intuitive est de considérer des critères exploratoires afin de sélectionner des points permettant de combler les trous dans le plan d’expériences. Pour un modèle de krigeage, cette idée peut se traduire par la recherche du point qui maximise la variance de krigeage [Sacks et al., 1989]. En effet, la variance de krigeage (Équation 2.5) dépend de la distance du point par rapport aux points du plan d’expériences ainsi que des hyper-paramètres λ représentant les longueurs de corrélation dans les différentes directions. Elle peut ainsi être considérée comme une mesure de la distance entre le point considéré et les points du plan d’expériences. Suivant une idée similaire, un critère plus efficace consiste à intégrer la variance sur l’ensemble de l’espace, où IMSE (Integrated Mean Square Error), puis à sélectionner le point maximisant la réduction de l’IMSE [Bates et al., 1996] [Picheny et al., 2010]. Les stratégies basées sur la variance de krigeage sont d’une efficacité limitée lorsque la réponse d’intérêt a un comportement fortement non linéaire, par exemple lorsqu’elle présente de fortes variations de manière localisée dans l’espace. Dans ce cas, il peut être judicieux de densifier le plan d’expériences dans les zones où la réponse d’intérêt présente un comportement plus complexe afin d’améliorer le méta-modèle. Pour cela, on peut placer des points dans les zones de l’espace où l’erreur de prédiction du méta-modèle est la plus forte. Un critère basé sur la variance de krigeage est alors inadapté, car cette dernière ne contient pas d’information sur l’erreur réelle entre la prédiction du méta-modèle et la réponse d’intérêt. C’est pour cette raison que d’autres stratégies, basées sur une estimation de l’erreur réelle de prédiction, ont été suggérées par [Kleijnen and Van Beers, 2004], [Busby, 2009] ou encore [Le Gratiet and Cannamela, 2015]. Elles utilisent les erreurs de validation croisée, c’est-à-dire les erreurs entre la prédiction par validation croisée et la valeur observée de la réponse d’intérêt, pour déterminer les zones dans lesquelles l’erreur de prédiction du méta-modèle est susceptible d’être importante. Par exemple, dans [Busby, 2009], un maillage adaptatif de l’espace est calculé à chaque itération. Ce maillage définit des cellules dans lesquelles on estime la qualité du méta-modèle à partir des erreurs de validation croisée. On sélectionne ensuite le point d’expérience additionnel en priorité dans la cellule présentant l’erreur de validation croisée la plus forte. La méthode proposée par [Le Gratiet and Cannamela, 2015] consiste à ajuster la variance de krigeage par les erreurs de validation croisée. Nous détaillons par la suite cette approche en section 5.2.1.

Planification séquentielle et co-krigeage multi-fidélité

 Dans un contexte multi-fidélité, la stratégie de planification séquentielle d’expériences doit également déterminer le niveau de fidélité devant être évalué [Huang et al., 2006], [Le Gratiet and Cannamela, 2015]. Ce choix est un enjeu majeur en multi-fidélité car il influence directement la performance du méta-modèle. En effet, l’optimisation de la qualité du méta-modèle passe par la détermination de la meilleure allocation des évaluations par niveau de fidélité. Cela est notamment illustré à travers les résultats obtenus sur le cas PUNQ. Cependant, cette allocation est difficile à déterminer car elle dépend du cas d’étude, et plus précisément de la qualité de la corrélation entre les niveaux grossiers et fin, ainsi que des temps relatifs à l’évaluation de ces niveaux. Dans un contexte d’optimisation, une solution basée sur une version modifiée de l’amélioration espérée (EI), prenant notamment en compte les ratios des temps par [Xiong et al., 2013] et [Le Gratiet and Cannamela, 2015]. Dans [Xiong et al., 2013], une approche multi-fidélité à deux niveaux est considérée. Le ratio entre le nombre d’expériences sur les niveaux fin et grossier est choisi au préalable par l’utilisateur. Le plan d’expériences initial est ensuite élargi de manière à obtenir des LHS imbriqués. La méthode proposée par [Le Gratiet and Cannamela, 2015] est généralisable à un nombre quelconque de niveaux de fidélité. Le choix du point d’expérience est déterminé par un critère basé sur la variance de krigeage/co-krigeage et les erreurs de validation croisée. Puis, le choix des niveaux de fidélité évalués se fait selon un arbitrage entre la réduction de l’IMSE et le coût en temps de l’évaluation, pour chacun des niveaux. Un avantage de cette approche est sa robustesse. En effet, elle reste pertinente quelle que soit la qualité de la corrélation entre les différents niveaux de fidélité. d’évaluation, est suggérée dans [Huang et al., 2006]. Des plans adaptatifs visant l’obtention d’un méta-modèle prédictif en multi-fidélité ont été proposés par [Xiong et al., 2013] et [Le Gratiet and Cannamela, 2015]. Dans [Xiong et al., 2013], une approche multi-fidélité à deux niveaux est considérée. Le ratio entre le nombre d’expériences sur les niveaux fin et grossier est choisi au préalable par l’utilisateur. Le plan d’expériences initial est ensuite élargi de manière à obtenir des LHS imbriqués. La méthode proposée par [Le Gratiet and Cannamela, 2015] est généralisable à un nombre quelconque de niveaux de fidélité. Le choix du point d’expérience est déterminé par un critère basé sur la variance de krigeage/co-krigeage et les erreurs de validation croisée. Puis, le choix des niveaux de fidélité évalués se fait selon un arbitrage entre la réduction de l’IMSE et le coût en temps de l’évaluation, pour chacun des niveaux. Un avantage de cette approche est sa robustesse. En effet, elle reste pertinente quelle que soit la qualité de la corrélation entre les différents niveaux de fidélité.