Contexte de la distribution déséquilibrée des données

Récemment, le problème de déséquilibre de classes a attiré l’attention de plusieurs chercheurs, cela dus à l’importance de l’équilibrage de données pour la création d’un bon classifieur.

La plupart des données réelles sont déséquilibrées, le nombre d’une classe est largement grand par rapport à l’autre, c’est spécialement le cas pour le diagnostic médical, où les personnes malades sont toujours rares (classe minoritaire) en les comparent avec les non-malades (classe majoritaire). De plus, lors de l’émergence d’une nouvelle maladie, elle est d’un impact amoindri à ses débuts, ses causes sont inconnues et ses symptômes peuvent être communs avec ceux des autres maladies déjà existantes, par suite, il est difficile de la reconnaître et peut être facilement assimilée à ces dernières.

La distribution des instances de classes joue un rôle très important pour atteindre une bonne classification. Une base de données est dite déséquilibrée quand le nombre des instances d’une classe est petit par rapport aux autres classes  .De manière plus simple, le nombre d’instances négatives (majoritaires) est largement supérieur au nombre d’instances positives (minoritaires). Dans le domaine médical, le médecin s’intéresse au cas minoritaire aux quels il n’a pas beaucoup d’exemple pour l’étude approfondie.

Notions de déséquilibre et d’asymétrie

Dès l’utilisation des données réelles en fouille de données, on est généralement en présence d’un très grand nombre d’individus, d’un très grand nombre de descripteurs, ou encore de données manquantes, éparses, ou bruitées. Un problème de plus en plus considéré par la communauté scientifique depuis quelques années : ce problème est l’asymétrie des classes.

Or la plupart des problèmes industriels concernent les classes distribuées de manière asymétrique. En apprentissage supervisé, l’asymétrie peut être en deux formes principales : le déséquilibre des classes, et l’asymétrie des coûts. Le déséquilibre de classes concerne les problèmes où l’une des modalités de la variable cible est beaucoup moins représentée que les autres, ce qui perturbe les algorithmes d’apprentissage. Ce problème est souvent rencontré dans les problèmes de diagnostic médical. L’asymétrie des coûts concerne les cas où les coûts des erreurs ne sont pas symétriques [Mar08].

L’asymétrie est devenue un défi majeur de l’apprentissage supervisé, le déséquilibre de données pouvant atteindre 1 pour 100, 1 pour 1000, 1 pour 10000 et souvent encore plus. Comme le notent Verhein & Chawla [VC06] dans des applications comme le diagnostic médical ou la détection de fraudes, les jeux de données déséquilibrés sont la norme et non l’exception [HAF13].

Dans le cas de déséquilibre, il est difficile de répondre à la première hypothèse, si 99% des données appartient à une seule classe, il sera difficile de faire mieux que 1% d’erreur obtenu en classant tous les individus dans cette classe Weiss [Wei04] propose de distinguer plus précisément les différents problèmes de déséquilibre :

1. Métrique inapproprié : Les mesures utilisées au cous du processus d’apprentissage ne sont pas adaptées au classes déséquilibrées .

2. Manque absolu de données : c’est le problème principal du déséquilibre, le nombre d’instances d’une classe est peut nombreux (rare) pour représenté un concept .

3. Manque relatif de données : Les objets d’une classe ne sont pas rares au sens absolu mais moins représenté par rapport au autre classe .

4. Données bruité   : Le bruit a plus d’impact sur les classe rare que sur les classe fréquente .

5. Petites disjoint :   la classe minoritaire est divisée en petit ensembles séparés .