Votre ligne teste des unités toute la journée et vous suivez son rendement au premier passage (FPY). À partir de quand faut-il alerter quelqu'un ? La réponse intuitive, « fixer un seuil », se heurte immédiatement à deux murs.
Le premier est le niveau. Une procédure qui tourne à 99 % de FPY doit alerter dès 98 %, et fort à 97 % : chaque point perdu y est énorme. Une procédure qui tourne à 50 % (un test de rodage sévère, par exemple) ne doit alerter que vers 45 %, et fort vers 40 %. Aucun seuil absolu ne convient aux deux.
Le second est la variabilité propre. Deux lignes peuvent avoir le même FPY moyen de 55 % : l'une, très stable, y reste à ±1 point ; l'autre oscille naturellement entre 50 et 60 % au gré des lots et des équipes. Une chute à 48 % est un événement majeur sur la première, un mardi ordinaire sur la seconde. Le seuil pertinent dépend donc non seulement du niveau, mais du comportement habituel de chaque ligne.
Un système d'alerte digne de confiance doit s'auto-calibrer sur ces deux axes, pour chaque procédure, sans demander à l'utilisateur de deviner des constantes. Voici comment la statistique s'y prend, et les choix que nous en avons tirés.
État de l'art : détecter un changement dans un flux de tests
Le problème porte un nom depuis un siècle : la maîtrise statistique des procédés (SPC), fondée par Walter Shewhart dans les années 1920. Son idée centrale tient en une phrase : tout procédé a une variation routinière (les « causes communes ») et on ne doit alerter que lorsqu'une observation sort de cette routine (une « cause spéciale »). Les cartes de Shewhart jugent chaque point isolément ; deux méthodes plus récentes, toujours les références actuelles, ajoutent l'ingrédient décisif pour les petites dérives : la mémoire.
CUSUM : l'accumulateur de preuves
La carte CUSUM (somme cumulée, Page, 1954) traite chaque unité testée, une par une, et entretient un compteur de preuves. Image électronique : un intégrateur avec une fuite constante et une butée à zéro. Chaque échec injecte de la charge, chaque réussite en laisse fuir un peu ; sur un procédé sain la fuite gagne et le compteur colle à zéro ; après une vraie dérive, les injections l'emportent et le compteur grimpe inexorablement jusqu'au seuil d'alarme. La version adaptée aux flux pass/fail en contrôle à 100 % (le CUSUM de Bernoulli, Reynolds & Stoumbos, 1999) est explicitement présentée par ses auteurs comme supérieure à la pratique consistant à regrouper les unités en échantillons ou en fenêtres de temps. Et CUSUM détient un titre rare en statistique : pour un taux de fausses alarmes donné, c'est prouvablement le détecteur le plus rapide pour la dérive qu'on lui a spécifiée (Moustakides, 1986).
EWMA : le rendement lissé
La carte EWMA (moyenne mobile à pondération exponentielle, Roberts, 1959) est un filtre passe-bas appliqué au train d'impulsions pass/fail : sa sortie est une estimation lissée du taux d'échec actuel, où chaque unité pèse un peu moins que la suivante — les données anciennes s'estompent en douceur au lieu de tomber d'une falaise comme dans une fenêtre glissante. Un seul paramètre, λ, règle la profondeur de mémoire, exprimée en unités produites et non en temps d'horloge : une ligne rapide parcourt sa mémoire en quelques heures, une ligne lente en quelques jours, et les deux sont surveillées avec la même rigueur statistique. On alerte quand le rendement lissé s'écarte trop de sa valeur de référence, l'écart étant mesuré en écarts-types.
La différence de nature est importante pour la suite : EWMA est une jauge (sa sortie se lit dans l'unité de la métrique, « FPY lissé : 91,2 % »), CUSUM est un accumulateur (sa sortie, « 2,9 unités de preuve vers la limite de 4 », n'a pas d'interprétation directe pour un œil humain).
Et les autres méthodes ?
Il en existe d'autres, comme les fenêtres auto-dimensionnées issues du data stream mining (ADWIN), la détection bayésienne de points de rupture ou les cartes à échantillonnage adaptatif, que nous n'approfondirons pas ici : elles sont soit pensées pour d'autres régimes de données, soit beaucoup plus difficiles à expliquer et à auditer pour un ingénieur qualité, ce qui compte quand une alerte doit déclencher une action en production. Les références sont en fin d'article pour les curieux.
Le piège des manuels : un seul modèle de bruit pour toutes les lignes
Ouvrez un manuel de SPC et les formules de CUSUM comme d'EWMA pour des données pass/fail reposent sur la même hypothèse : le bruit est binomial. Autrement dit, chaque unité aurait exactement la même probabilité d'échec, et la variabilité d'une ligne se déduirait entièrement de son niveau moyen par une formule, sans jamais la mesurer.
La production réelle ne respecte pas ce contrat. La vraie probabilité d'échec se promène d'heure en heure : changements d'équipe, lots de composants, température, usure d'outillage. Résultat, la variabilité observée dépasse, parfois largement, ce que prédit la formule ; le phénomène a un nom, la surdispersion, et c'est le défaut le mieux documenté des cartes aux attributs appliquées telles quelles en usine (c'est le problème que la carte p′ de Laney, 2002, a été inventée pour corriger). Lors de notre phase d'entraînement sur des jeux de données réels de production (nous y revenons plus bas), nous avons mesuré des variabilités allant de 1× à plus de 5× la prédiction binomiale selon la ligne, sur des procédures pourtant toutes saines.
Les conséquences d'un réglage « manuel scolaire » sont alors sans issue. Si vous calibrez les seuils pour la ligne fluctuante, ils deviennent aveugles sur la ligne stable : les vraies chutes passent sous le radar. Si vous les calibrez pour la ligne stable, la ligne fluctuante déclenche des fausses alertes en rafale, et l'on connaît la suite, documentée dans toutes les usines du monde : les alertes finissent ignorées, y compris les vraies. C'est précisément pour cela que « choisir un seuil » est si difficile : il n'existe pas de bon seuil global, seulement un bon seuil par ligne, et il change quand la ligne change.
Pourquoi EWMA répond mieux à ce problème
La sortie du filtre EWMA étant une jauge dans l'unité de la métrique, une correction s'impose naturellement : au lieu de calculer sa dispersion théorique par la formule binomiale, on la mesure. On rejoue le filtre sur l'historique de la ligne, on observe la distribution réelle de ses valeurs, et la bande d'alerte devient : « le rendement lissé s'écarte de N écarts-types observés de son propre comportement historique ». Les deux axes du problème sont alors couverts d'un coup :
- Le niveau. La référence est estimée par procédure, et la largeur naturelle de la bande suit le niveau : le bruit d'un flux pass/fail vaut √(p(1−p)), il est mécaniquement plus fin à 99 % de FPY qu'à 50 %. La ligne excellente est surveillée au point près, la ligne difficile au multiple de points.
- La variabilité propre. La ligne stable à 55 % a un historique lissé serré, donc une bande fine ; la ligne qui oscille entre 50 et 60 % a un historique lissé baladeur, donc une bande large. Chacune est jugée contre elle-même.
Peut-on appliquer la même correction à CUSUM ? Difficilement, et c'est le point technique qui départage les deux méthodes : toute la calibration de CUSUM (le seuil d'alarme, la garantie d'optimalité, le taux de fausses alarmes annoncé) est soudée au modèle binomial par la construction même de son compteur de preuves. Sous surdispersion, ces garanties s'évaporent, et les variantes qui les restaurent exigent d'ajuster un modèle statistique supplémentaire par ligne et de recalibrer par simulation. Praticable dans une étude, pas dans un produit qui surveille des centaines de procédures hétérogènes sans intervention humaine.
Reste l'argument auquel nous tenons le plus : ce que voit l'utilisateur. Une alerte EWMA se montre. La courbe de rendement lissé se trace dans l'unité que l'ingénieur qualité connaît, avec sa bande de normalité autour, et l'alerte se lit dessus : « FPY lissé à 91,2 % contre une normale de 95,1 % ± 1,2 ». Chaque nombre est recalculable à la main depuis les runs. Une alerte CUSUM, elle, doit être traduite : le compteur de preuves n'a pas d'axe parlant, et il faut reconstruire a posteriori les comptages qui l'expliquent. Pour un système dont l'objectif est la confiance (qu'un qualiticien puisse auditer pourquoi il a été réveillé), la jauge bat l'accumulateur.
Ce qu'il reste à fixer, et pourquoi nous l'avons entraîné sur des données réelles
L'auto-calibration ne supprime pas toute constante ; elle change leur nature. Tout ce qui dépend de la ligne (niveau de référence, variabilité) est mesuré en continu. Restent deux réglages universels, les mêmes pour tout le monde :
- λ, la profondeur de mémoire. En réalité un choix de frontière entre ce qui relève de la météo (fluctuations rapides, absorbées dans la bande) et ce qui relève du changement (dérives soutenues, qui alertent). Il se choisit par une promesse de temps de réaction : « confirmer une dérive soutenue en une à deux centaines d'unités ».
- L'échelle de sévérité. Les multiplicateurs d'écart-type qui séparent info, warning et critical. C'est un budget de fausses alertes : à quelle rareté historique mérite-t-on de déranger quelqu'un ?
Comment fixer ces valeurs sans retomber dans l'arbitraire ? En les entraînant : on rejoue le détecteur candidat, réglage par réglage, sur des jeux de données réels de production, des dizaines de milliers de tests couvrant des profils très variés (lignes à 99 % comme à 50 % de FPY, production en rafales de plusieurs centaines d'unités par jour comme lignes régulières à quelques unités par jour). Puis on compte : combien d'alertes chaque réglage aurait émises, à quelle sévérité, et les incidents avérés auraient-ils été détectés, en combien d'unités ?
Cet entraînement a tranché trois choses. D'abord λ = 0,02 (une mémoire utile d'environ 50 à 150 unités) : les réglages plus courts élargissent la bande plus vite qu'ils ne creusent les excursions et perdent le signal critique sur les incidents réels ; les plus longs doublent le temps de réaction sans gain de détection. Ensuite l'échelle 2σ/3σ/5σ : sur deux mois de données réelles, 2σ correspond à une poignée d'épisodes informatifs par ligne, 3σ presque uniquement à de vrais événements, et 5σ exclusivement à un incident authentique (un FPY tombé de 97 % à 80 % sur une centaine d'unités, classé critique par le détecteur). Enfin un garde-fou : la bande mesurée est bornée par le plancher binomial, pour qu'une ligne parfaite (100 % de FPY sur des milliers d'unités, dispersion observée nulle) ne transforme pas son premier échec en alarme « infinie ».
Un dernier point de contrôle, extérieur aux données : nous avons soumis des jeux de données d'exemple à un ingénieur qualité expérimenté, en lui demandant à quels niveaux il aurait voulu être alerté. Avec λ = 0,02, la bande calculée retombe sur ses réponses : à 99 % de FPY, alerte à 98 % et alerte forte à 97 % ; à 50 %, alerte à 45 % et forte à 40 %. Une calibration issue du rejeu et une intuition de terrain qui convergent sans s'être consultées, c'est le genre d'accord qu'on cherche.
Et l'entraînement n'est pas un événement unique : le harnais de rejeu est conservé, et chaque évolution du détecteur y repasse avant d'être déployée.
Sources et lectures
Méthodes principales :
- E. S. Page, Continuous Inspection Schemes, Biometrika 41(1-2), 1954 : l'article fondateur du CUSUM. https://academic.oup.com/biomet/article/41/1-2/100/246907
- S. W. Roberts, Control Chart Tests Based on Geometric Moving Averages, Technometrics 1(3), 1959 : l'article fondateur de l'EWMA. https://doi.org/10.1080/00401706.1959.10489860
- G. V. Moustakides, Optimal Stopping Times for Detecting Changes in Distributions, Annals of Statistics 14(4), 1986 : la preuve d'optimalité du CUSUM (accès libre). https://projecteuclid.org/journals/annals-of-statistics/volume-14/issue-4/Optimal-Stopping-Times-for-Detecting-Changes-in-Distributions/10.1214/aos/1176350164.full
- M. R. Reynolds Jr. & Z. G. Stoumbos, A CUSUM Chart for Monitoring a Proportion When Inspecting Continuously, Journal of Quality Technology 31(1), 1999 : le CUSUM de Bernoulli pour les flux pass/fail. https://doi.org/10.1080/00224065.1999.11979900
- D. B. Laney, Improved Control Charts for Attributes, Quality Engineering 14(4), 2002 : la surdispersion et la carte p′. https://doi.org/10.1081/QEN-120003555
- NIST/SEMATECH, e-Handbook of Statistical Methods, section EWMA Control Charts : la référence pratique en ligne. https://www.itl.nist.gov/div898/handbook/pmc/section3/pmc324.htm
- D. C. Montgomery, Introduction to Statistical Quality Control, Wiley : l'ouvrage de référence du domaine (sous-groupes rationnels, cartes aux attributs, CUSUM/EWMA).
- W. A. Shewhart, Economic Control of Quality of Manufactured Product, 1931 : l'ouvrage fondateur de la SPC.
Les autres méthodes évoquées :
- A. Bifet & R. Gavaldà, Learning from Time-Changing Data with Adaptive Windowing, SIAM International Conference on Data Mining, 2007 : les fenêtres auto-dimensionnées (ADWIN). https://epubs.siam.org/doi/10.1137/1.9781611972771.42
- R. P. Adams & D. J. C. MacKay, Bayesian Online Changepoint Detection, arXiv, 2007 : la détection bayésienne de points de rupture. https://arxiv.org/abs/0710.3742
- A Variable Sampling Interval Synthetic X̄ Chart for the Process Mean, PLoS ONE 10(5), 2015 : un exemple de carte à échantillonnage adaptatif. https://pmc.ncbi.nlm.nih.gov/articles/PMC4423939/