Comparaison des frameworks de test

Quatre frameworks dominent l'automatisation des tests de fabrication : OpenHTF, pytest, OpenTAP et NI TestStand. Chacun fait des compromis différents entre structure, flexibilité, coût et écosystème. Ce guide les compare avec du code réel, des métriques concrètes et des critères de décision pour vous aider à choisir le bon.

Vue d'ensemble des frameworks

Matrice de comparaison des fonctionnalités

Le même test dans chaque framework

Un test fonctionnel simple : mesurer une tension de rail 3,3 V, vérifier qu'elle est comprise entre 3,2 V et 3,4 V.

OpenHTF

import openhtf as htf
from openhtf.util import units
from tofupilot.openhtf import TofuPilot


class DutPlug(htf.plugs.BasePlug):
    def setUp(self):
        self.voltage = 3.31  # Remplacer par la lecture de l'instrument

    def tearDown(self):
        pass


@htf.measures(
    htf.Measurement("rail_3v3")
    .in_range(3.2, 3.4)
    .with_units(units.VOLT),
)
@htf.plug(dut=DutPlug)
def test_power(test, dut):
    test.measurements.rail_3v3 = dut.voltage


def main():
    test = htf.Test(test_power, procedure_id="FCT-001", part_number="PCBA-100")
    with TofuPilot(test):
        test.execute(test_start=lambda: input("Numéro de série : "))


if __name__ == "__main__":
    main()

Points forts : Les mesures sont des données structurées (nom, valeur, limites, unités). Une seule ligne pour l'intégration TofuPilot. L'opérateur reçoit automatiquement une invite de numéro de série.

pytest

import pytest
from tofupilot import TofuPilotClient


@pytest.fixture
def dut():
    connection = {"voltage": 3.31}  # Remplacer par une vraie connexion
    yield connection


def test_power_rail(dut):
    voltage = dut["voltage"]
    assert 3.2 <= voltage <= 3.4, f"Rail 3,3 V : {voltage} V"

Points forts : Familier pour tout développeur Python. Énorme écosystème de plugins. Système de fixtures flexible. Excellent pour la R&D et la validation.

Point faible : Les mesures sont implicites (instructions assert). Pas de données structurées pour l'analytique sans code supplémentaire.

OpenTAP

// Étape de test OpenTAP en C#
using OpenTap;

[Display("Power Rail Test", Group: "FCT")]
public class PowerRailStep : TestStep
{
    [Display("Lower Limit")]
    public double LowerLimit { get; set; } = 3.2;

    [Display("Upper Limit")]
    public double UpperLimit { get; set; } = 3.4;

    public override void Run()
    {
        double voltage = 3.31; // Remplacer par la lecture de l'instrument
        Results.Publish("rail_3v3", new { Voltage = voltage });

        if (voltage < LowerLimit || voltage > UpperLimit)
            UpgradeVerdict(Verdict.Fail);
    }
}

Points forts : Éditeur d'étapes en GUI pour les non-programmeurs. Forte intégration avec les instruments Keysight. Architecture de plugins pour les plans de test.

Point faible : Langage principal en C# (le plugin Python existe mais est secondaire). Communauté plus restreinte.

NI TestStand

TestStand utilise un éditeur de séquences visuel. Le test équivalent est un fichier de séquence (.seq) avec une étape « Numeric Limit Test » configurée via l'interface : valeur de test = lecture de tension, limite basse = 3,2, limite haute = 3,4.

Points forts : Mature, qualité entreprise. Intégration poussée avec le hardware NI. Génération de rapports, journalisation en base de données, exécution parallèle intégrées.

Point faible : 4 310 $/poste/an. Windows uniquement. Les fichiers de séquence binaires ne se versionnent pas bien. Dépendance à l'écosystème NI.

Analyse des coûts

Quand utiliser chaque framework

Parcours de migration

De TestStand vers OpenHTF

De pytest vers OpenHTF

Intégration TofuPilot

Les quatre frameworks fonctionnent avec TofuPilot :

Arbre de décision

1. Avez-vous une infrastructure TestStand existante ? Oui, et elle fonctionne bien : restez sur TestStand. Oui, mais vous souhaitez migrer : passez à OpenHTF.
2. Construisez-vous des tests de production ? Oui : OpenHTF. Il a été conçu pour cela.
3. Faites-vous de la R&D ou de la validation firmware ? Oui : pytest. Plus flexible, meilleur pour le CI/CD.
4. Avez-vous besoin d'une interface graphique pour les non-programmeurs ? Oui : OpenTAP. Éditeur d'étapes visuel.
5. Pas sûr ? Commencez par pytest. C'est le plus facile à apprendre et vous pouvez toujours ajouter OpenHTF pour la production par la suite.