Comparaison des frameworks de test

Cinq frameworks dominent l'automatisation des tests de production : le framework TofuPilot, OpenHTF, pytest, OpenTAP et NI TestStand. Chacun fait des compromis différents entre structure, flexibilité, coût et écosystème. Ce guide les compare avec du code réel, des métriques concrètes et des critères de décision pour vous aider à choisir le bon.

Vue d'ensemble des frameworks

Matrice de comparaison des fonctionnalités

Le même test dans chaque framework

Un test fonctionnel simple : mesurer une tension de rail 3,3 V, vérifier qu'elle est comprise entre 3,2 V et 3,4 V.

Framework TofuPilot

Le YAML de procédure déclare la séquence et les limites. Les phases sont des fonctions Python simples sans décorateur, et les plugs des classes Python simples.

name: PCBA Functional Testversion: 1.0.0unit:  serial_number:    default_value: "PCBA000001"  part_number:    default_value: "PCBA-100"plugs:  - name: dut    python: plugs.dut:Dutmain:  - name: Power Rail Test    python: phases.power_rail    measurements:      - name: Rail 3V3        unit: V        validators:          - operator: ">="            expected_value: 3.2          - operator: "<="            expected_value: 3.4

def power_rail(measurements, dut):    measurements.rail_3v3 = dut.read_voltage()

class Dut:    def read_voltage(self) -> float:        return 3.31  # Remplacer par une lecture instrument

Lancez-le depuis le dossier de la procédure avec tofupilot run.

Points forts : Les limites vivent dans le YAML comme des données, donc le plan de test est lisible et diffable séparément de la logique. Les phases et les slots de banc s'exécutent en parallèle sur un moteur Rust pendant que votre code reste du Python simple. L'interface opérateur est générée depuis la procédure sans travail frontend. Les procédures se déploient sur les stations via un push Git, avec rollback instantané, et les runs se mettent en file d'attente quand le réseau tombe.

Point faible : Plus récent qu'OpenHTF, donc communauté plus petite et moins d'exemples publics.

OpenHTF

import openhtf as htffrom openhtf.util import unitsclass DutPlug(htf.plugs.BasePlug):    def setUp(self):        self.voltage = 3.31  # Remplacer par la lecture de l'instrument    def tearDown(self):        pass@htf.measures(    htf.Measurement("rail_3v3")    .in_range(3.2, 3.4)    .with_units(units.VOLT),)@htf.plug(dut=DutPlug)def test_power(test, dut):    test.measurements.rail_3v3 = dut.voltagedef main():    test = htf.Test(test_power, procedure_id="FCT-001", part_number="PCBA-100")    test.execute(test_start=lambda: input("Numéro de série : "))if __name__ == "__main__":    main()

Points forts : Les mesures sont des données structurées (nom, valeur, limites, unités). Des années d'usage en production à grande échelle. L'invite de numéro de série est intégrée. S'exécute nativement sur le CLI TofuPilot sans code supplémentaire.

Point faible : Les phases s'exécutent en séquence sur une seule unité. Les phases parallèles et les bancs multi-slots s'orchestrent en dehors du framework.

pytest

import pytest@pytest.fixturedef dut():    connection = {"voltage": 3.31}  # Remplacer par une vraie connexion    yield connectiondef test_power_rail(dut):    voltage = dut["voltage"]    assert 3.2 <= voltage <= 3.4, f"Rail 3,3 V : {voltage} V"

Points forts : Familier pour tout développeur Python. Énorme écosystème de plugins. Système de fixtures flexible. Excellent pour la R&D et la validation.

Point faible : Les mesures sont implicites (instructions assert). La valeur mesurée vit dans un assert puis disparaît, donc pas de données structurées pour l'analytique sans code supplémentaire.

OpenTAP

// Étape de test OpenTAP en C#using OpenTap;[Display("Power Rail Test", Group: "FCT")]public class PowerRailStep : TestStep{    [Display("Lower Limit")]    public double LowerLimit { get; set; } = 3.2;    [Display("Upper Limit")]    public double UpperLimit { get; set; } = 3.4;    public override void Run()    {        double voltage = 3.31; // Remplacer par la lecture de l'instrument        Results.Publish("rail_3v3", new { Voltage = voltage });        if (voltage < LowerLimit || voltage > UpperLimit)            UpgradeVerdict(Verdict.Fail);    }}

Points forts : Éditeur d'étapes en GUI pour les non-programmeurs. Forte intégration avec les instruments Keysight. Architecture de plugins pour les plans de test.

Point faible : Langage principal en C# (le plugin Python existe mais est secondaire). Communauté plus restreinte.

NI TestStand

TestStand utilise un éditeur de séquences visuel. Le test équivalent est un fichier de séquence (.seq) avec une étape « Numeric Limit Test » configurée via l'interface : valeur de test = lecture de tension, limite basse = 3,2, limite haute = 3,4.

Points forts : Mature, qualité entreprise. Intégration poussée avec le hardware NI. Génération de rapports, journalisation en base de données, exécution parallèle intégrées.

Point faible : 4 310 $/poste/an. Windows uniquement. Les fichiers de séquence binaires ne se versionnent pas bien. Dépendance à l'écosystème NI.

Analyse des coûts

Quand utiliser chaque framework

Parcours de migration

De TestStand vers le framework TofuPilot

D'OpenHTF vers le framework TofuPilot

De pytest vers le framework TofuPilot

Intégration TofuPilot

Les cinq frameworks fonctionnent avec TofuPilot :

Le framework TofuPilot et OpenHTF tournent tous deux nativement sur le CLI, qui streame phases, mesures, logs, pièces jointes et interface opérateur vers le dashboard sans code supplémentaire d'un côté comme de l'autre.

Arbre de décision

1. Avez-vous une infrastructure TestStand existante ? Oui, et elle fonctionne bien : restez sur TestStand. Oui, mais vous souhaitez migrer : passez au framework TofuPilot.
2. Utilisez-vous déjà OpenHTF en production ? Oui : gardez-le. Il tourne nativement sur le CLI TofuPilot, et le coût de migration n'en vaut pas la peine sauf si vous avez besoin de slots parallèles.
3. Construisez-vous des tests de production sur de nouvelles stations ? Oui : le framework TofuPilot. Exécution parallèle, interface opérateur déclarative et déploiement sur push sont intégrés.
4. Faites-vous de la R&D ou de la validation firmware ? Oui : pytest. Plus flexible, meilleur pour le CI/CD.
5. Avez-vous besoin d'une interface graphique pour les non-programmeurs ? Oui : OpenTAP. Éditeur d'étapes visuel.
6. Pas sûr ? Commencez par le framework TofuPilot. tofupilot run ./procedure.yaml exécute une procédure sur votre machine sans compte.

Pour une comparaison plus poussée des deux options Python dédiées, voir Framework TofuPilot vs OpenHTF.