Combler le fossé entre le calcul haute performance et l'IA souveraine : première partie de trois
Historiquement, l'analyse de données par calcul haute performance s'est principalement concentrée sur la R&D pour les industries de l'ingénierie et de la fabrication. Alors que les cas d'utilisation opérationnels pour l'analyse de données, s'appuyant sur des systèmes de big data similaires, fonctionnaient de manière isolée.
Aujourd'hui, l'essor de l'IA générative (GenAI) et du machine learning (ML) offre une opportunité significative de rapprocher ces deux domaines. Cette synergie permet aux entreprises des deux divisions de tirer parti de leur expertise et de leurs investissements d'infrastructure respectifs, ce qui se traduit par une productivité accrue et un avantage concurrentiel pour les organisations de recherche et développement (R&D). Spécifiquement, les ingénieurs en mécanique travaillant avec le calcul haute performance peuvent considérablement accélérer le développement de produits et obtenir des informations opérationnelles plus approfondies en employant des méthodes de compression intelligentes basées sur l'IA (comme les modèles d'ordre réduit) formées sur des plateforme big data.
Cette série de blogs, divisée en trois parties, explique comment et pourquoi un lac de données souverain – un lac de données ouvert qui peut fonctionner sous la souveraineté d'un client et non sous la juridiction du fournisseur d'infrastructure – est l'architecture nécessaire pour transformer les flux de travail de physique expérimentale et d'IA en une fonctionnalité robuste de niveau professionnel. Nous expliquons également pourquoi Cloudera est le choix privilégié des organisations souhaitant fusionner la précision de l’ingénierie avec l’agilité de l’analyse de données moderne.
Les bases de l'informatique haute performance et des solveurs d'ordre réduit
Le modèle complet de commande
Il est essentiel de comprendre les mécanismes des simulations pour apprécier le rôle transformateur de l'IA dans l'ingénierie. Les simulations multiphysiques traditionnelles, telles que l’analyse par éléments finis (utilisée pour tester l’intégrité structurelle réelle) ou la dynamique des fluides computationnelle (utilisée pour modéliser le mouvement de l’air ou du liquide), fonctionnent en décomposant une structure physique (comme un pont) en un « maillage » ou un système de millions de minuscules éléments. La représentation mathématique de ces éléments prend souvent la forme d'un système de tenseurs en interaction, c'est-à-dire des ensembles structurés de nombres utilisés pour modéliser la façon dont les forces, la pression, la température et le mouvement interagissent dans le système.
Le modèle d'ordre complet est le modèle le plus détaillé et physiquement précis de ce système. Son comportement physique est simulé par un solveur (par exemple, OpenFOAM) qui calcule en continu des équations complexes. Ce processus calcule les changements dans ces tenseurs sur la base de la physique, y compris la façon dont la réaction d'un seul élément affecte ses voisins les plus proches et le système dans son ensemble. Cela offre une précision incroyable, mais cela a un coût : ces simulations sont extrêmement exigeantes en termes de calcul. Elles nécessitent souvent qu'une grappe de superordinateurs fonctionne pendant des jours juste pour analyser un scénario, ce qui limite la rapidité avec laquelle les équipes peuvent itérer, tester des alternatives ou commercialiser des produits.
Le modèle d'ordre réduit
Un modèle d'ordre réduit est une technique pilotée par l'IA qui simplifie considérablement les simulations complexes. Il repose sur des techniques mathématiques avancées, allant des méthodes classiques comme la décomposition en valeurs singulières aux architectures modernes de réseaux neuronaux artificiels telles que les auto-encodeurs, pour approximer des systèmes hautement complexes et non linéaires.
Au cœur de sa fonction, un modèle d'ordre réduit identifie et capture les schémas les plus importants et déterminants au sein des volumes massifs de données tensorielles simulées générées par un modèle d'ordre complet.
En distillant le problème, le modèle d'ordre réduit réduit efficacement l'énorme espace de calcul en un « espace latent » beaucoup plus petit — une représentation mathématique simplifiée du système (en fait, un « jumeau numérique »). Cela signifie qu'au lieu qu'un solveur traditionnel doive traiter des millions d'équations complexes, le modèle d'ordre réduit pourrait n'avoir à résoudre que 50 variables latentes pour tenir compte de 99 % de la physique sous-jacente.
Pour les ingénieurs en mécanique, dont le travail quotidien consiste à optimiser les performances, la fiabilité et le coût des produits en fonction d'innombrables combinaisons de géométrie, de matériaux, d'épaisseur et de poids, cette capacité change le rythme de l'innovation. Leur flux de travail est essentiellement une séquence continue de scénarios hypothétiques, s'appuyant à la fois sur des connaissances synthétiques issues de solveurs basés sur la physique et sur des données de déploiement réelles. L'intégration de modèles d'ordre réduit dans ce processus offre un certain nombre d'avantages stratégiques significatifs, tels que :
Opportunité stratégique liée au modèle d'ordre réduit |
Explication |
Impact métier |
Itération rapide |
Exécutez des milliers de modifications de conception et de scénarios hypothétiques en quelques secondes. |
Réduit le temps de développement des produits de plusieurs mois à quelques jours seulement. |
Déploiement d'Edge computing |
Les modèles d'ordre réduit sont suffisamment petits et rapides pour être exécutés directement sur des contrôleurs embarqués ou des appareils de l'Internet des objets (IoT) sur le terrain. |
Permet la prise de décision en temps réel sur l'appareil et le contrôle automatisé avec ou sans connectivité au cloud. |
Jumeaux numériques en temps réel |
Il alimente un réseau neuronal informé physiquement (PINN) qui fonctionne parallèlement à la machine réelle, en utilisant les données des capteurs en temps réel pour prédire les comportements et les anomalies du système. |
La maintenance passe de la réparation après la casse à la maintenance proactive, ce qui permet de réduire les temps d'arrêt et de prolonger la durée de vie des biens. |
Développement de modèle d'ordre réduit : de la théorie à la production
Les ROM apportent une valeur ajoutée considérable en accélérant les flux de travail d'ingénierie, mais un déploiement réussi nécessite de naviguer des contraintes techniques spécifiques et des réalités opérationnelles que les organisations doivent aborder systématiquement.
Exigences de données de formation
Les modèles d’ordre réduit précis nécessitent de grands volumes de données provenant de modèles d’ordre complet. Par exemple, construire un modèle fiable d’analyse des accidents automobiles à ordre réduit nécessite entre 500 et 2000 exécutions de modèles d’ordre complet sur différentes configurations de matériaux et de géométries, représentant des semaines de temps de grappe de calcul haute performance. Les données d'entraînement clairsemées produisent des modèles d'ordre réduit qui échouent de manière catastrophique en dehors des conditions testées. Les outils automatisés de conception d'expériences aident à optimiser les simulations à exécuter, réduisant de 30 à 40 % les simulations de modèles d'ordre complet requises tout en maintenant la précision.
Compromis de précision
Les performances du modèle d'ordre réduit se dégradent en dehors des limites d'entraînement. Par exemple, un modèle d'aube de turbine à fonctionnement réduit formé pour des températures de fonctionnement de 800 à 1200°C peut produire une erreur de 15 à 20% à 1250°C. Cela peut être abordé grâce aux techniques de modélisation par ensemble et à la quantification de l'incertitude. Lorsque la confiance du modèle tombe en dessous de seuils prédéfinis, des déclencheurs automatisés peuvent initier des exécutions de validation en utilisant le modèle d'ordre complet original.
Fardeau de validation
Dans les environnements où la sécurité est essentielle (automobile, aérospatiale, énergie, etc.), les applications de modèles d'ordre réduit nécessitent une validation rigoureuse par rapport aux modèles d'ordre complet, ce qui exige souvent des efforts considérables (comme des études de corrélation approfondies). En effet, les organismes de réglementation exigent une équivalence documentée avant d'approuver leur utilisation.
Bien que le processus de validation puisse être intensif, une fois validés, les modèles d'ordre réduit permettent des milliers d'itérations rapides qui seraient irréalisables avec la seule simulation traditionnelle (modèles d'ordre complet).
Déficit de compétences
Le développement efficace de modèles d'ordre réduit nécessite une expertise à la fois en ingénierie de machine learning et en physique du domaine. Un data scientist travaillant seul peut construire des modèles mathématiquement élégants mais dépourvus d’interprétabilité physique. Un ingénieur mécanicien travaillant seul peut avoir des difficultés avec l’optimisation des hyperparamètres (par exemple, la sélection de l’architecture et la mise à l’échelle du modèle). Par conséquent, les petites équipes transversales obtiennent systématiquement de meilleurs résultats que les grands groupes cloisonnés. Il est important d’investir dans des programmes de formation qui enseignent aux ingénieurs les outils modernes de machine learning.
Déploiement en périphérie (ou edge computing)
Les scénarios de contrôle en temps réel nécessitent une inférence déterministe (latence < 10 millisecondes) sur le matériel embarqué. Toutes les architectures de modèles d'ordre réduit ne répondent pas à ces exigences de latence et de mémoire. Les réseaux neuronaux profonds dépassent souvent les budgets de ressources, tandis que les modèles d'ordre réduit linéaires trop simplifiés sacrifient la précision.
Les bonnes pratiques actuelles sont le déploiement par étapes :
Commencez par des modèles d'ordre réduit basés sur le cloud pour la visualisation de jumeaux numériques et la maintenance prédictive.
Ensuite, déployez les contrôleurs périphériques uniquement après que des tests approfondis en boucle matérielle aient validé les performances en temps réel.
Mise à l'échelle des modèles d'ordre réduit : des scripts ad hoc aux opérations de machine learning en entreprise (MLOps)
Si les fondements mathématiques des modèles d'ordre réduit sont solides, le principal obstacle réside dans la normalisation de leur développement et de leur déploiement dans l'ensemble de l'organisation. Actuellement, de nombreuses équipes de R&D s'appuient sur une collection décentralisée de scripts Python, des systèmes de fichiers non gérés ou des environnements propriétaires fournis par des vendeurs. Ces approches peuvent fonctionner pour des projets individuels, mais échouent en termes de gouvernance, de conformité et de pratiques communautaires ouvertes conformes aux standards de l’industrie.
Pour atteindre une grande échelle, l’entraînement des modèles à ordre réduit doit traiter les données de simulation selon les mêmes principes rigoureux de gouvernance des données qui sont couramment utilisés pour la gestion des dossiers financiers ou des données clients, par exemple.
Pour faire face à ce changement, il faut résoudre des problèmes tels que :
Exigence MLOps |
Explication |
Impact métier |
Gestion des données à grande échelle |
Les pipelines de données évolutifs et les outils de transformation (comme Spark) extraient les caractéristiques clés et standardisent d'énormes quantités de données de simulation historiques provenant de différents solveurs (tels qu'OpenFOAM). |
Garantit que les données de simulation complexes sont propres, gouvernées et prêtes pour une formation fiable de l'IA, réduisant ainsi le retraitement et les risques. |
Suivi des expériences d'équipe |
Des environnements sécurisés et partagés (comme Jupyter Notebooks), équipés de nouveaux suivis d’expériences de machine learning (comme MLFlow), permettent aux physiciens et aux data scientists de co-développer du code, d’essayer différents modèles d’IA et de baliser systématiquement des métriques, telles que les hyperparamètres et la perte. |
Garantit un historique complet et une reproductibilité. Lorsqu'un modèle à fonctionnement réduit est mis en ligne, les équipes peuvent instantanément le retracer jusqu'à la version exacte du modèle, aux données, aux paramètres, aux indicateurs d'évaluation de la précision au moment de la création et à la configuration des hyperparamètres utilisés pour obtenir ce résultat — ce qui est essentiel pour les secteurs réglementés. |
Pour en savoir plus, veuillez continuer à lire la deuxième partie !