NVIDIA TensorRT
Le blog « IA Décodée » de cette semaine est consacré aux optimisations de l’IA que NVIDIA TensorRT apporte aux plus de 100 millions de PC et stations de travail RTX sous Windows en local.
Le nouveau benchmark Procyon AI Image Generation d’UL Solutions est désormais disponible. Il mesure les performances réelles du matériel pour la génération d’images IA. Nos tests internes ont démontré une accélération de 50 % sur un [eal]GPU GeForce RTX 4080 SUPER[/eal] par rapport à l’implémentation non-TensorRT la plus rapide. Les testeurs de GPU peuvent le tester eux-mêmes en utilisant le nouveau guide du benchmark UL Procyon, désormais disponible sur notre FTP presse.
Avant de nous plonger dans les actualités, voici un bref rappel :
- Les Tensor Cores sont les accélérateurs d’IA dédiés sur les GPU RTX qui fournissent efficacement une IA locale de haute performance.
- NVIDIA TensorRT est un ensemble d’outils – c’est-à-dire un kit de développement logiciel (SDK) – qui permet aux développeurs d’accéder au matériel pour fournir des expériences d’IA entièrement optimisées.
- NVIDIA TensorRT-LLM est une bibliothèque open-source qui permet aux LLM de comprendre et de répondre aux demandes plus rapidement et plus efficacement. ChatRTX s’appuie sur TensorRT-LLM pour optimiser les performances sur les GPU RTX, et tout le monde peut expérimenter des modèles optimisés par TensorRT-LLM dans les modèles de la NVIDIA AI Foundation.
Pour les LLM, TensorRT accélère certains des modèles d’IA générative les plus populaires, y compris Stable Diffusion et SDXL. Nouveauté cette semaine, l’optimisation TensorRT qui accélère le populaire WebUI Stable Diffusion d’Automatic 1111 s’étend maintenant aux ControlNets, un ensemble de modèles IA qui agissent comme des assistants spéciaux pour donner aux utilisateurs plus de contrôle sur leurs images générées – offrant un gain de 40%. L’extension peut être téléchargée dès aujourd’hui sur GitHub.
Consultez le blog complet pour en savoir plus sur les autres accélérations de TensorRT, y compris les optimisations pour les créateurs.
Chaque semaine, ne ratez pas le « IA Décodée » pour les dernières mises à jour et analyses sur l’IA, et faites-nous savoir si vous souhaitez que l’on aborde un sujet particulier.
SOURCE : COMMUNIQUE DE PRESSE – THE MESSENGERS
