Nvidia annonce le lancement de TensorRT 8 conçu pour les chatbots, les recommandations et la recherche

Nvidia a dévoilé mardi la huitième génération de son TensorRT largement utilisé, annonçant que le logiciel d’IA est deux fois plus puissant et précis que son prédécesseur tout en réduisant de moitié le temps d’inférence pour les requêtes linguistiques.

Tensor RT est utilisé par des centaines d’entreprises pour des choses comme les moteurs de recherche, les recommandations d’annonces et les chatbots. Siddharth Sharma, chef de l’équipe marketing produit du logiciel d’IA de Nvidia, a déclaré lundi aux journalistes qu’il avait été téléchargé plus de 2,5 millions de fois et qu’il était utilisé par des sociétés comme American Express, Verizon, LG, Ford, SK Telecom, KLA, Naver. , GE Healthcare et USPS.

“TensorRT 8 est deux fois plus puissant que 7, deux fois plus précis que TensorRT 7, et il prend en charge la rareté qui peut réduire considérablement la quantité de calcul et de mémoire nécessaire pour exécuter des applications”, a déclaré Sharma.

« Avec cette réalisation, vous pouvez désormais déployer l’ensemble Bert-Large en une milliseconde. C’est énorme et je pense que cela va conduire à une toute nouvelle génération d’applications d’IA conversationnelles. Un niveau d’intelligence, un niveau de latence qui était du jamais vu auparavant.”

Sharma a expliqué que les optimisations de TensorRT 8 permettent également “une vitesse d’enregistrement pour les applications linguistiques, exécutant BERT-Large, l’un des modèles à base de transformateur les plus utilisés au monde, en 1,2 milliseconde”.

“Auparavant, les entreprises devaient réduire la taille de leur modèle, ce qui entraînait des résultats nettement moins précis. Désormais, avec TensorRT 8, les entreprises peuvent doubler ou tripler la taille de leur modèle pour obtenir des améliorations spectaculaires de la précision”, a ajouté Sharma.

TensorRT 8 est désormais disponible et gratuit pour les membres du programme Nvidia Developer. Le référentiel TensorRT GitHub contient également les dernières versions des plug-ins, des analyseurs et des exemples.

Greg Estes, vice-président des programmes de développement chez Nvidia, a déclaré que les modèles d’IA deviennent de plus en plus complexes et que la demande mondiale augmente pour des applications en temps réel qui utilisent l’IA.

La dernière version de TensorRT, a déclaré Estes, introduit de nouvelles fonctionnalités qui permettent aux entreprises de fournir des applications d’IA conversationnelles à leurs clients “avec un niveau de qualité et de réactivité jamais possible auparavant”.

Au cours des cinq dernières années, Nvidia a déclaré que plus de 350 000 développeurs dans 27 500 entreprises ont utilisé TensorRT, et Estes a noté que les applications TensorRT “peuvent être déployées dans des centres de données à grande échelle, des plates-formes de produits embarquées ou automobiles”.

Sharma a déclaré aux journalistes que l’inférence unique de l’IA de TensorRT 8 a été rendue possible grâce à la parcimonie et à la quantification, deux fonctionnalités clés qui augmentent l’efficacité et permettent aux développeurs d’utiliser “des modèles entraînés pour exécuter l’inférence avec la précision INT8 sans perdre en précision”.

GE Healthcare utilise TensorRT dans les applications de vision par ordinateur pour les ultrasons, et Erik Steen, ingénieur en chef de l’échographie cardiovasculaire chez GE Healthcare, a déclaré que l’outil était essentiel pour aider les cliniciens à aller plus vite.

« Lorsqu’il s’agit d’échographie, les cliniciens passent un temps précieux à sélectionner et à mesurer des images. Au cours du projet de R&D qui a mené à Vivid Patient Care Elevated Release, nous voulions rendre le processus plus efficace en mettant en œuvre une détection automatisée de la vue cardiaque sur notre scanner Vivid E95, ” dit Steen.

“L’algorithme de reconnaissance de vue cardiaque sélectionne les images appropriées pour l’analyse du mouvement de la paroi cardiaque. TensorRT, avec ses capacités d’inférence en temps réel, améliore les performances de l’algorithme de détection de vue et a également raccourci notre délai de commercialisation pendant le projet de R&D.”

Related Site :
forum.labodiy.com
frequentflyermiles101.com
kidneyabc.com
yeclanodeportivo.com
atmo-picardie.com