VMware et l'équipe Nvidia sur l'entreprise

Jul 31, 2023

Par Maria Korolov

Rédacteur collaborateur, Network World |

Les entreprises qui tentent aujourd’hui de déployer l’IA générative sont confrontées à un problème majeur. S’ils utilisent une plateforme commerciale comme OpenAI, ils doivent envoyer les données vers le cloud, ce qui peut aller à l’encontre des exigences de conformité et s’avérer coûteux. S'ils téléchargent et exécutent un modèle comme Llama 2 localement, ils doivent en savoir beaucoup sur la façon de l'affiner, de configurer des bases de données vectorielles pour l'alimenter en données en direct et de le rendre opérationnel.

Le nouveau partenariat de VMware avec Nvidia vise à résoudre ces problèmes en proposant une plate-forme d'IA générative entièrement intégrée et prête à l'emploi que les entreprises peuvent exécuter sur site, dans des installations de colocation ou dans des cloud privés. La plate-forme comprendra Llama 2 ou un choix d'autres grands modèles de langage, ainsi qu'une base de données vectorielles pour fournir des informations à jour sur l'entreprise au LLM.

Le produit, VMware Private AI Foundation with Nvidia, comportera un logiciel d'IA générative et un calcul accéléré de Nvidia, et il sera construit sur VMware Cloud Foundation et optimisé pour l'IA.

Le besoin d’une plateforme comme celle-ci est dramatique. Selon l'étude de référence mondiale sur l'IA générative de Lucidworks publiée ce mois-ci, 96 % des dirigeants et des managers impliqués dans les processus décisionnels en matière d'IA donnent activement la priorité aux investissements dans l'IA générative, et 93 % des entreprises prévoient d'augmenter leurs dépenses en IA au cours de l'année à venir.

Mais la gestion des risques est une préoccupation majeure. Le paysage réglementaire incertain et en évolution a un impact significatif sur les décisions d’investissement dans l’IA générative, ont déclaré 77 % des PDG interrogés dans le cadre d’une récente enquête de KPMG. La priorité accordée à une gestion efficace des risques a augmenté dans tous les domaines au cours des derniers mois, a rapporté KPMG, la protection des données personnelles et les problèmes de confidentialité étant en tête de liste des priorités avec 63 %, suivis par la cybersécurité avec 62 %.

L’exécution de modèles de langage volumineux sur site ou dans d’autres environnements contrôlés par l’entreprise peut considérablement atténuer bon nombre de ces problèmes.

« Avoir la possibilité d'exécuter un modèle localement peut ouvrir de nombreuses portes aux entreprises à qui il était simplement interdit d'utiliser des modèles hébergés publiquement, même s'ils étaient hébergés dans un cloud public virtuel », déclare Bradley Shimmin, analyste en chef des plates-formes d'IA, de l'analyse et de l'analyse. gestion de données au sein du cabinet de recherche Omdia.

Cela est particulièrement important pour les secteurs fortement réglementés comme la finance, dit-il, ou pour les cas d'utilisation par le gouvernement. Les LLM locaux peuvent également répondre aux problèmes de résidence des données.

"Avoir la possibilité de disposer de modèles de pointe que vous pouvez exécuter entièrement dans des systèmes à air isolé est assez convaincant", déclare Shimmin. "Il s'agit avant tout d'adapter le modèle aux données. La gravité des données est le moteur de l'ensemble du secteur."

Si les modèles exécutés localement sont également gratuits et open source, les entreprises pourront économiser beaucoup d’argent en n’ayant pas à payer pour les appels d’API OpenAI. « La latence est plus faible, le coût est inférieur et vous avez plus de contrôle sur celui-ci », déclare Manish Goyal, responsable mondial de l'IA et de l'analyse chez IBM Consulting.

La nouvelle offre de VMware est positionnée pour capter la vague.

Et cette semaine, lors de la conférence VMware Explore 2023, Nvidia et VMware démontrent comment les entreprises peuvent utiliser leurs outils pour télécharger des LLM open source gratuits, les personnaliser et déployer une IA générative de qualité production dans les environnements VMware.

Le piège ? VMware Private AI Foundation ne sera disponible qu'au début de l'année prochaine.

« Nous pensons que les entreprises apporteront davantage de charges de travail de génération IA à leurs données, plutôt que de déplacer leurs données vers les services de cloud public », déclare Paul Turner, vice-président de la gestion des produits pour vSphere et la plateforme cloud chez VMware.

Les entreprises peuvent prendre des modèles comme Meta's Llama 2, les placer dans leurs centres de données à côté de leurs données, les optimiser et les affiner, et créer de nouvelles offres commerciales, explique-t-il. "Cela contribue à créer des différenciateurs commerciaux pour les entreprises."