Nvidia, un fabricant mondial de puces IA de premier plan, a lancé une application de chatbot IA qui fonctionne localement sur les PC. Cette application, appelée Chat with RTX, offre des fonctionnalités intéressantes qui peuvent aider les utilisateurs de diverses manières.
Résumé de documents et de vidéos
L’une des principales fonctionnalités de Chat with RTX est sa capacité à résumer des documents téléchargés par les utilisateurs aux formats .txt, .pdf, .doc/.docx et .xml. Les utilisateurs peuvent demander un résumé de ces documents en les envoyant à l’application, et l’application fournira un résumé bref et concis.
En plus des documents, Chat with RTX peut également résumer des vidéos YouTube en intégrant leurs liens. Cette application peut fournir des informations importantes de la vidéo, comme le titre, la durée, la description et les points clés. L’application peut également fournir des recommandations pour des lieux touristiques ou des tutoriels de fabrication de gâteaux à partir de vidéos de créateurs YouTube en analysant le contenu et les mots-clés de la vidéo.
Technologie avancée et spécifications élevées
Chat with RTX utilise la technologie de génération augmentée par récupération (RAG) et le logiciel Nvidia TensorRT-LLM qui exploite la puissance de l’IA. Cette technologie permet à l’application de rechercher et de générer des informations pertinentes et précises à partir des documents ou des vidéos fournis par l’utilisateur.
Pour exécuter cette application, les utilisateurs ont besoin d’une spécification minimale de l’appareil qui est assez élevée, à savoir un GPU avec 8 Go de VRAM, 16 Go de RAM, Windows 10 ou 11, et des pilotes de GPU Nvidia version 535.11 ou plus récente. Cette application nécessite également 35 Go d’espace de stockage et ne nécessite pas de connexion internet lors de son utilisation.
Cette application est gratuite à télécharger, bien qu’elle soit encore en version démo. Cependant, les utilisateurs doivent être patients pendant le processus d’installation, et cette application peut parfois être gourmande en énergie. De plus, cette application ne se souvient pas du contexte de la conversation, donc les utilisateurs ne peuvent pas poser de questions de suivi à partir de questions qui ont déjà été posées.
Un chatbot IA plus sûr et plus privé
Chat with RTX est similaire au chatbot Gemini de Google ou au ChatGPT d’OpenAI, qui ont également la fonction de résumer des documents ou des vidéos. Cependant, contrairement aux applications cloud, Chat with RTX est un assistant numérique personnel qui fonctionne localement sur le PC de l’utilisateur.
Cela signifie que cette application n’envoie pas les données de l’utilisateur aux serveurs Nvidia ou à d’autres tiers, ce qui la rend plus sûre et plus privée. Les utilisateurs n’ont pas à se soucier de la confidentialité de leurs données, car cette application n’accède qu’aux données directement fournies par l’utilisateur.
L’étape de Nvidia pour retenir les clients
Le lancement de Chat with RTX est l’une des étapes de Nvidia pour retenir ses clients qui prévoient de développer des projets de puces IA tout en continuant à collaborer avec Nvidia. Nvidia développe une unité commerciale spéciale axée sur la conception et la vente de puces IA semi-personnalisées, qui sont développées en collaboration entre Nvidia et le client.
En utilisant les blocs IP de Nvidia comme base, les clients ont également la possibilité d’intégrer des blocs IP de tiers en fonction de leurs besoins. Nvidia estime un potentiel de marché de 30 milliards de dollars pour cette unité commerciale spéciale.
De plus, Nvidia s’associe à Cisco, un fournisseur d’infrastructure réseau, pour offrir des solutions technologiques qui facilitent la construction par les entreprises de leur propre infrastructure informatique IA interne tout en élargissant la portée de la technologie IA au-delà des grands fournisseurs de centres de données.
Cisco fournira des ordinateurs serveurs M7 qui utilisent les derniers processeurs de Nvidia, des logiciels, des modèles IA et des outils de développement de Nvidia. Cisco fournira également son propre service basé sur le cloud pour surveiller et gérer le système.
Cette collaboration ouvre la porte à l’utilisation de la technologie Nvidia dans divers secteurs, tandis que Cisco peut capitaliser sur l’utilisation croissante de l’IA qui a fait de Nvidia l’un des fabricants de puces les plus précieux au monde.
