Nvidia, un fabricante líder mundial de chips de IA, ha lanzado una aplicación de chatbot de IA que funciona localmente en las PCs. Esta aplicación, llamada Chat with RTX, ofrece características interesantes que pueden ayudar a los usuarios de diversas maneras.
Resumen de documentos y videos
Una de las principales características de Chat with RTX es su capacidad para resumir documentos subidos por los usuarios en formatos .txt, .pdf, .doc/.docx y .xml. Los usuarios pueden solicitar un resumen de estos documentos enviándolos a la aplicación, y la aplicación proporcionará un resumen breve y conciso.
Además de los documentos, Chat with RTX también puede resumir videos de YouTube al incrustar sus enlaces. Esta aplicación puede proporcionar información importante del video, como el título, la duración, la descripción y los puntos clave. La aplicación también puede proporcionar recomendaciones de lugares turísticos o tutoriales para hacer pasteles a partir de videos de creadores de YouTube al analizar el contenido y las palabras clave del video.
Tecnología avanzada y especificaciones altas
Chat with RTX utiliza la tecnología de generación aumentada de recuperación (RAG) y el software Nvidia TensorRT-LLM que aprovecha el poder de la IA. Esta tecnología permite a la aplicación buscar y generar información relevante y precisa a partir de los documentos o videos proporcionados por el usuario.
Para ejecutar esta aplicación, los usuarios necesitan una especificación mínima del dispositivo que es bastante alta, es decir, una GPU con 8 GB de VRAM, 16 GB de RAM, Windows 10 o 11, y controladores de GPU Nvidia versión 535.11 o más reciente. Esta aplicación también requiere 35 GB de espacio de almacenamiento y no requiere una conexión a internet durante su uso.
Esta aplicación es gratuita para descargar, aunque todavía está en versión de demostración. Sin embargo, los usuarios deben ser pacientes durante el proceso de instalación, y esta aplicación a veces puede consumir mucha energía. Además, esta aplicación no recuerda el contexto de la conversación, por lo que los usuarios no pueden hacer preguntas de seguimiento a partir de preguntas que ya se han hecho.
Un chatbot de IA más seguro y privado
Chat with RTX es similar al chatbot Gemini de Google o al ChatGPT de OpenAI, que también tienen la función de resumir documentos o videos. Sin embargo, a diferencia de las aplicaciones en la nube, Chat with RTX es un asistente digital personal que funciona localmente en la PC del usuario.
Esto significa que esta aplicación no envía datos de usuario a los servidores de Nvidia ni a terceros, lo que la hace más segura y privada. Los usuarios no necesitan preocuparse por la privacidad de sus datos, ya que esta aplicación solo accede a los datos proporcionados directamente por el usuario.
El paso de Nvidia para retener a los clientes
El lanzamiento de Chat with RTX es uno de los pasos de Nvidia para retener a sus clientes que planean desarrollar proyectos de chips de IA mientras continúan colaborando con Nvidia. Nvidia está desarrollando una unidad de negocio especial centrada en el diseño y la venta de chips de IA semi-personalizados, que se desarrollan en colaboración entre Nvidia y el cliente.
Utilizando los bloques de IP de Nvidia como base, los clientes también tienen la opción de integrar bloques de IP de terceros según sus necesidades. Nvidia estima un potencial de mercado de 30 mil millones de dólares para esta unidad de negocio especial.
Además, Nvidia se está asociando con Cisco, un proveedor de infraestructura de red, para ofrecer soluciones tecnológicas que faciliten a las empresas la construcción de su propia infraestructura de computación de IA interna mientras expanden el alcance de la tecnología de IA más allá de los grandes proveedores de centros de datos.
Cisco proporcionará computadoras servidor M7 que utilizan los últimos procesadores de Nvidia, software, modelos de IA y herramientas de desarrollo de Nvidia. Cisco también proporcionará su propio servicio basado en la nube para monitorear y administrar el sistema.
Esta colaboración abre la puerta al uso de la tecnología de Nvidia en varios sectores, mientras que Cisco puede capitalizar el uso creciente de la IA que ha convertido a Nvidia en uno de los fabricantes de chips más valiosos del mundo.
