Nvidia, un leader mondiale nella produzione di chip IA, ha lanciato un’applicazione di chatbot IA che funziona localmente sui PC. Questa applicazione, chiamata Chat with RTX, offre funzionalità interessanti che possono assistere gli utenti in vari modi.
Riassunto di documenti e video
Una delle principali caratteristiche di Chat with RTX è la sua capacità di riassumere documenti caricati dagli utenti nei formati .txt, .pdf, .doc/.docx e .xml. Gli utenti possono richiedere un riassunto di questi documenti inviandoli all’applicazione, e l’applicazione fornirà un riassunto breve e conciso.
Oltre ai documenti, Chat with RTX può anche riassumere i video di YouTube incorporando i loro link. Questa applicazione può fornire informazioni importanti dal video, come il titolo, la durata, la descrizione e i punti chiave. L’applicazione può anche fornire raccomandazioni per luoghi turistici o tutorial per fare torte dai video dei creatori di YouTube analizzando il contenuto e le parole chiave del video.
Tecnologia avanzata e specifiche elevate
Chat with RTX utilizza la tecnologia di generazione aumentata di recupero (RAG) e il software Nvidia TensorRT-LLM che sfrutta la potenza dell’IA. Questa tecnologia permette all’applicazione di cercare e generare informazioni rilevanti e accurate dai documenti o dai video forniti dall’utente.
Per eseguire questa applicazione, gli utenti hanno bisogno di una specifica minima del dispositivo che è abbastanza alta, cioè una GPU con 8 GB di VRAM, 16 GB di RAM, Windows 10 o 11, e driver GPU Nvidia versione 535.11 o più recente. Questa applicazione richiede anche 35 GB di spazio di archiviazione e non richiede una connessione internet durante l’uso.
Questa applicazione è gratuita da scaricare, anche se è ancora in versione demo. Tuttavia, gli utenti devono essere pazienti durante il processo di installazione, e questa applicazione può a volte consumare molta energia. Inoltre, questa applicazione non ricorda il contesto della conversazione, quindi gli utenti non possono fare domande di seguito a domande che sono già state fatte.
Un chatbot IA più sicuro e privato
Chat with RTX è simile al chatbot Gemini di Google o al ChatGPT di OpenAI, che hanno anche la funzione di riassumere documenti o video. Tuttavia, a differenza delle applicazioni cloud, Chat with RTX è un assistente digitale personale che funziona localmente sul PC dell’utente.
Questo significa che questa applicazione non invia dati dell’utente ai server Nvidia o ad altri terzi, rendendola più sicura e privata. Gli utenti non devono preoccuparsi della privacy dei loro dati, poiché questa applicazione accede solo ai dati forniti direttamente dall’utente.
Il passo di Nvidia per trattenere i clienti
Il lancio di Chat with RTX è uno dei passi di Nvidia per trattenere i suoi clienti che pianificano di sviluppare progetti di chip IA continuando a collaborare con Nvidia. Nvidia sta sviluppando un’unità aziendale speciale focalizzata sulla progettazione e vendita di chip IA semi-personalizzati, che vengono sviluppati in collaborazione tra Nvidia e il cliente.
Utilizzando i blocchi IP di Nvidia come base, i clienti hanno anche la possibilità di integrare blocchi IP di terze parti secondo le loro esigenze. Nvidia stima un potenziale di mercato di 30 miliardi di dollari per questa unità aziendale speciale.
Inoltre, Nvidia sta collaborando con Cisco, un fornitore di infrastrutture di rete, per offrire soluzioni tecnologiche che facilitano alle aziende la costruzione della propria infrastruttura di calcolo IA interna, espandendo al contempo la portata della tecnologia IA oltre i grandi fornitori di data center.
Cisco fornirà computer server M7 che utilizzano i più recenti processori Nvidia, software, modelli IA e strumenti di sviluppo di Nvidia. Cisco fornirà anche il proprio servizio basato su cloud per monitorare e gestire il sistema.
Questa collaborazione apre le porte all’uso della tecnologia Nvidia in vari settori, mentre Cisco può trarre vantaggio dal crescente utilizzo dell’intelligenza artificiale che ha reso Nvidia uno dei produttori di chip più preziosi al mondo.
