NVIDIA prezintă Chat with RTX, o demonstrație tehnologică care le permite utilizatorilor să personalizeze un chatbot cu propriul conținut, accelerat de un GPU NVIDIA GeForce RTX din seria 30 sau mai noua, cu cel puțin 8GB de VRAM.
Chat with RTX folosește generația cu recuperare augmentată (RAG), software-ul NVIDIA TensorRT-LLM și accelerarea NVIDIA RTX pentru a aduce capabilități de inteligență artificială generativă pe PC-urile echipate cu plăci grafice GeForce RTX 30 sau 40, care au sistem de operare Windows.
Utilizatorii pot conecta rapid și ușor fișierele locale de pe un PC ca set de date la un model de limbaj de mari dimensiuni oepn source, cum ar fi Mistral sau Llama 2, permițând interogări pentru răspunsuri rapide și relevante din punct de vedere contextual.
În loc să caute prin notițe sau prin conținutul salvat, utilizatorii pot pur și simplu să tasteze interogări. De exemplu, cineva ar putea întreba: “Care a fost restaurantul recomandat de partenerul meu în Las Vegas?”, iar Chat with RTX va scana fișierele locale pe care le indică utilizatorul și va oferi răspunsul cu context.
Instrumentul acceptă diferite formate de fișiere, inclusiv .txt, .pdf, .doc/.docx și .xml. Orientați aplicația către dosarul care conține aceste fișiere, iar instrumentul le va încărca în biblioteca sa în câteva secunde.
Utilizatorii pot include, de asemenea, informații din videoclipurile și playlist-urile de pe YouTube. Adăugarea unui URL video la Chat with RTX le permite utilizatorilor să integreze aceste cunoștințe în chatbotul lor pentru interogări contextuale.
De exemplu, cereți recomandări de călătorie pe baza conținutului din videoclipurile preferate ale influencerilor sau obțineți tutoriale rapide și instrucțiuni de utilizare pe baza resurselor educaționale de top.
Deoarece Chat with RTX rulează la nivel local pe PC-urile utilizatorilor, rezultatele furnizate sunt rapide – iar datele utilizatorului rămân doar pe dispozitivul utilizat. În loc să se bazeze pe servicii LLM bazate pe cloud, Chat with RTX le permite utilizatorilor să proceseze date sensibile pe un PC local, fără a fi nevoie să le partajeze cu o terță parte sau să aibă o conexiune la internet.
În plus față de un GPU GeForce RTX 30 Series sau mai nou, cu minimum 8GB de VRAM, Chat with RTX necesită Windows 10 sau 11 și cele mai recente drivere NVIDIA pentru GPU. Aflați mai multe despre Chat with RTX.
