Nvidia is broadening the horizons for its G-Assist AI assistant, introducing plugin support on April 23rd, 2025, that allows the on-device tool to interact with a range of third-party applications and data sources.
Initially launched in late March with a focus on optimizing PC performance and game settings for GeForce RTX users, G-Assist can now be extended via add-ons to control Spotify, check Twitch streams, query Google Gemini, and more, all processed locally on the user’s machine.
The assistant operates using an 8-billion parameter, Llama-based small language model (SLM) that runs directly on Nvidia RTX 30-, 40-, or 50-series desktop GPUs (requiring at least 12GB of VRAM) via the TensorRT-LLM framework.
This on-device processing, which occupies roughly 10GB of disk space, allows G-Assist to function offline and respond quickly by analyzing screen content through video capture și recunoașterea personajelor optice (OCR), fără a trimite date către cloud. NVIDIA observă, totuși, că invocarea g-asistului G în timpul sarcinilor intensive GPU, cum ar fi jocurile de noroc, ar putea provoca o scădere temporară a performanței, în timp ce GPU alocă resurse pentru procesarea AI, deși performanța revine la normal după aceea. href=”https://blogs.nvidia.com/blog/rtx-ai-garage-g-assist-plugin-builder/”target=”_ blank”> chatgpt bazat pe G-Assist Plugin Builder și a deschis un care conține pluginuri de probe, documentație și resurse pentru dezvoltatori.
Setul de instrumente permite entuziaștilor și dezvoltatorilor să creeze funcționalități personalizate. Arhitectura implică un fișier manifest.json care definește capacitățile pluginului (inclusiv funcții, parametri, descrieri și etichete) și un executabil (care poate folosi legăturile Python sau C ++ furnizate de NVIDIA). Un fișier opțional config.json poate stoca setări sau acreditări. Conform anunțului NVIDIA, dezvoltatorii pot „extinde capacitățile G-Assist cu funcționalitatea personalizată adaptată fluxurilor de lucru specifice, jocurilor și instrumentelor. Google Gemini: permite G-Assist să invoce AI-ul Gemini bazat pe cloud pentru interogări mai complexe, necesitând o cheie API Google AI Studio GRATUITĂ. twitch: Verificați dacă streamerele specifice live folosind comenzi vocale de genul: „Hei Twitch, este [streamer] live?” Controale periferice: gestionați iluminatul RGB și viteza ventilatorului pentru hardware acceptat de la Logitech G, CorsAir, MSI și Nanoleaf. Căutări de date: Exemplu de pluginuri demonstrează preluarea prețurilor la acțiuni în timp real și a informațiilor meteorologice.
Utilizatorii pot interacționa cu plugin-urile, permițând AI-ul G-Assist să determine funcția corectă pe baza unei interogări a limbajului natural (funcția zero-shot apelând prefixat cu/fc), fie prin invocarea directă a unui plugin pe nume (de exemplu,/Spotify Play Playlist meu sau „Hey Spotify, joacă playlistul meu”). GitHub Readme explică faptul că invocarea directă este, în general, mai rapidă atunci când utilizatorul știe ce funcție de plugin specifică au nevoie.
[Conținut încorporat]
AI local și dezvoltare comunitară
Pozițiile de mișcare G-asist G-Assist, accesat prin aplicația NVIDIA, care se suprapune, mai degrabă, folosind doar un utilaj scurt. NVIDIA subliniază capacitatea de a „interacționa cu g-asistul direct de la suprapunerea NVIDIA, fără a se înscrie dintr-o aplicație sau un flux de lucru”. Proiectul, licențiat sub Licență Apache 2.0 , încurajează în mod explicit dezvoltarea comunității, cu nvidia inviting plugin submissions via pull requests on GitHub for potential inclusion and sharing.
The system is designed for integration with AI agentic frameworks like Langflow, CrewAI, and Flowise, Potențial permițând G-Assist să servească ca o componentă în aplicații AI mai mari, eventual, cu coduri mici, AI și fluxuri de lucru. G-Assist în sine este construit folosind tehnologia NVIDIA Avatar Cloud Engine (ACE), aceiași dezvoltatori de suite utilizează pentru crearea de NPC-uri bazate pe AI.
Această abordare din primul local diferențiază G-Assist G-Assist de asistenții dependenți de cloud, cum ar fi Microsoft Copilot Xbox, care a fost lansată pentru insidatori în aprilie și se bazează pe procesarea la distanță prin intermediul unei interfețe de aplicații mobile, care a fost lansată pentru consolatori și în aprilie. G-Assist rămâne pe ecosistemul PC, bazându-se pe capacitățile sale inițiale pentru analiza performanței și reglarea sistemului, care au fost demonstrate în timpul Computex 2024 și au evoluat dintr-un concept pentru prima dată plutit ca Nvidia de prostie”2017 . Suport pentru laptopuri cu GPU-uri compatibile este planificat pentru o actualizare viitoare.