NVIDIA Corp. dnes na GTC Taipei a Computex odhalila niekoľko open{1}}zdrojových fyzických zručností a nástrojov AI, ktoré pomôžu vývojárom robotiky, autonómnych vozidiel, vizuálnej AI a priemyselných digitálnych dvojčiat. Spoločnosť tvrdila, že môžu pomôcť znížiť náklady, čas a zložitosť budovania fyzických pracovných postupov AI vo veľkom rozsahu.
K dispozícii ako súčasťNVIDIA Agent ToolkitNové zručnosti umožnia agentom AI urýchliť generovanie údajov, simuláciu, školenie, hodnotenie a nasadzovanie za robotmi, autonómnymi vozidlami (AV), továrňami a laboratóriami, uviedla spoločnosť.
„Agenti AI prinášajú revolúciu vo vývoji softvéru a tento posun teraz prichádza k fyzickej AI, ktorá sa rozširuje do systémov, ktoré zmenia dopravu, výrobu, zdravotníctvo a robotiku,“ povedal Jensen Huang, zakladateľ a generálny riaditeľ spoločnosti NVIDIA v GTC Taipei. „Keď môžu agenti priamo využívať knižnice, modely a rámce NVIDIA, vývoj fyzickej AI bude napredovať rýchlejšie, čo umožní vývojárom stavať roboty, autonómne vozidlá a priemyselné systémy budúcnosti neuveriteľným tempom.“
„Fyzická AI vyžaduje obrovské množstvo tréningových dát v rôznych prostrediach,“ poznamenal Rev Lebaredian, viceprezident pre simuláciu fyzickej AI v spoločnosti NVIDIA. „Údaje teleoperácie, simulácie a internetu-vedú k modelom svetových základov pre nekonečnú rozmanitosť prípadov použitia.“
NVIDIA pripravuje fyzického agenta zásobníka AI-
NVIDIA uviedla, že optimalizuje celý svoj fyzický zásobník AI pre agentov premenou knižníc, modelov a rámcov na nástroje-voliteľné agentom. To zahŕňa:
NVIDIA Cosmos3 modely svetových základov pre uvažovanie a generovanie fyzického sveta
NVIDIA Omniverseknižnice pre simuláciu a digitálne dvojčatá
NVIDIA Isaacpre robotickú simuláciu a učenie robotov
NVIDIA Metropolispre víziu AI
NVIDIA Alpamayopreautonómne riadenie
NVIDIA Jetsonplatforma pre vývoj okrajovej AI
„Cosmos 3 je hraničný základný model pre fyzickú AI,“ povedal Lebaredian. "Rozumie videám a textu a dokáže označiť to, na čom záleží. Cosmos je fyzicky presná simulácia a je schopná predpovedať, čo sa stane ďalej, a generovať akcie."
Na pomoc s aplikáciou týchto nástrojov sa spúšťa NVIDIAnové zručnostipremeniť fyzické procesy vývoja AI na opakovateľné pokyny, ktoré môžu kódujúci agenti nasledovať. To zahŕňa, ktoré nástroje zavolať, aké výstupy vytvoriť a ako môžu vývojári overiť výsledky.
Vývojári môžu tiež bezpečne zostavovať a nasadzovať autonómnych agentov pomocou týchto zručností sNVIDIA NemoClawmodrotlač aNVIDIA OpenShellruntime, ktorý poskytuje{0}}riadenie zabezpečenia a ochrany osobných údajov na lokálnom alebo cloudovom hardvéri. Agenti budú bežať na okraji v Jetsone a už preukázali zlepšenia prevádzkyschopnosti, povedal Lebaredian.
NVIDIA uviedla, že jej fyzické zručnosti a nástroje AI urýchľujú vývoj agentov naprieč:
Robotika a hrana AI:Vývojári robotov môžu využiť svoje zručnosti na urýchlenie celého procesu vývoja robotiky, od generovania údajov o tréningu vnímania a mobility až po simuláciu, automatizáciu tréningu navigácie, pokročilé učenie robotov a vyladenie okrajových systémov založených na Jetson-na nasadenie.
Autonómne vozidlá:Pre vývojárov AV môžu zručnosti nasmerovať agentov na rekonštrukciu údajov zachytených flotilami do simulačných prostredí, generovanie fotorealistických jazdných scenárov vo veľkom meradle a spúšťanie učenia sa v uzavretom{0}}cykle posilňovania s cieľom rozšíriť pokrytie školenia a hodnotenia.
Agenti umelej inteligencie-v reálnom čase:NVIDIA uviedla, že pokiaľ ide o automatizovanú kontrolu a video spravodajstvo, jej schopnosti agentov môžu pomôcť tímom generovať syntetické tréningové údaje, dolaďovať{0}}modely, automatizovať označovanie a zostavovať video agentov AI, ktorí vyhľadávajú, sumarizujú a analyzujú živé alebo nahrané video.
Priemyselná umelá inteligencia:Vývojári priemyselného softvéru môžu tieto zručnosti využiť na konverziu technických údajov na prostriedky počítačového{0}}dizajnu (CAD) na simuláciu digitálneho dvojčaťa, čím sa optimalizujú veľké scény OpenUSD s menej manuálnym nastavovaním.
zdravotná starostlivosť:Pred nasadením automatizácie v klinických prostrediach môžu zdravotnícke tímy previesť agentov vytvorením digitálnych dvojčiat nemocničného prostredia, sim{0}}až po{1}}skutočné generovanie údajov a softvérové-in{3}}testovanie-slučkovej politiky.
Podľa NVIDIA je možné tieto zručnosti kombinovať a integrovať do väčších agentských systémov. To umožňuje vývojárom organizovať a automatizovať zložité pracovné postupy, ako je generovanie údajov, simulácia, optimalizácia, ladenie záverov, nepretržité vyhodnocovanie a ďalšie.
Vývojári robotiky vyzdvihli fyzický zásobník AI
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI a Universal Robots patria medzi robotické spoločnosti, ktoré už používajú NVIDIA-pripravený fyzický zásobník AI pre agentov.
„Vďaka aktualizáciám zásobníka v NVIDIA Isaac GR00T je možné nové koncové{1}}konc{2}}pracovné postupy nastaviť v priebehu hodín alebo týždňov,“ povedal Lebaredian. „Všeobecný-modálny“ znamená, že pracuje s rôznymi režimami - videa, senzorov, textu a zvuku pre vstupy a výstupy akcií.“
Okrem toho Foxconn a Compal používajú NVIDIA Isaac for Healthcare na urýchlenie robotiky v nemocniciach. Spoločnosť Compal napreduje vo vývoji svojho robota PolyMedX smerom k-širokej nemocničnej orchestračnej platforme, ktorá integruje simuláciu, AI a operácie v reálnom-svete.
Foxconn rozširuje Nurabot v niekoľkých nemocniciach a prostrediach dlhodobej{0}}starostlivosti, pričom prináša robotiku poháňanú AI-do starostlivosti o pacientov a zároveň predstavuje svojho nového kolaboratívneho robota Scrub Nurse, ktorý pomáha optimalizovať pracovné postupy na operačných sálach.
Lídri v tomto odvetví stavajú s technológiami NVIDIA
Partneri a zákazníci spoločnosti NVIDIA z oblasti výroby, dopravy, zdravotníctva a priemyselného softvéru využívajú jej fyzické knižnice AI na pokrok vo vývoji autonómnych systémov a priemyselnej AI.
Keď sa tieto knižnice stanú-pripravenými na agentov, vývojári môžu využiť zručnosti NVIDIA, aby pomohli agentom automatizovať nastavenie, spúšťanie a iteráciu v rámci komplexných fyzických pracovných postupov AI.
Vo výrobe elektroniky TSMC a Pegatron dolaďujú -modely vizuálnej kontroly. Pegatron údajne skrátil čas nácviku a nasadenia modelu o 67 % pomocou syntetických údajov generovaných zručnosťou generovania obrazu defektov.
Delta Electronics vygenerovala údaje o syntetických defektoch a využila túto zručnosť na zachytenie prebytočného spájkovania na kovových prípojniciach, čím sa zlepšila miera detekcie o 17 %. Spoločnosť Inventec vyvinula svoj systém vizuálnej kontroly Observation Agent integráciou zručnosti generovania obrazu defektov, čím sa o 30 % znížilo úsilie o zber chybných údajov pri výrobe šasi notebookov.
Foxconn v spolupráci s DeepHow využil túto zručnosť na zlepšenie výrobnej efektivity včasným zachytením chýb, čím zvýšil výťažnosť prvého prechodu o približne 3 %.
V priemyselnej AI Cadence, Dassault Systèmes, Siemens a Synopsys využívajú knižnice a zručnosti NVIDIA Omniverse na kontrolu inžinierskych dát, simuláciu a interaktívne digitálne dvojičky. PTC, MetAI a Lightwheel využívajú rámec NVIDIA Isaac Sim a pracovné postupy-založené na OpenUSD na transformáciu údajov CAD na prostriedky a prostredia pripravené na simuláciu-.
SK hynix ako súčasť svojho plánu „Autonómna Fab 2030“ implementuje digitálne dvojičky polovodičových fab pomocou NVIDIA Omniverse. Výrobca čipov tiež spolupracuje so spoločnosťami NVIDIA a SK Telecom na overení súpravy NVIDIA Agent Toolkit na výrobu-špecifickej fyzickej AI.
Samoriadiaci vývojári Li Auto, Afari a DeepRoute.ai používajú modely NVIDIA Omniverse NuRec na rekonštrukciu a vykresľovanie neurónovej scény. Vygenerovali viac ako 1 000 rekonštrukcií a viac ako 300 000 renderov a simulácií denne.
Okrem toho AV spoločnosti využívajú nové úložisko schopností agentov na urýchlenie a zlepšenie ich vývoja bezpečnejších a schopnejších systémov autonómneho riadenia. Foxconn, VinFast, Uber a HUMAIN sa pripojili k ekosystému NVIDIA DRIVE Hyperion, aby vyvinuli a nasadili robotickú os SAE úrovne 4.
Alpamayo 2 Super bol stiahnutý už viac ako 500 000-krát a na Computex bol označený za „najlepšiu technológiu“, povedal Spencer Huang, riaditeľ produktu pre robotiku v spoločnosti NVIDIA.
Nástroje fyzického agenta AI sú teraz k dispozícii
NVIDIA uviedla, že jej fyzické nástroje a zručnosti AI agentov sú dostupné prostredníctvomGitHubaskills.shna použitie s akýmkoľvek kódovacím činidlom.
Zručnosti a nástroje agentov na generovanie syntetických údajov -Neurálna rekonštrukcia, Rozšírenie videa, Generovanie defektného obrazu- sú dostupné aj na NVIDIA Brev asFyzické spúšťacie prvky AI, predkonfigurované prostredia, ktoré spájajú schopnosti agentov a nástroje na rýchlejšie generovanie a vyhodnocovanie syntetických údajov.
Microsoft,CoreWeaveaNebiusintegrujú tieto schopnosti a nástroje agentov so svojimi cloudovými službami, aby umožnili vývojárom zefektívniť a škálovať generovanie a nasadenie syntetických údajov.
Unitree humanoid referencia pre NVIDIA Isaac GR00T
NVIDIA tiež oznámila referenčný humanoidný robot NVIDIA Isaac GR00T, otvorený referenčný dizajn humanoidného robota postavený na NVIDIA Jetson Thor a vývojovej platforme NVIDIA Isaac GR00T. Spoločnosť uviedla, že to pomôže demokratizovať prístup k pokročilému hardvéru a softvéru bez toho, aby sa vyžadovali drahé, proprietárne platformy.univerzálne-humanoidyzvyšuje.
NVIDIA skombinovala telo robota v plnej{0}}veľkosti so zručnou manipuláciou, snímaním, ovládaním a integrovaným výpočtom AI:
Humanoidný podvozok Unitree H2,vysoký takmer 1,8 m a vážiaci 150 lb. (68 kg) s 31 stupňami voľnosti na testovanie na-ľudskom stupni.
DvojitéVlna Sharpahmatové päť{0}}ruky,umožňuje obratnú manipuláciu s 22 stupňami voľnosti a prináša robotovi 75 stupňov voľnosti po celom tele a rukách.
Viac{0}}zobrazenie,vrátane náhlavnej-stereokamery so širokým zorným poľom (140 stupňov horizontálne, 102 stupňov vertikálne), kamier na zápästie na manipuláciu-na blízko a meracej jednotky zotrvačnosti na sledovanie pohybu.
ovládanie celého-tela,s krútiacim momentom ramena až 120 Newton-metrov, krútiacim momentom nôh až 360 Newton-metrov, menovitým užitočným zaťažením ramena 7 kg (15,4 lb.) a maximálnym užitočným zaťažením 15 kg (33 lb.), čo umožňuje schopnejšie zdvíhanie a dosah.
Palubný počítač NVIDIA Jetson AGX Thor T5000,obsahuje GPU NVIDIA Blackwell s výkonom 2 070 FP4 teraflopov AI, 14-jadrový procesor Arm, 128 GB zjednotenej pamäte a konfigurovateľný výkonový rozsah 40 až 130 wattov pre spracovanie senzorov v reálnom čase a odvodenie robotov.
Konektivitacez Ethernet, Wi{0}}Fi 6, Bluetooth 5.2, USB a rad mikrofónov a reproduktorov pre hlasovú interakciu.
Batéria pre dlhšiu prevádzku,s kapacitou 15 Ah, kapacitou 0,972 kWh a približne tromi hodinami životnosti.
Na-núdzovom zastavení na diaľkufunkcia na rýchle a bezpečné odpojenie robota.
Platforma Isaac GR00T zahŕňa:
NVIDIA Isaac Teleopna zachytávanie-kvalitných údajov o demonštráciách robotov na školenie a vývoj pravidiel.
Modely s otvoreným základom NVIDIA Isaac GR00Tna podporu humanoidného uvažovania, učenia a multitaskingového správania.
NVIDIA Isaac Sim aIsaac Labsimulovať, trénovať, testovať a vyhodnocovať pravidlá pre roboty pred nasadením v reálnom{0}}svete.
Zrýchlený middleware NVIDIA Isaac ROSpresunúť nacvičené pravidlá na roboty.
NVIDIA Jetson Thorbežať v{0}}reálnom čase, na-odvodzovaní a ovládaní robota.
Systém je navrhnutý ako modulárny, takže robotické tímy môžu využívať celú platformu alebo integrovať vybrané schopnosti do existujúcich vývojových kanálov, čo im pomáha škálovať humanoidný vývoj bez prestavby rovnakej infraštruktúry pre každého robota alebo úlohu.
Popredné výskumné inštitúcie vrátane Ai2, ETH Zurich, Stanford Robotics Center a Advanced Robotics and Controls Laboratory UC San Diego plánujú použiť tento referenčný návrh na pokrok vo výskume humanoidnej robotiky.
„Na dosiahnutie pokroku smerom k-univerzálnym robotom výskumníci potrebujú platformy, ktoré sú schopné a zároveň široko dostupné,“ povedal Deepak Pathak,-zakladateľ a generálny riaditeľ Skild AI. "Referenčný dizajn umožňuje viacerým výskumníkom podieľať sa na hraničnom humanoidnom výskume a rýchlejšie prejsť od nápadov k experimentom. To pomáha posúvať celý ekosystém výskumu robotiky dopredu."