در SIGGRAPH، جنسن هوانگ انقلابی در گرافیک را روشن می کند

مدیران NVIDIA در یک سخنرانی ویژه سریع و تکان دهنده در SIGGRAPH، نیروهای محرک عصر بعدی گرافیک و گستره گسترده ابزارهای شرکت برای تسریع آن را تشریح کردند.

جنسن هوانگ، بنیانگذار و مدیر عامل NVIDIA، در افتتاحیه این مکالمه 45 دقیقه ای گفت: “ترکیب هوش مصنوعی و گرافیک کامپیوتری، متاورس، تکامل بعدی اینترنت را تقویت می کند.”

این خانه دنیای مجازی متصل و دوقلوهای دیجیتالی خواهد بود، مکانی برای کار و بازی واقعی. و هوانگ گفت، با چیزی که تبدیل به یکی از محبوب‌ترین اشکال روبات‌ها خواهد شد، زنده خواهد شد: آواتارهای دیجیتال انسان.

با 45 دمو و اسلاید، پنج بلندگوی NVIDIA اعلام کردند:

• یک پلتفرم جدید برای ایجاد آواتار، NVIDIA Omniverse Avatar Cloud Engine (ACE).
• برنامه هایی برای ساختن توصیف صحنه جهانی (USD)، زبان متاورس.
• افزونه‌های اصلی NVIDIA Omniverse، پلتفرم محاسباتی برای ایجاد جهان‌های مجازی و دوقلوهای دیجیتال.
• ابزارهایی برای بارگیری مجدد جریان های کاری گرافیکی با یادگیری ماشین.

او گفت: «اعلان‌هایی که امروز انجام دادیم، متاورس، یک پلت‌فرم محاسباتی جدید با مدل‌های برنامه‌نویسی جدید، معماری‌های جدید و استانداردهای جدید را بیشتر می‌کند.»

اپلیکیشن های متاورس اکنون اینجا هستند.

هوانگ به مصرف‌کنندگانی که محصولات سه‌بعدی مجازی را با واقعیت افزوده امتحان می‌کنند، مخابرات دوقلوهای دیجیتالی از شبکه‌های رادیویی خود را برای بهینه‌سازی و استقرار برج‌های رادیویی ایجاد می‌کنند، و شرکت‌هایی که دوقلوهای دیجیتالی از انبارها و کارخانه‌ها را برای بهینه‌سازی چیدمان و تدارکات خود ایجاد می‌کنند، اشاره کرد.

آواتارها را وارد کنید

متاورس با دستیارهای مجازی جان می گیرد، آواتارهایی که ما با آنها به طور طبیعی مانند صحبت با شخص دیگری در تعامل هستیم. آنها در کارخانه های دیجیتال کار می کنند، بازی های آنلاین بازی می کنند و خدمات مشتری را برای خرده فروشان الکترونیکی ارائه می دهند.

هوانگ گفت: «میلیاردها آواتار وجود خواهد داشت.

انسان های دیجیتال و آواتارها به پردازش زبان طبیعی، بینایی کامپیوتری، انیمیشن های پیچیده صورت و بدن و غیره نیاز دارند. برای حرکت و صحبت کردن به روش های واقع بینانه، این مجموعه از فناوری های پیچیده باید تا میلی ثانیه همگام شوند.

این کار سختی است که NVIDIA با موتور ابری آواتار Omniverse می‌خواهد آن را ساده‌سازی و سرعت بخشد. ACE مجموعه‌ای از مدل‌ها و سرویس‌های هوش مصنوعی است که بر اساس کار NVIDIA ساخته شده و همه چیز را از هوش مصنوعی مکالمه گرفته تا ابزارهای انیمیشن مانند Audio2Face و Audio2Emotion را پوشش می‌دهد.

“با Omniverse ACE، توسعه‌دهندگان می‌توانند برنامه آواتار خود را بر روی هر موتوری در هر ابر عمومی یا خصوصی بسازند، پیکربندی و مستقر کنند.» “ما می خواهیم ساخت آواتارهای تعاملی را برای هر پلتفرمی دموکراتیک کنیم.”

ACE در اوایل سال آینده در دسترس خواهد بود و بر روی سیستم های جاسازی شده و همه سرویس های ابری اصلی اجرا می شود.

Yuen همچنین آخرین نسخه Omniverse Audio2Face را به نمایش گذاشت، یک مدل هوش مصنوعی که می تواند انیمیشن صورت را مستقیماً از صداها ایجاد کند.

او گفت: «ما ویژگی‌های بیشتری را برای تجزیه و تحلیل و انتقال خودکار احساسات شما به آواتارتان اضافه کردیم.

نسخه‌های بعدی Audio2Face آواتارها را از یک عکس ایجاد می‌کنند، به‌طور خودکار بافت‌ها را اعمال می‌کنند و مش‌های سه بعدی آماده برای انیمیشن تولید می‌کنند. آن‌ها شبیه‌سازی‌های باکیفیتی از حرکات ماهیچه‌ای خواهند داشت که هوش مصنوعی می‌تواند از تماشای ویدیو یاد بگیرد – حتی موهایی واقع‌گرایانه که مطابق انتظار با یک مدل موی مجازی واکنش نشان می‌دهند.

USD، بنیاد اینترنت سه بعدی

بسیاری از ابرقدرت‌های متاورس بر مبنای دلار آمریکا، پایه‌ای برای اینترنت سه‌بعدی خواهند بود.

Rev Lebaredian، معاون Omniverse و فناوری شبیه‌سازی در NVIDIA، گفت: متاورس به یک روش استاندارد برای توصیف همه چیز در جهان‌های سه بعدی نیاز دارد.

او با مقایسه USD و HTML در وب دوبعدی اضافه کرد: “ما معتقدیم Universal Scene Description، که توسط Pixar اختراع و منبع باز است، توصیف صحنه استاندارد برای عصر بعدی اینترنت است.”

Lebaredian چشم انداز NVIDIA برای USD را کلیدی برای باز کردن احتمالات حتی بیشتر از امکانات موجود در دنیای فیزیکی توصیف کرد.

او با اشاره به برنامه‌های NVIDIA برای کمک به ایجاد پشتیبانی USD برای مجموعه شخصیت‌های بین‌المللی، مختصات جغرافیایی و جریان در داده‌های IoT بلادرنگ، گفت: «مراحل بعدی ما با هدف تولید دلار برای جهان‌های مجازی در مقیاس بزرگ و دوقلوهای دیجیتال صنعتی است. .

برای تسریع بیشتر پذیرش USD، NVIDIA یک بسته تست سازگاری USD و گواهینامه منتشر خواهد کرد. این به توسعه دهندگان این امکان را می دهد که بدانند اجزای USD سفارشی آنها نتیجه مورد انتظار را تولید می کنند.

علاوه بر این، NVIDIA مجموعه‌ای از دارایی‌های USD آماده شبیه‌سازی را اعلام کرد که برای استفاده در دوقلوهای دیجیتال صنعتی و جریان‌های کاری آموزشی هوش مصنوعی طراحی شده‌اند. آنها به انبوهی از منابع USD که به صورت آنلاین به صورت رایگان در دسترس هستند، می پیوندند، از جمله صحنه های آماده USD، آموزش های درخواستی، مستندات، و دوره های تحت رهبری مربی.

لباردیان گفت: “ما از همه می خواهیم که به ساخت و رشد دلار کمک کنند.”

Omniverse پالت خود را گسترش می دهد

یکی از بزرگ‌ترین اعلامیه‌ها در این آدرس ویژه، نسخه جدید بزرگ NVIDIA Omniverse بود، پلتفرمی که نزدیک به 200000 بار دانلود شده است.

هوانگ Omniverse را “یک پلتفرم USD، مجموعه ای از ابزارها برای ساخت برنامه های کاربردی متاورس، و یک موتور محاسباتی برای مدیریت جهان های مجازی” نامید.

آخرین نسخه شامل چندین فناوری اصلی ارتقا یافته و پیوندهای بیشتر به ابزارهای محبوب است.

این کانکتورها که Omniverse Connectors نام دارند، اکنون برای Unity، Blender، Autodesk Alias، Siemens JT، SimScale، Open Geospatial Consortium و غیره در حال توسعه هستند. رابط‌ها اکنون به صورت بتا برای PTC Creo، Visual Components و SideFX Houdini در دسترس هستند. این پیشرفت‌های جدید به زیمنس Xcelerator، که اکنون بخشی از شبکه Omniverse است، می‌پیوندد و از مشتریان صنعتی بیشتری در عصر دیجیتال دوقلو استقبال می‌کند.

استیو پارکر، معاون گرافیک حرفه‌ای انویدیا، می‌گوید Omniverse نیز مانند خود اینترنت، «شبکه‌ای از شبکه‌ها» است که کاربران را در صنایع و رشته‌ها به هم متصل می‌کند.

نزدیک به دوازده شرکت پیشرو قابلیت های Omniverse را در SIGGRAPH به نمایش خواهند گذاشت، از جمله سخت افزار، نرم افزار و ارائه دهندگان ابری از AWS و Adobe گرفته تا Dell، Epic و Microsoft. نیم دوجین شرکت جلسات مبتنی بر NVIDIA را با موضوعاتی مانند هوش مصنوعی و دنیای مجازی برگزار خواهند کرد.

شتاب فیزیک، انیمیشن حیوانات

پارکر چندین ارتقای فناوری در Omniverse را شرح داد. اینها شامل بهبودهایی برای شبیه‌سازی مواد دقیق فیزیکی با زبان تعریف مواد (MDL)، فیزیک بلادرنگ با PhysX، و سیستم رندر ترکیبی و هوش مصنوعی، RTX است.

پارکر می‌گوید: «این ستون‌های فناوری هسته‌ای توسط محاسبات با کارایی بالا NVIDIA از لبه تا ابر تأمین می‌شوند.

به عنوان مثال، PhysX اکنون از شبیه سازی بدنه و پارچه نرم با ذرات پشتیبانی می کند و دقت فیزیکی بیشتری را به دنیای مجازی بلادرنگ می آورد. و NVIDIA یک MDL کاملاً متن باز است، بنابراین می تواند به راحتی از استانداردهای API گرافیکی مانند OpenGL یا Vulkan پشتیبانی کند و استاندارد مواد را به طور گسترده در دسترس توسعه دهندگان قرار دهد.

Omniverse همچنین دارای قابلیت های گرافیک عصبی است که توسط NVIDIA Research توسعه یافته است که گرافیک RTX و هوش مصنوعی را با هم ترکیب می کند. مثلا:

• Animal Modelers به ​​هنرمندان اجازه می دهد تا شکل یک حیوان را با ابرهای نقطه ای تکرار کنند، سپس به طور خودکار یک شبکه سه بعدی تولید کنند.
• GauGAN360، تکامل بعدی NVIDIA GauGAN، پانورامای 8K و 360 درجه تولید می‌کند که می‌تواند به راحتی در صحنه Omniverse بارگذاری شود.
• Instant NeRF اشیاء و صحنه های سه بعدی را از تصاویر دو بعدی ایجاد می کند.

افزونه Omniverse برای NVIDIA Modulus، یک چارچوب یادگیری ماشینی، به توسعه دهندگان این امکان را می دهد تا از هوش مصنوعی برای سرعت بخشیدن به شبیه سازی های فیزیک دنیای واقعی تا 100000 بار استفاده کنند تا متاورس شبیه دنیای فیزیکی به نظر برسد و احساس شود.

علاوه بر این، Omniverse Machinima – موضوع یک رقابت پر جنب و جوش در SIGGRAPH – اکنون محتوای ورزشی از پست اسکریپتوم، آن سوی سیم و Shadow Warrior 3 و همچنین ابزارهای جدید انیمیشن هوش مصنوعی مانند Audio2Gesture.

دمویی از Industrial Light & Magic یک ویژگی جدید دیگر را به نمایش گذاشت. Omniverse DeepSearch از هوش مصنوعی برای کمک به تیم‌ها برای جستجوی شهودی پایگاه‌های داده عظیم دارایی‌های بدون برچسب استفاده می‌کند و نتایج دقیقی را برای عبارت‌ها ارائه می‌کند، حتی اگر به‌طور خاص در ابرداده فهرست نشده باشند.

گرافیک هوشمند شود

یکی از ستون های اصلی متاورژن در حال ظهور، نمودار عصبی است. این یک رشته ترکیبی است که از مدل های شبکه عصبی برای تسریع و بهبود گرافیک کامپیوتری استفاده می کند.

سانیا فیدلر، معاون هوش مصنوعی در NVIDIA می‌گوید: «گرافیک عصبی هوش مصنوعی و گرافیک را در هم می‌پیچد و راه را برای خط لوله گرافیکی آینده هموار می‌کند که می‌تواند از داده‌ها یاد بگیرد». او افزود: «گرافیک عصبی نحوه ایجاد، شبیه‌سازی و تجربه جهان‌های مجازی توسط کاربران را دوباره تعریف می‌کند.

هوش مصنوعی به هنرمندان کمک می کند تا حجم عظیمی از محتوای سه بعدی مورد نیاز برای ایجاد متاورس را ایجاد کنند. به عنوان مثال، آنها می توانند از نمودارهای عصبی برای ثبت سریع اشیا و رفتار در دنیای فیزیکی استفاده کنند.

Fidler نرم افزار NVIDIA را توصیف کرد که دقیقاً این کار را انجام می دهد، Instant NeRF، ابزاری برای ایجاد یک شی یا صحنه سه بعدی از تصاویر دو بعدی. این موضوع یکی از دو جایزه بهترین مقاله NVIDIA در SIGGRAPH است.

در دیگر جایزه بهترین مقاله، گرافیک عصبی مدلی را تقویت می‌کند که می‌تواند تأخیر پاسخ را در ورزش‌های الکترونیکی و برنامه‌های AR/VR پیش‌بینی کند و کاهش دهد. دو مقاله برتر در میان 16 مقاله ای هستند که محققان NVIDIA این هفته در SIGGRAPH ارائه می کنند.

طراحان و محققان می توانند از گرافیک عصبی و تکنیک های دیگر برای خلق آثار برنده جایزه خود با استفاده از کیت های توسعه نرم افزار جدید ارائه شده توسط NVIDIA در این رویداد استفاده کنند.

فیدلر یکی از آنها، Kaolin Wisp را توصیف کرد، مجموعه‌ای از ابزارها برای ایجاد میدان‌های عصبی – مدل‌های هوش مصنوعی که صحنه یا شیء سه بعدی را نشان می‌دهند – تنها با چند خط کد.

به طور جداگانه، NVIDIA NeuralVDB را معرفی کرد، تکامل بعدی استاندارد OpenVDB منبع باز، که صنایع از جلوه های بصری تا محاسبات علمی برای شبیه سازی و رندر آب، آتش، دود و ابرها استفاده می کنند.

NeuralVDB از مدل‌های عصبی و بهینه‌سازی GPU برای کاهش چشمگیر نیازهای حافظه استفاده می‌کند تا کاربران بتوانند با مجموعه داده‌های بسیار بزرگ و پیچیده در زمان واقعی تعامل داشته باشند و آنها را به طور مؤثرتری به اشتراک بگذارند.

هوانگ گفت: “هوش مصنوعی، قدرتمندترین نیروی تکنولوژیک زمان ما، در هر زمینه از علوم کامپیوتر، از جمله گرافیک کامپیوتری، انقلابی ایجاد خواهد کرد، و NVIDIA RTX موتور گرافیک عصبی است.”

آدرس اختصاصی کامل را در سایت رویداد SIGGRAPH NVIDIA تماشا کنید. در آنجا جزئیاتی در مورد آزمایشگاه‌ها، ارائه‌ها و اولین مستند پشت صحنه در مورد نحوه ایجاد آخرین سخنرانی GTC خود را نیز خواهید دید.