في مؤتمر GTC Taipei وComputex اليوم، كشفت شركة NVIDIA Corp. عن العديد من مهارات وأدوات الذكاء الاصطناعي المادي مفتوحة المصدر لمساعدة مطوري الروبوتات، والمركبات الذاتية القيادة، والذكاء الاصطناعي المرئي، والتوائم الرقمية الصناعية. ادعت الشركة أنها يمكن أن تساعد في تقليل التكاليف والوقت والتعقيد في إنشاء مسارات عمل فعلية للذكاء الاصطناعي على نطاق واسع.
متاح كجزء منمجموعة أدوات وكيل NVIDIAوقالت الشركة إن المهارات الجديدة ستسمح لعملاء الذكاء الاصطناعي بتسريع عملية توليد البيانات والمحاكاة والتدريب والتقييم ونشر خطوط الأنابيب خلف الروبوتات والمركبات ذاتية القيادة (AVs) والمصانع والمختبرات.
وقال جنسن هوانغ، المؤسس والرئيس التنفيذي لشركة NVIDIA في GTC تايبيه: "يُحدث وكلاء الذكاء الاصطناعي ثورة في تطوير البرمجيات، وهذا التحول يأتي الآن إلى الذكاء الاصطناعي المادي، ويمتد إلى الأنظمة التي ستحدث تحولًا في وسائل النقل والتصنيع والرعاية الصحية والروبوتات". "عندما يتمكن الوكلاء من استخدام مكتبات ونماذج وأطر عمل NVIDIA مباشرة، فإن تطوير الذكاء الاصطناعي المادي سوف يتحرك بشكل أسرع، مما يمكّن المطورين من بناء الروبوتات والمركبات المستقلة والأنظمة الصناعية للمستقبل بوتيرة مذهلة."
وأشار القس ليبارديان، نائب الرئيس لمحاكاة الذكاء الاصطناعي المادي في NVIDIA: "يتطلب الذكاء الاصطناعي المادي كميات هائلة من بيانات التدريب في بيئات متنوعة". "تؤدي بيانات التشغيل عن بعد والمحاكاة والإنترنت- إلى نماذج أساسية عالمية لتنوع لا نهائي من حالات الاستخدام."
تجعل NVIDIA وكيل مكدس الذكاء الاصطناعي الفعلي -جاهزًا
صرحت NVIDIA بأنها تعمل على تحسين حزمة الذكاء الاصطناعي الفعلية الخاصة بها بالكامل للوكلاء من خلال تحويل المكتبات والنماذج وأطر العمل إلى أدوات قابلة للاستدعاء للوكلاء. وهذا يشمل:
نفيديا كوزموس3 نماذج أساسية عالمية للاستدلال والجيل في العالم المادي
نفيديا أومنيفرسمكتبات المحاكاة والتوائم الرقمية
نفيديا إسحاقلمحاكاة الروبوتات وتعلم الروبوت
نفيديا متروبوليسللرؤية AI
نفيديا البامايولالقيادة الذاتية
نفيديا جيتسونمنصة لتطوير الذكاء الاصطناعي الحافة
وقال ليباريديان: "إن Cosmos 3 هو النموذج الأساسي الحدودي للذكاء الاصطناعي المادي". "إنه يفهم مقاطع الفيديو والنصوص ويمكنه تحديد ما يهم. إن Cosmos عبارة عن محاكاة دقيقة ماديًا وقادرة على التنبؤ بما سيحدث بعد ذلك وتوليد الإجراءات."
للمساعدة في تطبيق هذه الأدوات، تم إطلاق NVIDIAمهارات جديدةلتحويل عمليات تطوير الذكاء الاصطناعي الفعلية إلى تعليمات قابلة للتكرار يمكن لوكلاء البرمجة اتباعها. يتضمن ذلك الأدوات التي يجب الاتصال بها، والمخرجات التي سيتم إنتاجها، وكيف يمكن للمطورين التحقق من صحة النتائج.
يمكن للمطورين أيضًا إنشاء ونشر عملاء مستقلين بأمان باستخدام هذه المهارات معنفيديا نيمو كلاومخطط ونفيديا أوبنشيلوقت التشغيل، والذي يوفر-إدارة الخصوصية والأمن المستندة إلى السياسة على الأجهزة المحلية أو السحابية. وقال ليباريديان إن الوكلاء سيعملون على الحافة في Jetson وقد أظهروا بالفعل تحسينات في وقت التشغيل.
قالت NVIDIA إن مهاراتها وأدواتها في مجال الذكاء الاصطناعي المادي تعمل على تسريع عملية تطوير الوكلاء عبر:
الروبوتات والذكاء الاصطناعي الحافة:يمكن لمطوري الروبوتات استخدام المهارات لتسريع مسار تطوير الروبوتات بالكامل، بدءًا من توليد بيانات التدريب على الإدراك والتنقل وحتى المحاكاة، وأتمتة التدريب على التنقل، وتطوير تعلم الروبوتات، وضبط أنظمة الحافة المستندة إلى Jetson- للنشر.
المركبات ذاتية القيادة:بالنسبة لمطوري AV، يمكن للمهارات توجيه الوكلاء لإعادة بناء البيانات التي تم التقاطها بواسطة الأساطيل في بيئات محاكاة، وإنشاء سيناريوهات قيادة واقعية على نطاق واسع، وتشغيل التعلم المعزز-المغلق لتوسيع نطاق التدريب وتغطية التقييم.
وكلاء الذكاء الاصطناعي للرؤية في الوقت الفعلي-:بالنسبة للفحص الآلي وذكاء الفيديو، قالت NVIDIA إن مهارات الوكيل لديها يمكن أن تساعد الفرق في إنشاء بيانات تدريب تركيبية،-وضبط النماذج، وأتمتة وضع العلامات، وإنشاء عملاء الذكاء الاصطناعي للفيديو الذين يبحثون ويلخصون ويحللون الفيديو المباشر أو المسجل.
الذكاء الاصطناعي الصناعي:يمكن لمطوري البرامج الصناعية استخدام هذه المهارات لتحويل البيانات الهندسية إلى أصول تصميم بمساعدة الكمبيوتر (CAD)- لمحاكاة التوأم الرقمي، مما يؤدي إلى تحسين مشاهد OpenUSD الكبيرة مع إعداد يدوي أقل.
الرعاية الصحية:قبل نشر التشغيل الآلي في البيئات السريرية، يمكن لفرق الرعاية الصحية توجيه الوكلاء من خلال إنشاء توائم رقمية لبيئات المستشفيات، والمحاكاة-إلى-إنشاء البيانات الحقيقية، والبرامج-في-اختبار سياسة الحلقة-.
يمكن دمج المهارات ودمجها في أنظمة وكيل أكبر، وفقًا لـ NVIDIA. يتيح ذلك للمطورين تنسيق وأتمتة عمليات سير العمل المعقدة مثل إنشاء البيانات والمحاكاة والتحسين وضبط الاستدلال والتقييم المستمر والمزيد.
يلتقط مطورو الروبوتات مكدس الذكاء الاصطناعي الفعلي
تعد 1X Technologies وAgile Robots وAgility وFieldAI وHexagon Robotics وNEURA Robotics وSkild AI وUniversal Robots من بين شركات الروبوتات التي تستخدم بالفعل حزمة الذكاء الاصطناعي المادية الجاهزة لوكيل NVIDIA-.
"بفضل تحديثات المكدس في NVIDIA Isaac GR00T، يمكن إعداد سير العمل الجديد من النهاية-إلى-النهاية في ساعات مقابل أسابيع،" قال ليباريديان. "'Omni-modal' يعني أنه يعمل مع أوضاع مختلفة - للفيديو وأجهزة الاستشعار والنص والصوت لمدخلات ومخرجات الإجراء."
بالإضافة إلى ذلك، تستخدم Foxconn وCompal NVIDIA Isaac للرعاية الصحية لتسريع الروبوتات في المستشفيات. تعمل شركة Compal على تطوير عملية تطوير روبوت PolyMedX الخاص بها نحو إنشاء نظام أساسي للتنسيق على مستوى المستشفى-يدمج المحاكاة والذكاء الاصطناعي والعمليات-الواقعية.
تعمل Foxconn على توسيع نطاق Nurabot عبر العديد من المستشفيات-وبيئات الرعاية الطويلة الأجل، مما يوفر الروبوتات التي تعمل بالذكاء الاصطناعي-لرعاية المرضى، بالإضافة إلى تقديم روبوت Scrub Nurse Collaborative Robot الجديد للمساعدة في تحسين سير عمل غرفة العمليات.
يقوم قادة الصناعة بالبناء باستخدام تقنيات NVIDIA
يستخدم شركاء وعملاء NVIDIA في مجالات التصنيع والنقل والرعاية الصحية والبرامج الصناعية مكتبات الذكاء الاصطناعي المادية الخاصة بهم لتعزيز تطوير الأنظمة المستقلة والذكاء الاصطناعي الصناعي.
وعندما تصبح هذه المكتبات جاهزة للوكيل-، يمكن للمطورين استخدام مهارات NVIDIA لمساعدة الوكلاء على أتمتة عملية الإعداد والتنفيذ والتكرار عبر مسارات عمل الذكاء الاصطناعي المادية المعقدة.
في مجال تصنيع الإلكترونيات، تعمل كل من TSMC وPegatron على-ضبط نماذج الفحص البصري. وبحسب ما ورد، خفضت شركة Pegatron وقت تدريب النموذج ونشره بنسبة 67% باستخدام البيانات الاصطناعية الناتجة عن مهارة إنشاء الصور المعيبة.
قامت شركة Delta Electronics بإنشاء بيانات عيوب اصطناعية واستخدمت المهارة في التقاط اللحام الزائد على قضبان التوصيل المعدنية، مما أدى إلى تحسين معدل الاكتشاف بنسبة 17%. قامت Inventec بتطوير خط أنابيب الفحص البصري لعامل المراقبة من خلال دمج مهارة إنشاء الصور المعيبة، مما يقلل جهد جمع بيانات العيوب لتصنيع هيكل الكمبيوتر المحمول بنسبة 30%.
استخدمت Foxconn، بالتعاون مع DeepHow، هذه المهارة لتحسين كفاءة التصنيع من خلال اكتشاف الأخطاء مبكرًا، مما أدى إلى زيادة إنتاجية التمريرة الأولى بحوالي 3%.
في مجال الذكاء الاصطناعي الصناعي، تستخدم شركات Cadence وDassault Systèmes وSiemens وSynopsys مكتبات ومهارات NVIDIA Omniverse لفحص البيانات الهندسية والمحاكاة والتوائم الرقمية التفاعلية. تستفيد كل من PTC وMetAI وLightwheel من إطار عمل NVIDIA Isaac Sim وسير العمل القائم على OpenUSD- لتحويل بيانات CAD إلى أصول وبيئات جاهزة- للمحاكاة.
كجزء من خارطة الطريق "Autonomous Fab 2030"، تقوم SK hynix بتنفيذ توائم رقمية من أشباه الموصلات باستخدام NVIDIA Omniverse. تتعاون شركة تصنيع الرقائق أيضًا مع NVIDIA وSK Telecom للتحقق من صحة NVIDIA Agent Toolkit لتصنيع-ذكاء اصطناعي مادي محدد.
يستخدم مطورو القيادة الذاتية- Li Auto وAfari وDeepRoute.ai نماذج NVIDIA Omniverse NuRec لإعادة بناء المشهد العصبي وعرضه. لقد قاموا بإنشاء أكثر من 1000 عملية إعادة بناء وأكثر من 300000 عرض ومحاكاة يوميًا.
بالإضافة إلى ذلك، تستخدم شركات المركبات المستقلة مستودع مهارات الوكيل الجديد لتسريع وتعزيز تطوير أنظمة قيادة ذاتية أكثر أمانًا وقدرة. انضمت Foxconn وVinFast وUber وHUMAIN إلى النظام البيئي NVIDIA DRIVE Hyperion لتطوير ونشر الروبوتات من المستوى 4 SAE.
وقال سبنسر هوانغ، مدير منتجات الروبوتات في NVIDIA، إنه تم بالفعل تنزيل Alpamayo 2 Super أكثر من 500000 مرة وحصل على لقب "أفضل تقنية" في Computex.
أدوات وكيل الذكاء الاصطناعي المادية متاحة الآن
قالت NVIDIA إن أدوات ومهارات وكيل الذكاء الاصطناعي المادي متاحة من خلالجيثبوSkills.shللاستخدام مع أي وكيل الترميز.
مهارات الوكيل وأدواته لتوليد البيانات الاصطناعية -إعادة البناء العصبي, تكبير الفيديو, خلل في إنشاء الصور- متاح أيضًا على NVIDIA Brev كـإطلاقات الذكاء الاصطناعي الماديةوالبيئات التي تم تكوينها مسبقًا والتي تجمع مهارات الوكيل وأدواته لتوليد البيانات الاصطناعية وتقييمها بشكل أسرع.
مايكروسوفت,CoreWeave، ونيبيوستقوم بدمج مهارات وأدوات الوكيل هذه مع خدماتهم السحابية لتمكين المطورين من تبسيط وتوسيع نطاق إنشاء البيانات الاصطناعية ونشرها.
Unitree humanoid هو المرجع لـ NVIDIA Isaac GR00T
أعلنت NVIDIA أيضًا عن NVIDIA Isaac GR00T Reference Humanoid Robot، وهو تصميم مرجعي مفتوح للروبوت البشري مبني على NVIDIA Jetson Thor ومنصة التطوير NVIDIA Isaac GR00T. وقالت الشركة إن هذا سيساعد على إضفاء الطابع الديمقراطي على الوصول إلى الأجهزة والبرامج المتقدمة دون الحاجة إلى منصات باهظة الثمن ومملوكة لهاكائنات بشرية ذات أغراض عامة-يزيد.
قامت NVIDIA بدمج جسم روبوت كامل الحجم- مع المعالجة البارعة والاستشعار والتحكم وحوسبة الذكاء الاصطناعي المدمجة:
هيكل يونيتري H2 بشري،يبلغ ارتفاعه حوالي 6 أقدام (1.8 مترًا) ويزن 150 رطلاً (68 كجم)، مع 31 درجة حرية لاختبار المقياس البشري.
مزدوجموجة شاربااللمس بخمسة-أصابع يد،تمكين التلاعب الحاذق بـ 22 درجة من الحرية ورفع الروبوت إلى 75 درجة من الحرية عبر الجسم واليدين.
استشعار العرض المتعدد،-بما في ذلك كاميرا استريو- مثبتة على الرأس ذات مجال رؤية واسع (140 درجة أفقيًا، 102 درجة عموديًا)، وكاميرات المعصم لمعالجة النطاق-القريب ووحدة قياس القصور الذاتي لتتبع الحركة.
التحكم الكامل في-الجسم،مع عزم دوران للذراع يصل إلى 120 نيوتن-مترًا، وعزم دوران للساق يصل إلى 360 نيوتن-مترًا، وحمولة ذراع مُقدرة تبلغ 7 كجم (15.4 رطلاً) وحمولة قصوى تبلغ 15 كجم (33 رطلاً)، مما يفتح المزيد من قدرة الرفع والوصول.
حاسوب NVIDIA Jetson AGX Thor T5000 المدمج،يتميز بوحدة معالجة الرسومات NVIDIA Blackwell مع 2070 FP4 تيرافلوب من أداء الذكاء الاصطناعي، ووحدة معالجة مركزية ذات 14-وحدة معالجة مركزية، وذاكرة موحدة بسعة 128 جيجابايت ونطاق طاقة قابل للتكوين من 40 إلى 130 واط لمعالجة المستشعر في الوقت الفعلي واستدلال الروبوت.
الاتصالعبر Ethernet وWi{0}}Fi 6 وBluetooth 5.2 وUSB ومجموعة من الميكروفونات ومكبرات الصوت للتفاعل الصوتي.
بطارية للتشغيل الممتد،بسعة 15 أمبير و0.972 كيلو وات في الساعة وحوالي ثلاث ساعات من التشغيل.
في-محطة الطوارئ عن بعدوظيفة فك الارتباط السريع للروبوت بأمان.
تتضمن منصة إسحاق GR00T ما يلي:
نفيديا إسحاق تيليوبللحصول على{0}بيانات توضيحية عالية الجودة للروبوت لأغراض التدريب وتطوير السياسات.
نماذج الأساس المفتوحة NVIDIA Isaac GR00Tلدعم التفكير البشري والتعلم وسلوك المهام المتعددة.
نفيديا إسحاق سيم ومختبر إسحاقلمحاكاة سياسات الروبوت وتدريبها واختبارها وتقييمها قبل النشر-في العالم الحقيقي.
تسريع البرمجيات الوسيطة NVIDIA Isaac ROSلنقل السياسات المدربة إلى الروبوتات.
نفيديا جيتسون ثورللتشغيل في الوقت الفعلي-على-الاستدلال والتحكم في الروبوت.
تم تصميم النظام ليكون معياريًا، بحيث يمكن لفرق الروبوتات استخدام النظام الأساسي الكامل أو دمج قدرات مختارة في خطوط التطوير الحالية، مما يساعدهم على توسيع نطاق تطوير الروبوتات دون إعادة بناء نفس البنية التحتية لكل روبوت أو مهمة.
تخطط المؤسسات البحثية الرائدة بما في ذلك Ai2 وETH Zurich ومركز Stanford Robotics ومختبر الروبوتات والتحكم المتقدم بجامعة كاليفورنيا في سان دييغو لاستخدام هذا التصميم المرجعي لتطوير أبحاث الروبوتات البشرية.
قال ديباك باثاك، المؤسس المشارك والرئيس التنفيذي لشركة Skild AI: "لتحقيق تقدم نحو-الروبوتات ذات الأغراض العامة، يحتاج الباحثون إلى منصات قادرة ويمكن الوصول إليها على نطاق واسع". "يتيح التصميم المرجعي لعدد أكبر من الباحثين المشاركة في أبحاث الروبوتات الرائدة والانتقال من الأفكار إلى التجارب بشكل أسرع. وهذا يساعد في دفع النظام البيئي لأبحاث الروبوتات بأكمله إلى الأمام."