כאשר מודלי הדגל של שלושת ענקיות ה-AI OpenAI, Anthropic ו-Google מתמודדים זה מול זה, מי יודע לתפעל רובוטים טוב יותר?
ב-20 באוקטובר, זירת ההיתקלות הרובוטית RoboColiseum, שהושקה במשותף על ידי כמעט 20 אוניברסיטאות, חברות ומוסדות מחקר מרחבי העולם, כולל Mifeng Technology, Hugging Face, NVIDIA ואוניברסיטת צינגהואה, פרסמה את תוצאות ההערכה הנוכחית: Claude Opus 5.5 דורג במקום הראשון הכולל מבין ארבעת מודלי הדגל, ו-GPT-6 Astra紧随其后.
מבחינת פילוח, מבין ארבעת מודלי הדגל, GPT-6 Astra מוביל בעקיבה אחר הוראות ובהסתגלות להפרעות כלליות, כאשר ציון העקיבה אחר הוראות הגיע ל-99.35; Opus בולט יותר בהבנה מרחבית ובתפעול כללי, והשיג את המקום הראשון הכולל בקבוצת הדגל עם צריכת הטוקנים הנמוכה ביותר בכל סבבי ההערכה. במבחנים שבהם איכות התמונה הופרעה, GPT-6.1 Sol פיגר באופן ברור אחרי שלושת המודלים האחרים, מה שמראה הבדלים ביציבות בין מודלים שונים בהתמודדות עם שינויים במידע חזותי.
אולם שני המקומות הראשונים בדירוג הכולל בסבב זה עדיין תפוסים על ידי מודלי אסטרטגיה רובוטית (embodied policy models), במיוחד תוך שמירה על יתרון במימד התפעול הכללי.
התמודדות זו מספקת לתעשייה נקודת ייחוס ישירה להבנת החוזקות והחולשות של מודלים גדולים כלליים לעומת מודלי אסטרטגיה רובוטית.
RoboColiseum מציג ארבע קטגוריות של תת-דירוגים המבוססים על עקיבה אחר הוראות, הבנה מרחבית, הסתגלות להפרעות ותפעול כללי, עם 78 משימות הערכה בסימולציה ברמת נאמנות גבוהה, שמציגות הן את הביצועים הנפרדים של המודלים והן תיעוד של שלבי השלמת המשימות ומיקומי הכשל, כדי לעזור למפתחים לאתר במהירות את נקודות התורפה של יכולת המודל.
כשותפה מייסדת, Mifeng מספקת ל-RoboColiseum נכסי אובייקטים וסצנות סימולציה ברמת נאמנות גבוהה, תומכת בבניית סביבות הערכה למשימות תפעול רובוטיות מורכבות, ומספקת משאבי בסיס לבדיקת יכולות המודל באינטראקציות עם אובייקטים שונים, בפריסות מרחביות ובתנאי סביבה שונים.
האם תוצאות המודל בסימולציה משקפות את ביצועי התפעול האמיתיים היא גם נקודה מרכזית בהערכה. לפי תוצאות המדידה שפורסמה על ידי הפלטפורמה, המתאם בין הערכת הסימולציה של RoboColiseum לבין פריסה על רובוט אמיתי מגיע ל-89.5%, וההבדל בהערכה של אותו מודל בין סימולציה לעולם האמיתי קטן מ-10%, מה שיכול לשמש נקודת ייחוס למפתחים לסינון מודלים ואיתור בעיות לפני מעבר לבדיקות על רובוט אמיתי.
Mifeng Technology מספקת מערכת אספקת נתונים "מקיפה, איכותית ומהירה", המכסה שלוש פרדיגמות נתונים מרכזיות: רובוט אמיתי, סימולציה וללא גוף פיזי. בתחום הסימולציה, Mifeng מספקת שני סוגי משאבים — נכסי אובייקטים ונכסי סביבה — המכסים מגוון חפצי יומיום וסצנות פנים,并提供 יכולות של שחזור סצנות, השגת נתוני מסלולי מומחים והצגה חזותית של תוצאות הערכה, כדי לעזור לצוותי מודלים לבצע אימון והערכה מגוונים.
השם Coliseum מתייחס במקור לזירה העגולה ברומא העתיקה, ו-RoboColiseum משתמש בדימוי זה כדי לבנות מערכת הערכה רב-ממדית שיטתית, עם הערכת סימולציה בעלת מתאם גבוה לביצועים על רובוט אמיתי, כדי להקים "זירה" ו"מגרש אימונים" ציבוריים, ניטרליים וניתנים לשחזור עבור מודלי אינטליגנציה רובוטית. כל אוניברסיטה, מוסד מחקר או מפתח ארגוני יכול להגיש את המודל שלו ולעבור מערך "בחינה" סטנדרטי. מאז עלייתה באוגוסט, יותר מ-100 צוותים מהארץ ומחו"ל ביצעו אימון והערכה של מודלים בפלטפורמה.
RoboColiseum פתוחה כעת למפתחים ברחבי העולם, וצוותי מודלים מוזמנים להשתתף בהערכה.
