Multimodal AI התמודדות — 7 בפברואר 2025

1

Omniverse Audio2Face

אלגוריתם NVIDIA נהיגה על ידי מדע הלמידה ל

4.6 (5)

פרימיום חינמי

ביקורת מלאה

Omniverse Audio2Face היא יישום של NVIDIA שמייצר באופן אוטומטי אנימציה פנים תלת-ממדית מקובץ שמע. באמצעות רשת עצבית עמוקה מוכשרת מראש, הוא מנתח את קלט הקול ומניע את הביטויים על הפנים, הסנכרון של השפתיים והרגשות של דמות תלת-ממדית בזמן אמת, תוך ביטול רוב הקייפריימינג הידני הנדרש בדרך כלל בצינורות אנימציה. הכלי פועל בתוך NVIDIA Omniverse ומאפשר ייצוא לפלטפורמות DCC סטנדרטיות כמו Maya, Unreal Engine ו-Blender באמצעות פורמטים כמו USD ו-blendshapes. הוא עובד עם רשתות תווים מותאמות אישית באמצעות זרימת עבודה של מיקוד מחדש, מה שהופך אותו לשימושי עבור מפתחי משחקים, אנימטורים, צוותי הפקה וירטואלית ויוצרים הבונים בני אדם דיגיטליים או אווטארים אינטראקטיביים. Audio2Face תומך בעיבוד לא מקוון עבור עבודה קולנועית ושידור חי עבור יישומים אינטראקטיביים, עם בקרות רגשות מתכווננות וטיפול באודיו רב-לשוני.

• ניתוח אודיו-לפנים וכלל-דקר
• Lipsync וחקירה מהירי ולעדכן
• Retargeting 3D של דמות נכת,
• תעבורה של USD וBlendshape
• חיבור חי למשחקי Interactive 3D
• תמיכה עבור מקור-אודיו משולב

2

Humane AI Pin

עוזר AI לביש שנועד כחלופה ללא מסך לסמארטפון.

4.5 (6)

פרימיום חינמי

ביקורת מלאה

ה-Humane AI Pin הוא מכשיר לביש קטן שמתחבר באמצעות מגנט ומשתמש בקול, מחוות ומסך הלייזר המוקרן כדי לספק אינטראקציות בסגנון עוזר ללא מסך מסורתי. הוא משלב מצלמות, מיקרופונים וחיישנים עם מודלים שפה גדולים כדי לענות על שאלות, לתרגם שפות, לצלם תמונות, לסכם הודעות ולזהות עצמים בתצוגה. המוצר משווק כמכשיר מחשוב סביבתי שמטרתו להפחית את ההסתמכות על טלפונים על ידי הצגת מידע רק כאשר הוא נדרש. הוא פועל על תוכנית נתונים סלולריים עצמאית ולא מתחבר לסמארטפון, ותומך בפקודות שפה טבעיות במקום אפליקציות. המוצר קיבל ביקורות מעורבות בעת ההשקה בשל חיי סוללה, עיכוב ודיוק, והחברה התאימה את תוכנית העבודה שלה מאז. הוא נותר ניסוי ראוי לציון בתחום החומרה הלבישה העצמאית והממוקדת ב-AI.

• עוזר AI נשלט באמצעות קול
• תצוגת הדיו הלייזר המוקרנת על כף היד
• תרגום שפה בזמן אמת
• לכידת תמונות ווידאו קצרים
• זיהוי עצמים וסצנות הקשרי
• תוכנית נתונים סלולריים עצמאית

3

Project Astra

מאייג'נט אוניברסלי של Google DeepMind הנועז, השומע, ומסוגל להסביר על העולם בזמן אמת.

5.0 (4)

פרימיום חינמי

ביקורת מלאה

פרויקט אסטרה הוא עוזר בינה מלאכותית אוניברסלי ניסיוני של Google DeepMind שנועד לסייע במשימות יומיומיות על ידי הבנת העולם כמו שאנשים עושים. הוא מעבד וידאו, אודיו, תמונות וטקסט בו-זמנית, ומאפשר למשתמשים להצביע על מצלמה או לדבר באופן טבעי ולקבל תגובות מותאמות להקשר. בנוי על גבי המודלים של גוגל ג'מיני, אסטרה הינו כלי שנועד לאינטראקציה שיחתית עם זיכרון קבוע של הקונטקסט האחרון, עם השהיה נמוכה. הוא הוצג כפרוטוטייפ מחקרי הבוחן כיצד סוכן מטרה כללית יכול לרוץ בסופו של דבר על טלפונים, משקפי ראייה חכמות והתקנים אמביינטים אחרים. בעוד שזהו עדיין מוצר שאינו זמין לציבור, אסטרה מאותת על כיוון הפיתוח של גוגל עבור AI אגנטי שיכול לצפות בסביבתו, לזכור את אשר ראה, ולנקוט פעולות מועילות מטעם המשתמש.

• Leverage video and image comprehension in real-time
• Interface conversation on a basis of voice
• Memory of context and persistence across a session
• Reasoning multimodal across text, audio, and visuals
• Built on the model family Gemini
• Support of a prototype for smart glasses and phones

Hume AI מפתחת מודלים של קול ושפה המיועדים לפרש ולהגיב לרמזים רגשיים בדיבור האנושי. הממשק הדגלי שלה, Empathic Voice Interface (EVI), משלב סינתזה של דיבור עם הבעה וניתוח בזמן אמת של הטון, הפרוסודה והסנטימנט, ומאפשר שיחות שמרגישות טבעיות יותר מאשר העוזרים הקוליים הרגילים. מפתחים יכולים לגשת ליכולות של Hume דרך API ו‑SDK כדי לבנות יישומים בתחומים כגון תמיכה בבריאות הנפש, שירות לקוחות, נגישות ובידור אינטראקטיבי. הפלטפורמה גם מציעה כלים למדידת הבעה לניתוח אותות רגשיים בקול, בפנים ובנתוני שפה. Hume מתמקדת בפריסה אחראית, מפרסמת מחקרים בתחום המחשוב הרגשתי ומקפידה על קווים מנחים אתיים לשימוש בבינה מלאכותית רגשית.

• ממשק קול אמפתי (EVI)
• מדידת הבעות בקול, בפנים ובטקסט
• אישיות קולית הניתנת להתאמה
• זרימת שיחה עם עיכוב נמוך
• ממשקי API של REST ו- WebSocket
• קווים אתיים והנחיות לשימוש אחראי

5

Alaya AI

שוק של נתונים WEB3 המחבר את מפתחי AI עם תרומי גלובלים דרך העורכים השימושיים

4.8 (5)

פרימיום חינמי

ביקורת מלאה

Alaya AI היא פלטפורמה מבוזרת שמקשרת בין מפתחי מודלי AI לספקי נתונים מבוזרים באמצעות מבנה קהילה Web3. היא מתמקדת באיסוף נתוני אימון מגוונים ואיכותיים עבור למידת מכונה על ידי שימוש ברשת עולמית של משתתפים שמקנים תוויות, מאמתים ומגישים קבוצות נתונים. הפלטפורמה משתמשת בגיימיפיקציה, טוקנים ו‑NFTs כדי להניע את ההשתתפות, וממירה את איסוף והערה של נתונים לפעילות מרתקת במקום משימה מעייפת. תורמים מרוויחים תגמולים בהתאם לאיכות וכמות עבודתם, בעוד שמפתחים מקבלים גישה לסטים נתונים גמישים ומגוונים המתאימים לאימון מודלים ספציפיים או עם דגש תרבותי. באמצעות שילוב שקיפות בלוקצ'יין עם אינטליגנציה חברתית של צבאות, Alaya AI שואפת להפוך את ערוצי נתוני ה- AI ליותר שוויוניים, ניתנים לעקיבה ונגישים לצוותים קטנים יותר שאין להם משאבים פנימיים נרחבים לתיוק

• רשת מאורגנת של איסוף והעתקת נתונים
• ערכי טוקן ו-NFT
• עבודות שימושיות ואתגרי קהילה
• אינטיליגנצ' השור שלמשות
• תמיכה לזרמי נתונים שמקוננויים
• עדכון בלוק-איין של תצרובי