历史对决 · 2025-02-07 UTC
Multimodal AI 对决 — 2025年2月7日
来自Multimodal AI类别。 19个标记分布在5个参赛者中。 Omniverse Audio2Face夺得桂冠。
最终排名
阵容
参赛工具
参加这场对决的每个工具的简介,按最终得分排序。
Omniverse Audio2Face 是 NVIDIA 的一款应用程序，能够从音频源自动生成 3D 面部动画。它使用预训练的深度神经网络，分析语音输入并实时驱动 3D 角色的面部表情、口型同步和情感表现，从而消除了动画流程中通常需要的大量手工关键帧。 该工具在 NVIDIA Omniverse 内运行，并支持通过 USD 和 blendshapes 等格式导出到标准的 DCC 平台，如 Maya、Unreal Engine 和 Blender。它通过重定向工作流支持自定义角色网格，使其对游戏开发者、动画师、虚拟制作团队以及构建数字人或交互式头像的创作者非常有用。 Audio2Face 支持离线处理（适用于电影制作）以及实时流媒体（用于交互式应用），并提供可调节情绪控制和多语言音频处理。
标准细分
- 使用深度学习驱动的音频驱动面部动画
- 实时唇语和情绪控制
- 将角色重定位到自定义 meshes
- Blendshape 和 USD 导出管道
- 实时流式传输模式为交互式动画提供了一个地方
- 多语种音频输入支持
Humane AI Pin是一款小型、可磁性附着的可穿戴设备，它使用语音、手势和激光投影显示屏，提供类似助手的操作，无需传统屏幕。它将机载摄像头、麦克风和传感器与大型语言模型（LLM）结合使用，可以回答问题、翻译语言、拍摄照片、总结消息和识别视野中的物体。 作为一款环境计算设备，Pin旨在通过仅在需要时显示信息来减少对手机的依赖。它运行在自己的蜂窝计划上，而不是绑定到智能手机，并支持自然语言命令而不是应用程序。 该产品在发布时因电池寿命、延迟和准确性等问题收到了褒贬不一的评价，Humane此后调整了其发展路线图。它仍然是独立、人工智能优先的可穿戴硬件领域的一项值得注意的早期尝试。
标准细分
- 语音控制的AI助手
- 手掌上的激光墨水投影显示屏
- 实时语言翻译
- 照片和短视频拍摄
- 上下文物体和场景识别
- 独立的蜂窝数据计划
Project Astra 是 Google DeepMind 的一款实验性通用 AI 助手，旨在通过以人类的方式理解世界来帮助完成日常任务。它可以同时处理视频、音频、图像和文本，让用户通过指向摄像头或自然发声来获得上下文感知的回应。 基于 Google 的 Gemini 模型，Astra 被设计为低延迟的对话交互，并且能够持久记忆最近的上下文。它定位为一个研究原型，探索通用代理如何最终在手机、智能眼镜和其他环境设备上运行。 虽然尚未公开可用，Astra 预示着谷歌在代理式 AI 方向上的发展，该技术能够观察周围环境、记住所见，并代表用户执行有益行动。
标准细分
- 实时视频和图像理解
- 基于语音的会话接口
- 持久性的上下文存储
- 文本, 音频和视觉层面的多模态推理
- 与吉米(Gemini)模型家族集成
- 支持眼镜, 手机等设备
Hume AI开发的语音和语言模型旨在解读和回应人类语音中的情感线索。其旗舰产品Empathic Voice Interface（EVI）结合了富有表现力的语音合成技术与对语调、韵律和情感的实时分析，实现比传统语音助手更自然的对话。 开发者可以通过API和SDK访问Hume的能力，以在心理健康支持、客户服务、易用性及互动娱乐等领域构建应用。该平台还提供用于分析语音、面部和语言数据中情感信号的表达测量工具。 Hume 强调负责任的部署，发布情感计算研究，并遵守情感AI使用的道德准则。
标准细分
- Empathic Voice Interface (EVI)
- 支持语音、面部和文本的表达测量
- 可定制的语音个性
- 低延迟的对话流媒体
- REST 和 WebSocket APIs
- 道德使用指南和文档
Alaya AI 是一个去中心化的平台，通过 Web3 社区结构将 AI 模型开发者与分布式数据提供者连接。它专注于通过全球贡献者网络获取多样化、优质的机器学习训练数据，贡献者负责标注、验证并提交数据集。 该平台采用游戏化、代币和 NFT 激励参与，将数据收集与标注变成一种吸引人的活动，而非繁琐的任务。贡献者可根据其工作质量和数量获得奖励，开发者则能获得可扩展、多样化的数据集，用以训练针对细分领域或文化特定的模型。 通过将区块链透明度与社交群体智能相结合，Alaya AI 旨在使 AI 数据管道更加公平、可追溯，并为缺乏大型内部标注资源的小型团队提供可访问性。
标准细分
- 去中心化的数据收集和标记网络
- 基于代币和NFT的奖励系统
- 游戏化的任务和社区挑战
- 分布式注释的群体智能
- 支持多样化和细分数据集需求
- 链上跟踪贡献