【AiBase提要】项目地址:https://docs.google.com/document/d/1irisz6f1G4oYaKojqwuU9rSDBV1-VaCh0VkeuIX0sfs/edit?pli=1
2024年将是视频之年。虽然机器人和嵌入式代理才刚刚起步，但我认为AI视频将在未来12个月内迎来突破性发展。包括输入和输出两个方面。
尽管这份电子表格目前似乎已无法访问，但在互联网档案馆和2023年11月提交的法庭文件中仍然可以查看。这些文件是一个集体诉讼的一部分，由10名视觉艺术家于去年1月提起，指控DeviantArt、Midjourney、Stability AI和Runway AI侵犯版权，未经授权使用他们的作品来训练人工智能。
该编码器具有多项功能。首先，它能够增强视觉感知能力，通过提供额外的视觉编码器，使MLLM能够更好地理解和分析图像内容。其次，VCoder能够处理特殊类型的图像，例如分割图和深度图。分割图能够帮助模型识别和理解图像中不同物体的边界和形状，而深度图则提供了物体距离相机远近的信息。最后，VCoder改善了对象感知任务的表现。通过提供额外的感知模态输入，如分割图或深度图，它显著提高了MLLM的对象感知能力，包括更准确地识别和计数图像中的对象。