Meta 首次亮相 data2vec,一种自我监督的语音、文本和视觉算法

ee057c90ef04b11

Facebook 的母公司 Meta 在追求在元宇宙中的统治地位方面取得了长足的进步。然而,为了构建公司的元界产品,许多小算法将汇集到一个解决方案中并协同工作。其中一种算法将是 data2vec,该公司本周首次亮相。

Meta 描述了 data2vec 和世界上第一个高性能的自我监督语音、视觉和文本算法。它在所有语音文本和视觉模式中学习相同的内容,而无需使用标记数据。

模型的自我监督方面非常重要。大多数机器通过研究标记数据来学习。然而,自监督模型将从周围环境中学习并进行观察以了解文本、语音和视觉(图像)的结构。

细节

096c1ff0da56346

在宣布 data2vec 的新闻稿中,Meta 指出了该算法如何比传统模型更有效地工作:

“图像、语音、文本或其他形式的自我监督学习算法以非常不同的方式发挥作用,这限制了研究人员更广泛地应用它们。由于为理解图像而设计的算法不能直接应用于阅读文本,因此很难以相同的速度推动几种模式。借助 data2vec,我们为模型开发了一种统一的方法来预测输入数据的自身表示,无论是语音、文本还是音频。通过专注于这些表示,一个算法可以处理完全不同类型的输入。”

Meta 计划使用 data2vec 与机器模型的生产协作,这些机器模型可以在不使用现有数据的情况下从周围环境中学习。目标是“更具适应性的人工智能”,能够完成当前人工智能模型无法完成的任务。

未经允许不得转载:表盘吧 » Meta 首次亮相 data2vec,一种自我监督的语音、文本和视觉算法