Select Language

公开数据集

来自必应查询的经过训练的双词嵌入语料

来自必应查询的经过训练的双词嵌入语料

Scene:

MNIST

Data Type:

Classification
所需积分:0 去赚积分?
  • 215浏览
  • 0下载
  • 0点赞
  • 收藏
  • 分享

贡献者查看主页

小小程序员

致力于人工智能业务的研究、数据集处理。

Data Preview ? 10.3G

    Data Structure ?

    *数据结构实际以真实数据为准

    双嵌入空间模型(DESM)是一个信息检索模型使用两个词的嵌入,一个查询词和一个文档的话。

    它考虑了每个查询词向量与所有文档词向量之间的向量相似度。

    信息检索的主要挑战是对文档的有关性进行建模。传统方法使用词频,出现更多查询词表示文档更可能与该词有关。DESM使用多个文档词作为每个查询词的关联性证据。例如,对于查询词“ Albuquerque”,以下两个文本段落根据词频无法区分,每个出现一次。我们的方法考虑了诸如“人口”和“都市”之类的相关术语的存在,这证明了段落(a)与阿尔伯克基有关,而段落(b)仅提及阿尔伯克基。

    desm_aboutness

    在这里,我们使用众所周知的工具word2vec生成双重嵌入。在大多数word2vec研究中,单词嵌入仅来自模型的输入矩阵(IN)。在本文中,我们还使用输出矩阵(OUT)嵌入。在下表中,“耶鲁”的IN向量与“哈佛”的IN向量(IN-IN)接近,但在OUT空间中,其最接近的邻居是“教师”(IN-OUT)。单一嵌入方法(IN-IN和OUT-OUT)倾向于将相同类型的词归为一组(典型),而双重嵌入方法(IN-OUT)将在训练数据中一起出现的词归为一组(局部)。

    最近邻国

    使用双重嵌入执行全对比较的DESM方法在信息检索测试平台上产生了积极的结果。

    0相关评论
    ×

    帕依提提提温馨提示

    该数据集正在整理中,为您准备了其他渠道,请您使用

    注:部分数据正在处理中,未能直接提供下载,还请大家理解和支持。