设为首页收藏本站

木蚂蚁手机乐园首页

 找回密码
 注册

QQ登录

只需一步,快速开始

查看: 530|回复: 0

[智能硬件] Google Brain提出基于固定尺寸记忆表示的注意力模型

[复制链接]

365

主题

896

帖子

3631

积分

木蚂蚁小学六年级

Rank: 6Rank: 6

积分
3631
发表于 2017-7-12 10:11:21 | 显示全部楼层 |阅读模式
Attention模型是近些年来自然语言处理领域重要的进展之一。注意力模型是从认知心理学中人脑注意力模型中引入的概念,在人观察世界时,对不同对象的关注程度是不同的,比如你在看书仔细品味文章中的一句话时,虽然你能看到整页的文字,但是注意力的焦点集中在这个句子上,其他文字虽然还在你的眼中,但是实际分配到的注意力是很少的。自然语言处理中也是同理,输入文本的不同部分对输出的贡献是不同的,即需要分配的注意力权重不同。使用注意力模型能够得到更好的生成结果。
  由于标准的基于内容的attention机制主要应用在sequence-to-sequence模型中,由于该方法需要在每个时间状态下大量比较编码器和解码器的状态,因此需要大量计算资源。Google Brain的研究者Denny Britz, Melody Y. Guan和Minh-Thang Luong提出了固定尺寸记忆表示的高效注意力模型,能够将翻译任务推理速度提高20%。
  以下为雷锋网(公众号:雷锋网(公众号:雷锋网))AI科技评论据论文内容进行的部分编译。
  论文摘要:
  Sequence-to-sequence模型在许多任务得到了最好的效果,例如神经机器翻译(Neural Machine Translation,NMT),文本概括(text summarization),语音识别,图像配字幕,以及对话建模等。
  最流行的attention方法基于编码器-解码器架构,包含两个循环神经网络和attention机制使得目标与源符号对齐。在这种结构中使用的典型attention机制计算在每个解码步骤中基于解码器当前的状态计算新的attention上下文。更直观的说法是,这对应于每个单个目标符号输出之后查看源序列。
  受人类是如何处理句子的启发,研究者认为在每个步骤中可能没有必要回顾整个原始源序列。该方法在读取源数据时,预测K attention上下文向量。并学习在每个解码步骤中使用这些向量的加权平均值。因此,一旦编码了源序列,就避免回头看。结果显示,这可以加速推理。同时,在玩具数据集和WMT翻译数据集上,该方法达到了与标准attention机制相若的性能。最后,通过可视化attention分数,研究人员验证了该技术能够学习有意义的对比,并且不同的attention上下文向量专注于源的不同部分。
   595f05deb5a60.jpg
  上图为该方法与标准注意力模型的结构对比。在编码阶段预测K个attention向量,在解码阶段线性组合这些预测。在上图中K=3。可以将基于记忆的注意力模型解释为“预测”编码期间由标准attention机制产生的一组注意上下文。如上图,K=3,在这种情况下,在编码阶段预测所有3种attention上下文,并在解码过程中学习选择合适的attention上下文,进行线性组合。这中方法比基于解码器编码内同的诸葛计算上下文更加节省计算量。
  实验结果
  玩具数据集结果:
为了研究速度和性能之间的权衡,研究者比较了该方法和标准模型在具有和不具有attention的情况下在Sequence Copy Task上的表现。
  下表展示了该模型在不同序列长度和K的情况下的BLEU分数。较大的K可以计算复杂的源表示,值为1的K限制了源表示为单个向量。可以看到,性能一直随着K的增加而增加,这取决于数据长度,更长的序列需要更复杂的表示。无论是否具有位置编码,结果在玩具数据集上几乎相同。尽管表示能力较低,但该方法仍与标准attention机制模型一样能够拟合数据。两者都以显着的差距击败non-attention基线。最后一列表明了该方法能够极大的加速推理过程,随着序列长度变长,推理速度的差距越来越大。
   8ba8a132.jpg
  下图左侧展示了序列长度为200的学习曲线。越大的K能够导致更快的收敛速度,较小的K的性能与non-attention基线相似。右图展示了在所有组合都可以拟合数据,但有些收敛速度比其他更快。



上一篇:PS VR终于支持观看DMM影片:销量开始激增
下一篇:AI新突破:拍张CT就能预测人类寿命
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

推荐版块: PC破解软件下载  |   VR视频资源下载  |   三星Galaxy S8/S8+  |   全民突击论坛   |   安卓破解软件   |   安卓破解游戏      安卓汉化下载  
安卓android软件大全  |   安卓大型游戏  |   小米手机论坛  |   三星note3论坛  |   安卓影视下载  |   安卓破解    
安卓   安卓软件   手机拍照软件   手机音乐软件   手机表情软件   Xplay 3S论坛   安卓游戏   手机游戏   手机健康软件   手机订餐软件   手机购物软件   热门TAG
快速回复 返回顶部 返回列表