循环神经网络层

标签:sha   dia   blog   vertica   容器   存储   hidden   更新   情感   

目录
  • Recap
  • Sentiment Analysis
    • Proposal
  • S1.Weight sharing
    • Naive version
    • Weight share
  • S2.Consistent memory
  • Unfolded model
  • Formulation
  • Overall Diagram
  • One more thing
  • How to Train?

Recap

42-循环神经网络层-回顾.jpg

Sentiment Analysis

42-循环神经网络层-情感分析.jpg

Proposal

42-循环神经网络层-情感分析建议.jpg

  • Long sentence

    • 100 + words
    • too much parameters[



      w


      N



      ,



      b


      N


      ]

  • No context information

    • consistent tensor

S1.Weight sharing

  • 类似于卷积的卷积核,卷积视野,权重分享

42-循环神经网络层-分享.jpg

Naive version

42-循环神经网络层-情感分析建议.jpg

Weight share

  • 权重分享

42-循环神经网络层-权重分享.jpg

S2.Consistent memory

  • 需要一个东西存储语境,也就是每个单词的语境信息

42-循环神经网络层-容器.jpg

  • 不断地对语境信息进行堆叠得到h5,直接使用h5作为判断标准

42-循环神经网络层-内存分享.jpg

Unfolded model

42-循环神经网络层-语境叠加.jpg

  • 在时间轴上折叠,不断地更新h

42-循环神经网络层-折叠.jpg

Formulation

  • 通过激活函数tanh不断地叠加上个时间戳的信息

42-循环神经网络层-数学公式.jpg

Overall Diagram

  • 全览分解图

42-循环神经网络层-全览分解.jpg

One more thing

42-循环神经网络层-梯度.jpg

How to Train?

42-循环神经网络层-训练.jpg

循环神经网络层

标签:sha   dia   blog   vertica   容器   存储   hidden   更新   情感   

原文地址:https://www.cnblogs.com/abdm-989/p/14123406.html

版权声明:完美者 发表于 2020-12-17 12:25:55。
转载请注明:循环神经网络层 | 完美导航

暂无评论

暂无评论...