A Self-Attentive model for Knowledge Tracing论文笔记
原文链接和代码链接A Self-Attentive model for Knowledge Tracing | Papers With Code
motivation：传统方法面临着处理稀疏数据时不能很好地泛化的问题。
本文提出了一种基于自注意力机制的知识追踪模型 Self Attentive Knowledge Tracing (SAKT)。其本质是用 Transformer 的 encoder 部分来做序列任务。具体从学生过去的活动中识别出与给定的KC相关的KC，并根据所选KC相对较少的KC预测他/她的掌握情况。由于预测是基于相对较少的过去活动，它比基于RNN的方法更好地处理数据稀疏性问题。
模型结构
输入编码
交互信息 
通过公式
转变成一个数字，总量为 2E。
我们 用Interaction embedding matrix 训练一个交互嵌入矩阵，
被用来为序列中的每个元素
Exercise 编码 利用 exercise embedding matrix训练练习嵌入矩阵，
,每行代表一个题目ei
Position Encoding
自动学习
，n 是序列长度。
最终编码层的输出如下
注意力机制
Self-attention layer采用scaled dotproduct attention mechanism。
Self-attention的query、key和value分别为：
Causality:因果关系也是mask 避免未来交互对现在的
Feed Forward layer
用一个简单的前向传播网络将self-attention的输出进行前向传播。
Prediction layer
self-attention的输出经过前向传播后得到矩阵F，预测层是一个全连接层，最后经过sigmod激活函数，输出每个question的概率
模型的目标是预测用户答题的对错情况，利用cross entropy loss计算（y_true, y_pred）
实验
上一篇：系统封装制作
下一篇： 诗情画意的个性签名有哪些