CS224W摘要10.Knowledge Graph Embeddings( 二 )


: KGwith
这个小节主要是任务大概介绍 , 也就7分多 。
知识图谱是异质图 , 用节点代表实体 , 边表示实体间的关系
下面是一个 KG的例子:
KG最常见的应用就是推理和问答 。目前公开的大型KG数据集:, , , YAGO, NELL, etc.
特点:数据量大、缺少很多关系
对于以上特点的KG , 是不可能遍历所有可能存在的实体的 , 我们还能预测可能存在却缺失的边吗?
下节讨论如何做 。
Graph : , , ,
这里先界定图谱补全和边预测任务不一样 , 补全是知道部分信息(head, )预测剩下信息(tail) , 边预则是直接预测可能的链接 。
例如:尼古拉斯·赵四(head)、住在()预测:东北 。
KG
给出KG的三元组定义 (?, , )
head (?) haswith tail ()
思想是使得(?, )的与的越接近越好 , 这样预测的结果才准确 。
(?, )的方式
(?, )与的接近程度如何定义
上面两个问题产生了不同的模型 , 、是针对第一个问题开展的研究;, 是针对第二个问题开展的研究 。下面具体看
in ( vs )
r ( h , t ) ? r ( t , h ) ? h , t r(h,t)\ r(t,h)\space\ h,t r(h,t)?r(t,h)?h,t
,
×

( r ( h , t ) ? ? r ( t , h ) ) ? h , t (r(h,t)\ ?r(t,h))\space\ h,t (r(h,t)??r(t,h))?h,t


r 2 ( h , t ) ? r 1 ( t , h ) r_2(h,t)\ r_1(t,h) r2?(h,t)?r1?(t,h)
(, )


()
r 1 ( x , y ) ∧ r 2 ( y , z ) ? r 3 ( x , z ) ? x , y , z r_1(x,y)\wedge r_2(y,z)\ r_3(x,z)\space \ x,y,z r1?(x,y)∧r2?(y,z)?r3?(x,z)?x,y,z
My ’sis my

×
1-to-N
r ( h , t 1 ) , r ( h , t 2 ) , ? , r ( h , t n ) r(h,t_1),r(h,t_2),\cdots,r(h,t_n) r(h,t1?),r(h,t2?),?,r(h,tn?) are all ture
r r r is “”
×

:上位词关系 , 例如:白马是马 , 马非白马 。
两个模型的思路在前面有讲 , 这里就不重复了 , 不同关系模式类型的具体分析看PPT , 大概讲下原理: 模型由于计算都是在相同的空间中 , 因此 ,  很容易根据向量的平移计算表达得到 , 但是对于 和1-to-N关系而言 , 如果要满足关系等式 , 会使得 h = t h=t h=t , 这个与假设相悖 , 因此无法表示这两种关系 , 对于而言 , 它的表示能力明显要比 要好 , 但是由于每个关系都在独立的空间域 , 因此很难表示关系 。
, 两个模型都是用的 Loss作为衡量(?, )与的接近程度的方式(基于L1/L2 距离) , 下面看别的衡量方式 。
:
:andusinginR k \R^k Rk(这里实体和关系都在相同空间 , 和的设定一样)
它的衡量方式(Score )如下:
f r ( h , t ) = < h , r , t > = ∑ i h i ? r i ? t i , h , r , t ∈ R k f_r(h,t)==\\cdot r_i\cdot t_i, h,r,t\in \R^k fr?(h,t)==i∑?hi??ri??ti?,h,r,t∈Rk
从上面的表达式可以看成hrt三个东西的点积然后累加求和 。
KaTeX parse error:: \cdor at2: h\?c?d?o?r? ?r相当于超平面 , 然后结果在和 t t t求夹角看相似度 , 根据超平面的法向量来判定夹角的正负 , 并得到是否相关的结果 。
在 的基础上变成了使用复数向量空间(space)表示实体和关系:modelandusinginC k \{C}^k Ck
u ˉ \bar u uˉ是共轭复数
它的衡量方式(Score )如下:
f r ( h , t ) = < h , r , t > = R e ( ∑ i h i ? r i ? t ˉ i ) f_r(h,t)==Re(\\cdot r_i\cdot \bar t_i) fr?(h,t)==Re(i∑?hi??ri??tˉi?)
小结
PS:早看到就不自己画表格了
可以看到没有哪个模型是完美的 , 要根据自己数据需要预测什么样类型的关系来选择模型 。