KGE | Liu chen chen CV

👩🏼‍🏫 A Survey on Knowledge Graphs

Thu, 11 Sep 2025 00:00:00 +0000

A Survey on Knowledge Graphs: Representation, Acquisition and Applications 笔记

知识图谱嵌入

Knowledge Representation Learning 知识表示学习又叫KGE
pre

KGL的流程
1表示关系和实体的表示空间；
2 衡量事实三元组合理性的评分函数；3用于表示和学习关系交互的编码模型；
4要纳入嵌入方法的辅助信息。
表示学习包括逐点空间、流形、复向量空间、高斯分布和离散空间。评分指标通常分为基于距离的评分函数和基于相似性匹配的评分函数。目前的研究重点是编码模型，包括线性/双线性模型、分解和神经网络。辅助信息考虑文本、视觉和类型信息。

表示空间

表示学习的关键问题是学习实体和关系的低维分布式嵌入。目前文献主要使用实值逐点空间（图2（a）），包括向量、矩阵和张量空间，而其他类型的空间如复向量空间（图2（b））、高斯空间（图2（b）） . 2(c)) 和 manifold (图 2(d)) 也被使用。嵌入空间应遵循三个条件，即可微分性、计算可能性和评分函数的可定义性

\[15\]

。

Point-Wise Space

许多其他翻译模型（例如 TransH

\[20\]

）也使用类似的表示空间，而语义匹配模型使用普通向量空间（例如 HolE

\[21\]

）和关系投影矩阵（例如 ANALOGY

\[22\]

Complex Vector Space

Gaussian Distribution

Manifold and Group

(见论文)

评分函数

Encoding Models

Linear/Bilinear Models

（）

Neural Networks

（）

Convolutional Neural Networks

👩🏼‍🏫 基于旋转的模型

Thu, 11 Sep 2025 00:00:00 +0000

基于旋转的模型

RotaE

1.introduction

知识图的连接模式： symmetry/antisymmetry, inversion, and composition
TransE 旨在 model the inversion and composition patterns;
DisMult models the three-way interactions between head entities, relations, and tail entities吗，旨在对称建模。

欧拉恒等式：eiπ+1=0
eiθ=cosθ+isinθ

Complex Space

三类关系模式

负采样：

TransE：均匀随机采样（uniformly random sampling）
TransH：伯努利采样
KBGAN： GAN
RotatE： self-adversarial 自对抗

👩🏼‍🏫 负采样

Thu, 11 Sep 2025 00:00:00 +0000

负采样

MixKG: Mixing for harder negative samples in knowledge graph

2.方法

首先，从采样的负三元组中选择高质量的负三元组；其次，混合配对的高质量负三元组，然后生成新的更难的负三元组。
硬负样本是所提出模型的核心，但如何定义硬负样本仍然是一个问题。
张等人之前的几部作品。（2019）；卡兰蒂斯等人。（2020）使用评分函数 𝑓 ，将得分高的负三元组作为硬负样本，我们将这种方法称为基于评分函数的硬负样本（HNS-SF）。
然而，这个定义只考虑了负集中的负样本，而忽略了真三元组的帮助。因此，我们对硬负样本引入了不同的定义，它将与正确的头或尾实体更相似的候选实体视为硬负样本。我们将这种硬负样本的定义命名为基于正确实体相似性的硬负样本（HNS-CES）。

3Mix for Harder negative triplets

3.1.1硬负样本-评分函数

对于 { (ℎ,𝑟,𝑡1′),(ℎ,𝑟,𝑡2′),…(ℎ,𝑟,𝑡𝑀′) } 中的每个三元组，我们使用评分函数 𝑓 计算分数 𝑠(𝑡𝑚′)=𝑓(ℎ,𝑟,𝑡𝑚′) 。然后我们对分数{ 𝑠(𝑡1′),𝑠(𝑡2′),…𝑠(𝑡𝑀′) }进行降序排序，分数最大的负三元组是硬负样本。

3.1.2硬负样本-修正实体相似度

我们计算尾部实体与 (𝑡1′,𝑡2′,…𝑡𝑀′) 中每个候选实体之间的点积，然后得到相似度 𝑠(𝑡𝑚′)=𝑡∗𝑡𝑚′ 。具有top-K最大 𝑠(𝑡𝑚′) 的候选实体和头实体， (ℎ,𝑟,𝑡) 中的关系形成硬负三元组。

3.2这些硬三元组之间的混合

在获得用于混合的硬负三元组后，我们随机选择配对的硬负三元组，然后混合尾部实体以生成新的硬负样本。准确地说，假设有两个负三元组{ (ℎ,𝑟,𝑡𝑖′),(ℎ,𝑟,𝑡𝑗′) }，那么新生成的更难负三元组的尾部实体是

𝑡^𝑖,𝑗=𝛼∗𝑡𝑖′+(1−𝛼)∗𝑡𝑗′
𝑡^𝑖,𝑗=𝛼∗𝑡𝑖′+(1−𝛼)∗𝑡𝑗′

其中 𝛼 是从 (0,1) 中随机抽取的，那么生成的更难的负三元组是 (ℎ,𝑟,𝑡^𝑖,𝑗) 。

3.3损失函数

第一类是平移距离模型：

第二个是语义匹配模型：

Negative Sampling with Adaptive Denoising Mixup for Knowledge Graph Embedding

3.Methodology

PNE 模块利用 KGE 模型的当前预测结果将未标记的损坏三元组划分为伪负三元组和真负三元组。然后，AdaMix 模块为每个损坏的三元组选择合适的混合伙伴，并将它们混合在实体嵌入空间中，以生成部分正确的三元组或更难的负三元组，以帮助训练 KGE 模型。

3.1 边际伪负三重估计器（MPNE）

3.2自适应混合（AdaMix）

Toward Degree Bias in Embedding-Based Knowledge Graph Completion

让 𝑒1= （欧洲、国家/地区、德国）作为我们要扩充的三元组。我们将其与尾部实体德国的另一个三元组混合。我们考虑三元组 𝑒2= （比利时、博德斯、德国）。混合三元组表示为 𝑒~=(Europe+Belgium,Has Country+Borders,Germany) 。由于 𝑒1 包含德国所属的大陆，而 𝑒2 包含其接壤的国家，因此我们可以将合成三元组 𝑒~ 理解为传达德国在内部的地理位置欧洲的。这在预测原始三元组 𝑒1 中的德国时很有帮助，因为合成样本为德国的表示注入了更具体的地理信息。