看穿机器学习(W-GAN模型)的黑箱

2017-03-01  by:CAE仿真在线  来源:互联网

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片1

图a. Principle of GAN.


这学期,老顾在讲授一门研究生水平的数字几何课程,目前讲到了2016年和丘成桐先生、罗锋教授共同完成的一个几何定理【3】,这个工作给出了经典亚历山大定理(Alexandrov Theorem)的构造性证明,也给出了最优传输理论(Optimal Mass Transportation)的一个几何解释。

这几天,机器学习领域的Wasserstein GAN突然变得火热,其中关键的概念可以完全用我们的理论来给出几何解释,这允许我们在一定程度上亲眼“看穿”传统机器学习中的“黑箱”。

下面是老顾下周一授课的讲稿。



生成对抗网络 GAN


训练模型 生成对抗网络GAN (Generative Adversarial Networks)是一个“自相矛盾”的系统,就是以己之矛克以己之盾,在矛盾中发展,使得矛更加锋利,盾更加强韧。这里的矛被称为是判别器(Descriminator),这里的盾被称为是生成器(Generator)。


看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片2

图b. Generative Model.


生成器G一般是将一个随机变量(例如高斯分布,或者均匀分布),通过参数化的概率生成模型(通常是用一个深度神经网来进行参数化),进行概率分布的逆变换采样,从而得到一个生成的概率分布。判别器D也通常采用深度卷积神经网。

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片3

图1. GAN的算法流程图。


矛盾的交锋过程如下:给定真实的数据,其内部的统计规律表示为概率分布

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片4
,我们的目的就是能够找出
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片4
。为此,我们制作了一个随机变量生成器G,G能够产生随机变量,其概率分布是
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片6
,我们希望
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片6
尽量接近
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片4
。为了区分真实概率分布
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片4
和生成概率分布
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片6
,我们又制作了一个判别器D,给定一个样本,D来复制判别这个样本是来自真实数据还是来自伪造数据。Goodfellow给GAN中的判别器设计了如下的损失函数(lost function), 尽可能将真实样本判为正例,生成样本判为负例:

看穿机器学习(W-GAN模型)的黑箱有限元理论图片11

第一项不依赖于生成器G, 此式也可以定义GAN中的生成器的损失函数。

在训练中,判别器D和生成器G交替学习,最终达到纳什均衡(零和游戏),判别器无法区分真实样本和生成样本。


优点 GAN具有非常重要的优越性。当真实数据的概率分布不可计算的时候,传统依赖于数据内在解释的生成模型无法直接应用。但是GAN依然可以使用,这是因为GAN引入了内部对抗的训练机制,能够逼近一下难以计算的概率分布。更为重要的,Yann LeCun一直积极倡导GAN,因为GAN为无监督学习提供了一个强有力的算法框架,而无监督学习被广泛认为是通往人工智能重要的一环。


缺点 原始GAN形式具有致命缺陷:判别器越好,生成器的梯度消失越严重。我们固定生成器G来优化判别器D。考察任意一个样本

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片12
,其对判别器损失函数的贡献是

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片13

两边对

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片14
求导,得到最优判别器函数

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片15

代入生成器损失函数,我们得到所谓的Jensen-Shannon散度(JS)

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片16

在这种情况下(判别器最优),如果

看穿机器学习(W-GAN模型)的黑箱有限元理论图片17
的支撑集合(support)交集为零测度,则生成器的损失函数恒为0,梯度消失。


改进 本质上,JS散度给出了概率分布

看穿机器学习(W-GAN模型)的黑箱有限元理论图片17
之间的差异程度,亦即概率分布间的度量。我们可以用其他的度量来替换JS散度。Wasserstein距离就是一个好的选择,因为即便
看穿机器学习(W-GAN模型)的黑箱有限元理论图片17
的支撑集合(support)交集为零测度,它们之间的Wasserstein距离依然非零。这样,我们就得到了Wasserstein GAN的模式【1】【2】。Wasserstein距离的好处在于即便
看穿机器学习(W-GAN模型)的黑箱有限元理论图片17
两个分布之间没有重叠,Wasserstein距离依然能够度量它们的远近。


为此,我们引入最优传输的几何理论(Optimal Mass Transportation),这个理论可视化了W-GAN的关键概念,例如概率分布,概率生成模型(生成器),Wasserstein距离。更为重要的,这套理论中,所有的概念,原理都是透明的。例如,对于概率生成模型,理论上我们可以用最优传输的框架取代深度神经网络来构造生成器,从而使得黑箱透明。



最优传输理论梗概


给定欧氏空间中的一个区域

看穿机器学习(W-GAN模型)的黑箱有限元理论图片21
,上面定义有两个概率测度
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片22
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片23
,满足

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片24
,

我们寻找一个区域到自身的同胚映射(diffeomorphism),

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片25
, 满足两个条件:保持测度和极小化传输代价。


保持测度 对于一切波莱尔集

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片26
,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片27

换句话说映射T将概率分布

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片22
映射成了概率分布
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片23
,记成
看穿机器学习(W-GAN模型)的黑箱有限元理论图片30
。直观上,自映射
看穿机器学习(W-GAN模型)的黑箱有限元理论图片31
,带来体积元的变化,因此改变了概率分布。我们用
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片22
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片23
来表示概率密度函数,用
看穿机器学习(W-GAN模型)的黑箱有限元理论图片34
来表示映射的雅克比矩阵(Jacobian matrix),那么保持测度的微分方程应该是:
看穿机器学习(W-GAN模型)的黑箱有限元理论图片35
,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片36
,

这被称为是雅克比方程(Jacobian Equation)。


最优传输映射 自映射

看穿机器学习(W-GAN模型)的黑箱有限元理论图片31
的传输代价(Transportation Cost)定义为

看穿机器学习(W-GAN模型)的黑箱有限元理论图片38

在所有保持测度的自映射中,传输代价最小者被称为是最优传输映射(Optimal Mass Transportation Map),亦即:

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片39
,

最优传输映射的传输代价被称为是概率测度

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片22
和概率测度
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片23
之间的Wasserstein距离,记为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片42


在这种情形下,Brenier证明存在一个凸函数

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片43
,其梯度映射

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片44

就是唯一的最优传输映射。这个凸函数被称为是Brenier势能函数(Brenier potential)。


由Jacobian方程,我们得到Brenier势满足蒙日-安培方程,梯度映射的雅克比矩阵是Brenier势能函数的海森矩阵(Hessian Matrix),

看穿机器学习(W-GAN模型)的黑箱有限元理论图片45

蒙日-安培方程解的存在性、唯一性等价于经典的凸几何中的亚历山大定理(Alexandrov Theorem)。


看穿机器学习(W-GAN模型)的黑箱有限元理论图片46

图2. 亚历山大定理。


亚历山大定理 如图2所示,给定平面凸区域

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片47
,考察一个开放的凸多面体
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片48
,选定一个面
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片49
,
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片49
的法向量记为
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片51
,
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片49
的投影和
看穿机器学习(W-GAN模型)的黑箱有限元理论图片53
相交的面积记为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片54
,则总投影面积满足

看穿机器学习(W-GAN模型)的黑箱有限元理论图片55
,

凸多面体可以被

看穿机器学习(W-GAN模型)的黑箱有限元理论图片56
确定。亚历山大定理对任意维凸多面体都成立。


后面,我们可以看到,这个凸多面体就是Brenier势能函数,其梯度映射将一个概率分布

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片57
映到另外一个概率分布
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片58
,并且这两个概率分布之间的Wasserstein 距离对偶于此凸多面体决定的体积。理论上,这个凸多面体可以作为W-GAN模型中的生成器G。



W-GAN中关键概念可视化


Wasserstein-GAN模型中,关键的概念包括概率分布(概率测度),概率测度间的最优传输映射(生成器),概率测度间的Wasserstein距离。下面,我们详细解释每个概念所对应的构造方法,和相应的几何意义。


概率分布 GAN模型中有两个至关重要的概率分布(probability measure),一个是真实数据的概率分布

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片59
,一个是生成数据的概率分布
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片60
。另外,生成器的输入随机变量,满足标准概率分布(高斯、均匀分布)。

看穿机器学习(W-GAN模型)的黑箱有限元理论图片61

图3. 由保角变换(conformal mapping)诱导的圆盘上概率测度。


概率测度可以看成是一种推广的面积(或者体积)。我们可以用几何变换随意构造一个概率测度。如图3所示,我们用三维扫描仪获取一张人脸曲面,那么人脸曲面上的面积就是一个概率测度。我们缩放变换人脸曲面,使得总曲面等于

看穿机器学习(W-GAN模型)的黑箱有限元理论图片62
。然后,我们用保角变换将人脸曲面映射到平面圆盘。如图3所示,保角变换将人脸曲面上的无穷小圆映到平面上的无穷小圆,但是,小圆的面积发生了变化。每对小圆的面积比率定义了平面圆盘上的概率密度函数。


我们可以将以上的描述严格化。人脸曲面记为

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片63
,其上具有黎曼度量
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片64
。平面圆盘记为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片65
,平面坐标为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片66
,平面的欧氏度量为
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片67
。保角映射记为

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片68
,

看穿机器学习(W-GAN模型)的黑箱有限元理论图片69
,这里面积变换率函数
看穿机器学习(W-GAN模型)的黑箱有限元理论图片70
给出了概率密度函数。
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片71
诱导了圆盘
看穿机器学习(W-GAN模型)的黑箱有限元理论图片65
上的一个概率测度
看穿机器学习(W-GAN模型)的黑箱有限元理论图片73



看穿机器学习(W-GAN模型)的黑箱有限元理论图片74

图4. 两个概率测度之间的最优传输映射。


最优传输映射 圆盘上本来有均匀分布

看穿机器学习(W-GAN模型)的黑箱有限元理论图片75
,又有保角变换诱导的概率分布
看穿机器学习(W-GAN模型)的黑箱有限元理论图片76

,则存在唯一的最优传输映射
看穿机器学习(W-GAN模型)的黑箱有限元理论图片77
。图4显示了这个映射
看穿机器学习(W-GAN模型)的黑箱有限元理论图片78
,中间帧到右帧的映射就是最优传输映射。我们看到,鼻尖周围的区域被压缩,概率密度提高。



看穿机器学习(W-GAN模型)的黑箱有限元理论图片79

图5. 离散最优传输。


离散最优传输映射 最优传输映射的数值计算非常几何化,因此可以直接被可视化。我们将目标概率测度离散化,表示成一族离散点,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片80
;每点被赋予一个狄拉克测度,
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片81
,满足
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片82
。然后,我们求得单位圆盘的一个胞腔分解,
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片83
,每个胞腔
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片84
映到相应的目标点
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片85
,
看穿机器学习(W-GAN模型)的黑箱有限元理论图片86
。映射保持概率测度,胞腔的面积等于目标测度,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片87
,

同时极小化传输代价,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片88


看穿机器学习(W-GAN模型)的黑箱有限元理论图片89

图6. 离散Brenier势能函数,离散最优传输映射。


离散Brenier势能 离散最优传输映射是离散Brenier势能函数的梯度映射。对于每一个目标离散

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片85
,我们构造一个平面
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片91
,这里平面的截距
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片92
是未知变量。这些平面的上包络(upper envelope)构成一个开放的凸多面体,恰为离散Brenier势能函数
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片43
的图(Graph),

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片94

图6左侧显示了离散Briener势能函数。凸多面体在平面上的投影构成了平面的胞腔分解,凸多面体的每个面

看穿机器学习(W-GAN模型)的黑箱有限元理论图片95
被映成了一个胞腔
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片84
;每个面
看穿机器学习(W-GAN模型)的黑箱有限元理论图片95

的梯度都是
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片85
,因此Brenier势能函数的梯度映射就是
看穿机器学习(W-GAN模型)的黑箱有限元理论图片99


根据保测度性质,每个胞腔

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片84
的面积应该等于指定面积
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片101
。由此,我们调节平面的截距
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片102
以满足这个限制。根据亚历山大定理,这种截距存在,并且本质上唯一。


离散Wasserstein距离 我们和丘成桐先生建立了变分法来求取平面的截距

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片103
。给定截距向量
看穿机器学习(W-GAN模型)的黑箱有限元理论图片104
,平面族为
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片105
,其上包络构成的Briener势能函数为
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片106
, 上包络的投影生成了平面的胞腔分解
看穿机器学习(W-GAN模型)的黑箱有限元理论图片107
, 胞腔的面积记为
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片108
。我们定义的能量为,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片109
,

这个能量在子空间

看穿机器学习(W-GAN模型)的黑箱有限元理论图片110
上是严格凹的,其唯一的全局最大点就给出了满足保测度条件的截距。这个能量的非线性项,实际上是上包络截出的柱体体积,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片111
,

图7给出了柱体体积的可视化,柱体体积

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片112
是凸函数。


看穿机器学习(W-GAN模型)的黑箱有限元理论图片113

图7. 离散Brenier势能函数的图截出的柱体体积

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片112



体积函数

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片112
和Wasserstein距离之间相差一个勒让德变换(Legendre Transformation)。勒让德变换非常几何化,我们可以将其可视化。给定一个定义在实数轴上的二阶光滑凸函数
,其图
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片116
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片117
是一条凸曲线,这条凸曲线由其所有的切线包络而成。如果,在任意一点
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片118
,函数的切线的斜率为y,则此切线的截距满足

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片119
,

这被称为是函数

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片116
的勒让德变换。
看穿机器学习(W-GAN模型)的黑箱有限元理论图片121
以切线的斜率为参数,以切线的截距为函数值。


看穿机器学习(W-GAN模型)的黑箱有限元理论图片122

图8.凸函数的图像由其切线包络而成,切线集合被表示成原函数的勒让德对偶。



因为

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片116
的凸性,映射
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片124
是微分同胚,记为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片125
。那么,原函数和勒让德变换后的函数满足关系:

看穿机器学习(W-GAN模型)的黑箱有限元理论图片126
,

这里c,d是常数。原函数和其勒让德变换的直观图解由图9给出。我们在xy-平面上画出曲线

看穿机器学习(W-GAN模型)的黑箱有限元理论图片125
,曲线下面的面积是
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片116
,曲线上面的面积是勒让德变换
看穿机器学习(W-GAN模型)的黑箱有限元理论图片121


看穿机器学习(W-GAN模型)的黑箱有限元理论图片130

图9. 图解勒让德变换。


勒让德变换的几何图景对任意维都对。我们下面来考察体积函数

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片112
的勒让德变换
看穿机器学习(W-GAN模型)的黑箱有限元理论图片132
。根据定义,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片133
,

假如我们变动截距

看穿机器学习(W-GAN模型)的黑箱有限元理论图片104
,或者等价地变动胞腔面积
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片135
,考察两个胞腔交界处
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片136
,

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片137
,

p本来属于

看穿机器学习(W-GAN模型)的黑箱有限元理论图片138
,变化后属于
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片84
,所有这种点的总面积为
看穿机器学习(W-GAN模型)的黑箱有限元理论图片140
。则为Wasserstein距离带来的变化是:

看穿机器学习(W-GAN模型)的黑箱有限元理论图片141

因此,总的Wasserstein距离的变化是

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片142

由此我们看到Wasserstein距离等于

看穿机器学习(W-GAN模型)的黑箱有限元理论图片143
,

其非线性部分是柱体积的勒让德变换。




总结


通过以上讨论,我们看到给定两个概率分布

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片144
,则存在唯一的一个凸函数(Brenier 势函数)
看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片43
,其梯度映射
看穿机器学习(W-GAN模型)的黑箱有限元理论图片146
把一个概率分布
看穿机器学习(W-GAN模型)的黑箱有限元理论图片147
映成了另外一个概率分布。这个最优传输映射的传输代价就给出了两个概率分布之间的Wasserstein距离。Brenier势能函数,Wasserstein距离都有明晰的几何解释。


在Wasserstein-GAN模型中,通常生成器和判别器是用深度神经网络来实现的。根据最优传输理论,我们可以用Briener势函数来代替深度神经网络这个黑箱,从而使得整个系统变得透明。在另一层面上,深度神经网络本质上是在训练概率分布间的传输映射,因此有可能隐含地在学习最优传输映射,或者等价地Brenier势能函数。对这些问题的深入了解,将有助于我们看穿黑箱。


看穿机器学习(W-GAN模型)的黑箱有限元理论图片148

图10. 基于二维最优传输映射计算的曲面保面积参数化(area preserving parameterization),苏政宇作。

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片149

看穿机器学习(W-GAN模型)的黑箱cae-fea-theory图片150

图11. 基于三维最优传输映射计算的保体积参数化 (volume preserving parameterization),苏科华作。


(在2016年,老顾撰写了多篇有关最优传输映射的博文,非常欣慰地看到这些文章启发了一些有心的学者,发表了SIGGRAPH论文,申请了NSF基金。感谢大家关注老顾谈几何,希望继续给大家灵感。)




参考资料

[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks

[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.

[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere
Equations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.



开放分享:优质有限元技术文章,助你自学成才

相关标签搜索:看穿机器学习(W-GAN模型)的黑箱 有限元技术培训 有限元仿真理论研究 有限元基础理论公式 能量守恒质量守恒动量守恒一致性方程 有限体积法 什么是有限元 有限元基础知识 有限元软件下载 有限元代做 Fluent、CFX流体分析 HFSS电磁分析 Ansys培训 

编辑
在线报名:
  • 客服在线请直接联系我们的客服,您也可以通过下面的方式进行在线报名,我们会及时给您回复电话,谢谢!
验证码

全国服务热线

1358-032-9919

广州公司:
广州市环市中路306号金鹰大厦3800
电话:13580329919
          135-8032-9919
培训QQ咨询:点击咨询 点击咨询
项目QQ咨询:点击咨询
email:kf@1cae.com