CMSC5707-高级人工智能之自编码器Auto-encoders
创始人
2024-01-17 16:11:54
0

这章讲述模型框架和概念的时间较多,好像并没有涉及过多的运算,重在一些概念的理解。

Traditional Autoencoder

传统的自编码器常用来进行图像去噪的任务,需要了解其模型架构和流程。

自编码器由两部分组成:从Noisy Input到Z称为编码器,从Z到De-noised Output称为解码器。Input和Output有着相同的维度。
请添加图片描述
自编码器的最终目的是让X的重建误差最小,这样子能保证输入和输出尽可能地相似。
请添加图片描述
Auto-encoder的训练是一个无监督学习的过程,因为并不需要标记的数据训练。流程如下所示,它将纯净的图像+噪声整体放入encoder input,同时将纯净的图像放入decoder output,将forward processing得出的图像与纯净图像算出误差进行backpropagation训练。
请添加图片描述

Variational Autoencoder

Variational Autoencoder会从输入的图像中学习概率分布的参数,然后通过这些参数来产生新的图像。通过输入的图像X学到概率分布的变量μ\muμ和σ\sigmaσ,潜在参数ZZZ的Sample从该概率分布中随机取样得到,接着放入Decoder进行重建。
请添加图片描述
其训练过程同Auto-encoder一致,在去噪任务中,将噪声图像放入input,纯净图像放入output,通过反向传播进行训练,其中的关键在于反向传播过程中损失Loss的定义,损失的定义中有两项。

先对相关参数进行定义,
qθ(en)(z∣xi)q_{\theta(en)}(z|x_i)qθ(en)​(z∣xi​) 表示接受输入数据xix_ixi​,返回潜在变量ZZZ(ZZZ是由μ\muμ和σ\sigmaσ随机产生的),可以从ZZZ中进行Sampling,θ(en)\theta(en)θ(en)代表encoder的weights和bias。

Pϕ(de)(x^i∣z)P_{\phi(de)}(\hat x_i |z)Pϕ(de)​(x^i​∣z)接受潜在变量ZZZ产生的Sample,得到输出为X^\hat{X}X^,ϕ(de)\phi(de)ϕ(de)代表decoder的weights和bias。

重建的损失li(θ,ϕ)=−Exi∈X[Ez∈Q[logPϕ(de)(x^i∣z)]]l_i(\theta,\phi)=-E_{x_i \in X} \big[E_{z \in Q}[log P_{\phi (de)}(\hat x_i | z)]\big]li​(θ,ϕ)=−Exi​∈X​[Ez∈Q​[logPϕ(de)​(x^i​∣z)]]需要尽可能地小。由于PPP为高斯分布,因此可以对上式重写为=1N∑xi∈X(12σxi^∣z2(xi−μxi^∣z)2)\frac{1}{N}\sum\limits_{x_i \in X}\Big( \frac{1}{2 \sigma^2_{\hat {x_i}|z}}(x_i - \mu_{\hat{x_i}|z})^2\Big)N1​xi​∈X∑​(2σxi​^​∣z2​1​(xi​−μxi​^​∣z​)2).

请添加图片描述

Kullback–Leibler divergence

但是会存在的问题是,同样li(θ,ϕ)l_i(\theta,\phi)li​(θ,ϕ)较小,qθ(en)(z∣xi)q_{\theta(en)}(z|x_i)qθ(en)​(z∣xi​)和Pϕ(de)(x^i∣z)P_{\phi(de)}(\hat x_i |z)Pϕ(de)​(x^i​∣z)的差异很大,显然不是来自相同的分布。因此这里引入了Kullback–Leibler divergence 来衡量两个分布的差异程度,DKL[qθ(en)(z∣xi)∣∣(N(0,I)]D_{KL}\big[ q_{\theta(en)(z|x_i)} || ( N(0,I)\big]DKL​[qθ(en)(z∣xi​)​∣∣(N(0,I)]衡量了差生图像分布与标准高斯分布的差异。

最终该模型的Loss定义为L(all)=1N∑xi∈X(12σxi^∣z2(xi−μxi^∣z)2)+DKL[qθ(en)(z∣xi)∣∣(N(0,I)]L^{(all)}=\frac{1}{N}\sum\limits_{x_i \in X}\Big( \frac{1}{2 \sigma^2_{\hat {x_i}|z}}(x_i - \mu_{\hat{x_i}|z})^2\Big)+D_{KL}\big[ q_{\theta(en)(z|x_i)} || ( N(0,I)\big]L(all)=N1​xi​∈X∑​(2σxi​^​∣z2​1​(xi​−μxi​^​∣z​)2)+DKL​[qθ(en)(z∣xi​)​∣∣(N(0,I)],其物理意义为在局部的概率分布中,产生与输入误差最小的输出。
请添加图片描述

Reparameterization

在模型构建的过程中,潜在变量ZZZ在μ\muμ和σ\sigmaσ固定的情况下涉及了random选择sample的过程,不能通过backpropagate进行训练,因此引入了reparameterization trick. 其将原先平均值为μ\muμ,标准差为σ\sigmaσ的高斯分布,表示为Z=ϵ⋅σx+μxZ= \epsilon\cdot\sigma_x +\mu_xZ=ϵ⋅σx​+μx​,其中ϵ∈N(0,1)\epsilon \in N(0,1)ϵ∈N(0,1),这样子任意的ZZZ都可以通过对N(0,1)N(0,1)N(0,1)的缩放表示出来。
请添加图片描述
该方法让原先随机化的过程确定化,从而能够进行backpropagation.

请添加图片描述

相关内容

热门资讯

低压电缆合同范本优选29篇 低压电缆合同范本 第一篇甲方:______________身份证号码:_______________...
员工的承诺书 关于员工的承诺书6篇  在现在社会,承诺书与我们的生活息息相关,承诺书通常是要求以书面订立的合同,其...
养老服务合同范本通用21篇 养老服务合同范本 第一篇乙方:有限责任公司(以下简称乙方)甲方为确保单位内外整洁清新、以及高标准的卫...
委托检验商品合同范本优选14... 委托检验商品合同范本 第一篇甲方:乙方:_________生产_________产品,经甲乙双方商定...
盛元广通病原微生物实验室生物安... 人类对各种病原微生物的研究也在不断深入,越来越多的高校、医院、疾控中心和血站等很多部门...
学习搭wifi拓扑和校准线损 在这边第一次熟悉拓扑的概念  我们以前调试都是直接一个IQ 连接线损进行测试的 对于拓扑还在熟悉中 ...
新项目推到Git远程仓库,遇到... 推送到仓库(常规流程) $ cd myDemo$ git init$ g...
深度学习9. 全连接及Drop... 深度学习9. 全连接及Dropout概念一、基本概念1. 什么是全连接层2. 全连接层的作用3. 过...
【求解器】| Java调用CP... 【求解器】| Java调用CPLEX求解MIP设置初始解用到的函数具体案例 作者:刘兴...
卖房人合同范本大全优选55篇 卖房人合同范本大全 第一篇甲方(卖方):乙方(买方):根据_有关法律、法规和本地有关规定,甲、乙双方...
个人房屋租赁合同简单版 个人房屋租赁合同简单版  房屋租赁是由房屋的所有者或经营者将其所有或经营的房屋交给房屋的消费者使用,...
土建分包合同范本优选30篇 土建分包合同范本 第一篇发包方:(以下简称甲方)承包方:(以下简称乙方)根据《xxx合同法》和《xx...
FSC认证的十项原则 【FSC认证的十项原则】气候变化是我们这个时代的决定性挑战。森林是极其多样化的生态系统,...
精品陶瓷买卖合同范本(推荐1... 精品陶瓷买卖合同范本 第一篇甲方:______乙方:_________ 经甲乙–双方协商,签订本合同...
【java】Java并发编程系... 文章目录一、Java并发编程基础1.1 并发编程基本概念1.1.1原⼦性1.1.2 可⻅性1.1.3...
市场咨询合同范本精选31篇 市场咨询合同范本 第一篇甲 方:____________乙 方:____________经双方友好协...
2022房屋买卖合同范本优选... 2022房屋买卖合同范本 第一篇转让方(以下简称甲方):受让方(以下简称乙方):经自愿协商达成一致,...
GPT-4越强,这些数据隐私问... 开放隐私计算今天,ChatGPT4.0版本(下称GPT-4)...
注册公司合同范本大全通用9篇 注册公司合同范本大全 第一篇甲方:乙方:甲、乙双方经过友好协商,本着平等合作、双方共赢的原则,就甲方...
买断制合同范本最新优选25篇 买断制合同范本最新 第一篇收购(需方) (简称甲方)投售(供方) (简称乙方)甲乙双方本着“自愿、协...