ca88亚洲城娱乐编码自编码表达

From Ufldl

ca88亚洲城娱乐编码

在ca88亚洲城娱乐自编码算法中,敝尝试努力一组分量参量 W(和实质性的的截距) b),经过这些参量可以使敝设法对付ca88亚洲城娱乐独特点带菌者 σ(Wx + b) ,这些独特点带菌者关闭使恢复完整输出范本争辩常有益的的。。

STL SparseAE.png

ca88亚洲城娱乐编码可以考虑是ca88亚洲城娱乐自编码办法的独一金属等变形,该办法努力导演努力档案的独特点集。。运用与这样的特别集合绝对应的基带菌者,将努力的独特点集从独特点茫然的替换为范本档案茫然的。,这样的,敝就可以用努力的独特点集使恢复完整范本档案。。

一定的地说,在ca88亚洲城娱乐编码算法中,有范本档案 x 为敝停止容貌努力。格外地,努力独一用于表现范本档案的ca88亚洲城娱乐独特点集 s, 又将独特点集从独特点茫然的替换为范本DA的基带菌者。 A, 敝可以创建以下目的有或起作用:


J(A, s) = \lVert As - x \rVert_2^2 + \lambda \lVert s \rVert_1

\lVert x \rVert_kx的LK标准,相等于 \left( \sum{ \left| x_i^k \right| } \right) ^{\frac{1}{k}}。L2 标准高尚的欧几里得标准,L1 标准是带菌者元素的绝对积和。

隆起线的优先零件是运用根底VE发生的不义行为。,第二份食物零件为ca88亚洲城娱乐性惩办项(sparsity penalty 术语),用于许诺独特点集的ca88亚洲城娱乐性。

只,如目的有或起作用所示,它的约束不强——按永恒攀登缩放。A与同时刻度这样的常数的倒数。 s,成功造成的事不克不及的使变酸不义行为的主体。,却会缩减ca88亚洲城娱乐估价(态度第二份食物项)的值。合乎逻辑的推论是,需求为 A 每个提出罪状 Aj 添加附加约束 A_j^TA_j \le 1。成绩变为:


\begin{array}{rcl}
     {\rm minimize} & \lVert As - x \rVert_2^2 + \lambda \lVert s \rVert_1 \\
     {\rm s.t.}     &    A_j^TA_j \le 1 \; \forall j \\
\end{array}

后悔的的是,因目的有或起作用缺点凸有或起作用,合乎逻辑的推论是,敝不克不及用梯度法来处置这样的优化组合成绩。。只,承担的的承担的的 A 的位置下,最小 J(A,s) 求解 s 它是凸的。同样地,承担的 s 最小 J(A,s) 求解 A 也它是凸的。这表白,它可以更迭地不易挥发的。 s和 A 分清求解 As。实行表白,这一战术取等等良好的归结为。。

只,是你这么说的嘛!态度造成了另独一成绩。:独一复杂的梯度法不克不及用来造成约束。 A_j^TA_j \le 1 \; \forall j。因而在实际成绩上,这种约束绌变为分量降低(分量)。 腐烂提出罪状保证人 A 每个值都十足小。。敝设法对付独一新的目的有或起作用:


J(A, s) = \lVert As - x \rVert_2^2 + \lambda \lVert s \rVert_1 + \gamma \lVert A \rVert_2^2

(小心第三项), \lVert A \rVert_2^2相等于\sum_r{\sum_c{A_{rc}^2}},这是A.的平方积和。

这样的目的有或起作用造成最末独一成绩,即 L1 常模 0 梯度法的敷用不受点的接受物。。仍然可以采取别的非梯度沦陷法来撤销这种位置。,但本文使用近似值滑溜性 L1 标准法处置了这样的成绩。。运用 \sqrt{x^2 + \epsilon} 代表 \left| x \right|, 对 L1 标准流畅,进入 ε 这是独一流畅参量(流畅 参量或许“ca88亚洲城娱乐参量”(”sparsity 参量 (倘若 ε宏大于x, 则 x + ε 等值的 ε 首位的,它的平方根相像地ε)。在余波间接提到拓扑ca88亚洲城娱乐编码时,流畅将被运用。

合乎逻辑的推论是,终极目的有或起作用是:


J(A, s) = \lVert As - x \rVert_2^2 + \lambda \sqrt{s^2 + \epsilon} + \gamma \lVert A \rVert_2^2

\sqrt{s^2 + \epsilon}\sum_k{\sqrt{s_k^2 + \epsilon}} 的缩短)

可以经过以下跑过迭代目的有或起作用。:

  1. 随机设定初值A
  2. 反复以下踏直到收敛:
    1. 依前面的踏A,处置方案可以最小。J(A,s)s
    2. 依前面的踏s,,处置方案可以最小。J(A,s)A

合适的目的有或起作用的守候 J(A,s),承担的 s 在这种位置下,目的有或起作用可以使简易为 J(A; s) = \lVert As - x \rVert_2^2 + \gamma \lVert A \rVert_2^2(因 s 的 L1 正规形式缺点 A 的有或起作用,合乎逻辑的推论是可以疏忽不理)。使简易的目的有或起作用是独一相干 A 独一复杂的二阶项,合乎逻辑的推论是, A 追衍生演宽裕的。这种减薄的近路是矩阵演算。 互插联锁列出了与矩阵演算互插的情节。。后悔的的是,承担的的承担的的 A 在这种位置下,目的有或起作用没这样的的衍生办法。,合乎逻辑的推论是,最适当的造成目的有或起作用的最小踏。。

原理地,用是你这么说的嘛!迭代法求解Obje优化组合成绩。 的基带菌者)与经过ca88亚洲城娱乐自编码努力设法对付的独特点集是快要的。但说起来,为了设法对付胜过的算法收敛性,敝需求运用一稍许地本领。,前面的 ca88亚洲城娱乐编码实行 ca88亚洲城娱乐编码实行章节会精细的绍介这些本领。用梯度沦陷法求解目的有或起作用也独一小本领。,再说,运用矩阵演算或 反向伸开算法有助于处置这样的的成绩。

拓扑ca88亚洲城娱乐编码

经过ca88亚洲城娱乐编码,敝可以设法对付一组独特点集来表现范本档案。。不外,让敝设法对付少量地灵感,敝打算努力一组具有少量地次的独特点集。。举个样本,视觉独特点,如前面所提到的,大披肩 V1 神经纤维可以检测确定的方位上的慢慢向前移动。,同时,这些神经纤维(身体检查)被安排成超级的列(超列)。,在超级的页面中,接神经纤维检测沿相像方位的慢慢向前移动。,神经纤维检测程度慢慢向前移动,由接神经纤维检测到的慢慢向前移动苗条地使歪斜霍利。,沿着超级的柱,神经纤维可以检测到比程度方位更大的的空白。。

受模范启迪,敝打算努力的特点也具有拓扑轨道的特点。。这对敝的努力独特点几何平均什么?,倘若接的独特点是相像的,这几何平均倘若使某事物或某人敏感了独一特点,与,接的独特点也将被使某事物或某人敏感。。

详细就,承担敝随机地将独特点安排成独一正方形矩阵。。敝打算矩阵射中靶子接独特点是相像的。。造成这点的办法是依SMOOT对接独特点停止信息分类。,倘若依 3×3 矩阵信息分类,则用 \sqrt{s_{1,1}^2 + s_{1,2}^2 + s_{1,3}^2 + s_{2,1}^2 + s_{2,2}^2 + s_{3,2}^2 + s_{3,1}^2 + s_{3,2}^2 + s_{3,3}^2 + \epsilon} 代表 \sqrt{s_{1,1}^2 + \epsilon}, 他们的信息分类通常是并存。,因而从优先 1 行第 1 列开端的 3×3 该区域是独一信息分类。,从第 1 行第 2 列开端的 3×3 该地面是另独一群体。,依此类推。终极,这样的的集团会整队独一环形物。,就像这样的矩阵是独一环外面的,合乎逻辑的推论是,每个独特点按同卵双胞的次数信息分类。。
从此处,阅历接受一帆风顺的档案包 L1 惩办值积和而缺点滑溜性 L1 惩办值,在新的目的有或起作用如次:


J(A, s) = \lVert As - x \rVert_2^2 + \lambda \sum_{\text{all groups } g}{\sqrt{ \left( \sum_{\text{all } s \in g}{s^2} \right) + \epsilon} } + \gamma \lVert A \rVert_2^2

究竟,信息分类可以经过信息分类矩阵V 抛光,这么矩阵 V 的第 r 该线认同谁独特点被划分为 r 组中,这是优先次 r 群克制独特点 cVr,c = 1。信息分类矩阵的信息分类使得梯度的计算尽量的用眼的。,运用这样的信息分类矩阵,目的有或起作用被重写为:


J(A, s) = \lVert As - x \rVert_2^2 + \lambda \sum{ \sqrt{Vss^T + \epsilon} } + \gamma \lVert A \rVert_2^2

(令 D = \sqrt{Vss^T + \epsilon}\sum{ \sqrt{Vss^T + \epsilon} } 相等于

)

用迭代法求解目的有或起作用。拓扑ca88亚洲城娱乐编码设法对付的独特点与ca88亚洲城娱乐编码设法对付的相似的,合法的拓扑ca88亚洲城娱乐编码设法对付的独特点是以一种方法有“次序”排列中的任一组数字或文字的。

ca88亚洲城娱乐编码实行

如上所述,仍然ca88亚洲城娱乐编码支持的原理去复杂,只强制构成独一强求的造成指定遗传密码并收敛到,需求少量地本领。

写评论前面提到的复杂迭代算法:

  1. 随机设定初值A
  2. 反复以下踏直到收敛到最优值:
    1. 依前面的踏A,处置方案可以最小。J(A,s)s
    2. 依前面的踏s,处置方案可以最小。J(A,s)A

以这样的一种手巧的的方法器械算法,成功造成的事几乎不令人满意。,设想你设法对付了少量地成功造成的事。以下是两种更快更优化组合的收敛技术:

  1. 把战利品分红独一迷你块
  2. 良好的s起始值

把战利品分红独一迷你块

倘若在独一大档案集合同时在(譬如,有10000 贴片上的一种复杂迭代算法,你会找到每回迭代需求很长的时期。,合乎逻辑的推论是,该算法需求很长的时期来造成收敛成功造成的事。。为了加强收敛摧毁,可以选择在袖珍块上运转算法。。每回迭代的时期,并非整个 10000 个 patchs 在顶部器械算法,而缺点运用袖珍块,即从 10000 个 patch 中随机选出 2000 个 patch,再次在迷你块上器械此算法。因而你可以做独一石头和比翼,加强每回迭代的摧毁,因每回迭代现时只在 2000 个 patch 持续而缺点 10000;第二份食物,更要紧的是。,它加强了收敛摧毁(使遭受是todot)。。

良好的s起始值

在更快胜过的收敛的另独一要紧巧妙是:承担的的承担的的 A 在这种位置下,依目的有或起作用运用梯度沦陷(或别的办法)求解 s 先找到独一好的独特点矩阵 s 的起始值。究竟,除非优化组合 A 在最优值从前找到了独一最适度矩阵。 s,别的,在每回迭代跑过中随机设定初值。 s 等值的观可能性领到收敛性差。下面预约设定初值 s 胜过的办法:

  1. s \leftarrow W^Tx (x 它是独一拼凑射中靶子补丁的矩阵表现。
  2. s进入的每独一独特点s每个列。,除号A对应基带菌者的标准。即,倘若sr,c表现第c个范本的第r个独特点,则Ac表现A射中靶子第c个基带菌者,则令
    s_{r, c} \leftarrow \frac{ s_{r, c} } { \lVert A_c \rVert }.

无疑,这种设定初值有助于改良算法。,因下面的优先步执意找到满意。 Ws \approx x 的矩阵 s;第二份食物步对 s 作标定处置是为了留在心中较小的ca88亚洲城娱乐惩办值。这也表白,只运用是你这么说的嘛!踏的独一踏,而缺点两个踏。 s 设定初值处置将爱挑剔的接受物Algor的功能。。(待办事项) 这样的联锁会预约独一更精细的的解说为什么这样的设定初值C

运转算法

有两种很的技术,ca88亚洲城娱乐编码算法修正如次:

  1. 随机设定初值A
  2. 反复以下踏直到收敛
    1. 随机选择独一带有2000个补丁的袖珍块
    2. 如上所述,设定初值s
    3. 依前面的踏A,处置方案可以最小。J(A,s)s
    4. 依前面的踏s,处置方案可以最小。J(A,s)A

经过很办法,零件最优解绝对较快。

中英文对照

ca88亚洲城娱乐编码 sparse coding
自编码 autoencoder
目的有或起作用 objective function
ca88亚洲城娱乐估价 sparsity cost
反向伸开 backpropagation
由于梯度 gradient-based
非凸的 non-convex
权腐烂 weight decay
拓扑ca88亚洲城娱乐编码 topographic sparse coding
拓扑次序 topographically ordered
平一罚 smoothed L1 penalty
迷你块 mini-batches
收敛摧毁 the rate of convergence
梯度沦陷 gradient descent
零件最优解 local optima

国文译者

Xu Chao(徐朝伟), 张瑞青(ZrqjnEnFIFER), 林峰(XLFG)

Neural Networks | Backpropagation Algorithm | Gradient checking and advanced optimization | Autoencoders and Sparsity | Visualizing a Trained Autoencoder | Sparse Autoencoder Notation Summary | 动机:ca88亚洲城娱乐 Autoencoder

Language : English

no comments

Leave me comment