复习用,后续再添加内容 次梯度定义: ∂g(x)={u∈Rn∣g(y)≥g(x)+⟨u,y−x⟩}\partial g(x) =\{u\in\mathbb R^{n}|g(y)\geq g(x)+\langle u,y-x\rangle\} ∂g(x)={u∈Rn∣g(y)≥g(x)+⟨u,y−x⟩} 次梯度最优性条件 x∗=argminx∈Rng(x)⟺0∈g(x∗)x^*=\operatorname*{argmin}_{x\in\mathbb R^n}g(x)\Longleftrightarrow 0\in g(x^*) x∗=x∈Rnargming(x)⟺0∈g(x∗) 邻近点算子 proxαg(y)=argminx∈Rn(12∥x−y∥22+αg(x)){\rm prox}_{\alpha g}(y) =\operatorname*{argmin}_{x\in\mathbb R^n} \left(\frac 12 \|x-y\|_2^2+\alpha g(x)\right) proxαg(y)=x∈Rnargmin(21∥x−y∥22+αg(x)) 邻近点梯度法 x(k+1)=proxαkλg(x(k)−αk∇f(x(k)))x^{(k+1)}={\rm prox}_{\alpha_k\lambda g}\left(x^{(k)}-\alpha_k\nabla f\left(x^{(k)}\right)\right) x(k+1)=proxαkλg(x(k)−αk∇f(x(k))) 使用Nestrov加速