逻辑回归(Logistic Regression)

Aug 26, 2019


logistic回归(Logistic Regression),不同于线性回归(Regression),是一种分类算法 CodeCogsEqn_1 ,y=1 或 y=0

sigmod 函数/logistic 函数

CodeCogsEqn_2

CodeCogsEqn_3

假设陈述

CodeCogsEqn_4 estimated probability that y=1 on input x

CodeCogsEqn_5

CodeCogsEqn_6

决策边界

CodeCogsEqn_7

代价函数

CodeCogsEqn_8

CodeCogsEqn_9

注:CodeCogsEqn_0的形式注定Cost的选择不能线性回归里不一样,线性回归里的Cost Function(平方差和)的形式会使得最终J的结果震荡,不利于最终收敛,从而可能只能得到局部最优解。也就是说最终J的结果不满足凸优化(Convex Optimization)。

CodeCogsEqn_10

简化版代价函数与梯度下降

CodeCogsEqn_11

goal: CodeCogsEqn_12

gradient descent:CodeCogsEqn_13

线性回归中CodeCogsEqn_14,逻辑回归中CodeCogsEqn_15。 注:特征缩放有助于加快收敛速度。

高级优化

“Conjugate gradient”, “BFGS”, and “L-BFGS” are more sophisticated, faster ways to optimize θ that can be used instead of gradient descent.

多元分类:一对多

1566437357098

将n元分类问题划分为n个二元逻辑回归分类问题,最后取预测值最准的分类器。

参考资料