logistic回归(Logistic Regression),不同于线性回归(Regression),是一种分类算法 ,y=1 或 y=0
sigmod 函数/logistic 函数
假设陈述
estimated probability that y=1 on input x
决策边界
代价函数
注:的形式注定Cost的选择不能线性回归里不一样,线性回归里的Cost Function(平方差和)的形式会使得最终J的结果震荡,不利于最终收敛,从而可能只能得到局部最优解。也就是说最终J的结果不满足凸优化(Convex Optimization)。
简化版代价函数与梯度下降
goal:
gradient descent:
线性回归中,逻辑回归中。 注:特征缩放有助于加快收敛速度。
高级优化
“Conjugate gradient”, “BFGS”, and “L-BFGS” are more sophisticated, faster ways to optimize θ that can be used instead of gradient descent.
多元分类:一对多
将n元分类问题划分为n个二元逻辑回归分类问题,最后取预测值最准的分类器。