2016.05.12回顾

昨天开始尝试自己写logistic regression，参考别人的写了一个demo，主要是为了理解算法，果断发现了不少问题。

1、梯度下降法，有批量梯度下降，有随机梯度下降，批量梯度下降就是按着梯度负方向在走，就是偏导，X矩阵是样本总体，但是我奇怪的是随机梯度下降法，是把X一条一条的使用，为什么这样也能收敛？后来看书上的图像，参数收敛是一种波动式的收敛，但是最终还是会收敛，至于证明应该很复杂，我就不管了，但是这种的好处是时间复杂度很低，特别是数据量大了的情况，批量梯度下降消耗太高，但是原理我仍然没理解透彻

2、写的demo居然发现个神奇的问题，就是sigmoid函数我令成1/(1+exp(z))居然会overflow，但是1/(1+exp(-z))就不会出错，我现在还没发现问题，但至少说这个点有意思！

总结：效率要提高，要专注，思维要清晰，这些东西都很抽象，有难度，然后就是要按时睡觉，昨天又没按时睡觉，11点半前睡觉！养成好习惯！执行力！！！！