1,首先贴出sigmoid原始函数:

# def sigmoid(x):
#     return 1 / (1 + np.exp(-x))

问题:
因为当x为正整数的时候,exp(-x)很小,当x是一个非常小的负数时,exp(-x)会过大,导致溢出。
所以我们可以这样优化:对于负数,我们上下同时乘以exp(x)即可。
优化后的函数为:

def sigmoid(x):
   if np.all(x) >= 0:
       return 1 / (1 + np.exp(-x))
   else:
       return np.exp(x) / (np.exp(x) + 1)

当然,可以在进行数据预处理的时候就可以进行归一化,将数据控制在0-1之间,这样也可以避免overstack.

Logo

技术共进,成长同行——讯飞AI开发者社区

更多推荐