不同激活函数(activationfunction)的神经网络的表达能力是否一致比如，每层都是完全线性的激活函数，会导致神经网络退化成LR，一般不会选择这种激活函数；每层都是sigmoid，这样会带来训练饱和问题。
此外，实际问题中往往根据具体问题先确定核函数类型再优化核参数，一般来说，不存在万能核函数，核函数的表现总是相对确定数据集而言的。以小波激活函数为例，小波神经网络的思想是采用小波激活函数，通过小波函数的伸缩平移来逼近那些非平稳信号中尖锐变化部分，从而更为真实地反映原信号在某一时间尺度上的变化。此外,想要对时间序列得到更好拟合，需要得到时间序列振幅和相位两方面的信息，就要选择复值小波，因为复值小波具有虚部，可以对相位进行很好地表达。