如果给定样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分为3部分，分为训练集、验证集和测试集。
训练集：训练模型
验证集：模型的选择
测试集：最终对模型的评估
在学习到不同复杂度的模型中，选择对验证集有最小预测误差的模型。由于验证集有足够多的数据，用它进行模型选择也是有效的。在许多实际应用中数据不充分的情况下，可以使用交叉验证方法。
基本思路：重复地使用数据，把给定数据进行切分，分为训练集和测试集，在此基础上反复地进行训练、测试以及模型选择。
简单交叉验证：
随机将数据划分为两部分，训练集和测试集。一般 70%的数据为训练集，30%为测试集。
代码（划分训练集，测试集）：
from sklearn.cross_validation import train_test_split# data (全部数据) labels(全部目标值) X_train 训练集(全部特征) Y_train 训练集的目标值X_train, X_test, Y_train, Y_test = train_test_split(data,labels, test_size=0.25, random_state=0) #这里训练集75%:测试集25%
其中的 random_state
源码解释 : int, RandomState instance or None, optional (default=None)
int, RandomState instance or None, optional (default=None)If int, random_state is the seed used by the random number generator;
If RandomState instance, random_state is the random number generator;
If None, the random number generator is the RandomState instance used
by `np.random`.
大意就是：如果设置一个具体值的话，比如random_state=10，则每次划分后的数据都一样，运行多次也一样。如果设为None, 即random_state=None，则每次划分后的数据都不同，每一次运行划分的数据都不同。
代码（划分训练集，验证集，测试集）：
from sklearn import cross_validationtrain_and_valid, test = cross_validation.train_test_split(data, test_size=0.3,random_state=0) # 先分为两部分：训练和验证 ， 测试集train, valid = cross_validation.train_test_split(data, test_size=0.5,random_state=0) # 再把训练和验证分为：训练集 ，验证集
交叉验证
3种交叉验证
交叉验证的用处
为什么要用交叉验证