什么是机器学习？看完就明白了( 五 ) _数据

2）数据的考虑
关于数据的考虑就是你能获取到的数据案例，就是二维表中除了表头数据字段名称剩下的真实数据了，对于数据考虑，作为产品经理我们要考虑两点：
一个是数据量，在机器学习中，数据需要一定的量，希望可以尽可能的大；
一个是数据的缺省，这个是数据质量问题，要求我们尽可能完善的收集数据，如果数据缺失比较多或者数据乱码比较多的字段，可以不参与模型测算，否则会影响结果，
（3）算法选择
算法选择确定了机器学习的需求、确定了数据项，选择何种算法模型的问题，此阶段由算法工程师主导的，我们知道机器学习有很多的算法，所以算法选择也具有多样性；
同样一个问题可以多种算法解决，随着计算机科学的发展，为了也会有更多的算法支持，同时同一种算法也可以通过调参进行优化。
2. 数据处理
数据处理就是数据的选择和清洗的过程，数据准备好后，确定了算法，确定了需求，就需要对数据进行处理，数据处理的目的就是尽可能降低对算法的干扰。在数据处理中我们会经常用到“去噪”和“归一” 。
去噪就是去除数中干扰的数据，也就是说你的数据案例中存在特别情况的，或者是不正常的数据，一方面要求我们产品经理拿到的数据是反映真实世界的数据，一方面我们通过算法可以识别干扰的数据，比如对于数据有正态分布效果的我们可以通过3标准差去噪，因此去噪的目的就是去除掉数据中异常的数据。
归一就是将数据进行简化，一般将数据简化在【0,1】，数据归一化主要是帮助算法能够很好的寻找最优解。
一方面解决的是对于一个数据字段可有多重标示方式，然后数据拿到的多重标示方式的时候，比如一群羊有30只羊，然后你那到的数据有以群为单位的，有以只为单位的，那么着数据必然有误差；
再比如形容一个小时，我们可以以小时单位，也可以以分钟为单位，也可以以秒单位，因为数据分析是不分析单位的，就需要归一化处理，这也就是归一化解决的第一个问题“去量纲”这需要产品经理在获取数据的时候，统一数据计量单位；
归一化另外一个问题就是解决算法“收敛”的问题，这个需要算法去实现，比如你要分析X和Y，X的数据范围是【0-10】，Y的数据范围是【0-】算法在处理时考虑到数据收敛问题，会对数据标准化处理。
当然在数据处理中有很多手段，并且有很多算法协助去处理，数据梳理的目的就是按照业务场景将数据优化成对算法模型干扰最小的阶段。
3. 特征工程
在机器学习中有这么一种说法，数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限，数据和特征是算法模型的基础，所谓特征工程就是对处理完成后的数据进行特征提取，转换成算法模型可以使用的数据。
特征功能的目的有以下几个方面：
从数据抽取出对预测结果有用的数据；从数据中构建衍生出对结果有用的信息；寻找更好的特征提高算法高效性；寻找更好的特征可以选择简单的模型就能出具更好的拟合效果。
一般情况下在数据处理过程中就可以进行特征工程的工作，比如归一化处理，我们可能在进行特征发现的时候，还需要进一步进行数据处理。
什么是特征？特征就是在原始数据可测量的属性，可测量可以理解成这个数据指标可以被统计，可以被运算或是计算，比如时间戳数据，我们通常获取的数据就是年月日时分秒的结构，比如2019-01-09；12:30:45，这样一个数据是无法被机器学习所运算的，所以需要对这个数进行特征转换，转换成一些数值的表达式，以便于算法理解。