My Little World

数据清洗和转换

常见数据错误形式

  1. 超出正常数据范围,值或者太大或者太小
  2. 不符合相关校验规则,比如数值类型只能是整形,货币单位应该是美元,但是出现了英镑
  3. 形式错误,比如日期格式错误,电话号码格式错误,不符合相关语法语义规范

对于这样的数据要进行去除清洗处理

数据转换

针对数值,图片,视频,文字不同输入类型,有不同转换方式





小结

  1. 数值类型转换就采用各种归一化的计算公式进行转换
  2. 图片,可以采用裁剪尺寸,下采样,压缩,白化处理
  3. 视频,可以采用截取关键片段,采样关键针降低数据处理陈本
  4. 文字,可以进行词干提取,词形还原以及token化处理

mL 常见算法类型

监督,自监督,半监督,无监督,强化学习

自监督相关概念

决策树相关注意点



二分类评价指标

复杂度解释or解释





李沐机器学习ppt