常见数据错误形式
- 超出正常数据范围,值或者太大或者太小
- 不符合相关校验规则,比如数值类型只能是整形,货币单位应该是美元,但是出现了英镑
- 形式错误,比如日期格式错误,电话号码格式错误,不符合相关语法语义规范
对于这样的数据要进行去除清洗处理
数据转换
针对数值,图片,视频,文字不同输入类型,有不同转换方式
小结
- 数值类型转换就采用各种归一化的计算公式进行转换
- 图片,可以采用裁剪尺寸,下采样,压缩,白化处理
- 视频,可以采用截取关键片段,采样关键针降低数据处理陈本
- 文字,可以进行词干提取,词形还原以及token化处理
mL 常见算法类型
监督,自监督,半监督,无监督,强化学习