数据清洗和转换 发表于 2024-10-15 常见数据错误形式 超出正常数据范围,值或者太大或者太小 不符合相关校验规则,比如数值类型只能是整形,货币单位应该是美元,但是出现了英镑 形式错误,比如日期格式错误,电话号码格式错误,不符合相关语法语义规范 对于这样的数据要进行去除清洗处理 数据转换针对数值,图片,视频,文字不同输入类型,有不同转换方式小结 数值类型转换就采用各种归一化的计算公式进行转换 图片,可以采用裁剪尺寸,下采样,压缩,白化处理 视频,可以采用截取关键片段,采样关键针降低数据处理陈本 文字,可以进行词干提取,词形还原以及token化处理 mL 常见算法类型监督,自监督,半监督,无监督,强化学习 自监督相关概念 决策树相关注意点 二分类评价指标 复杂度解释or解释 李沐机器学习ppt