华为云AI开发平台ModelArts数据集行去重_云淘科技
概述
“去重”节点用于删除数据集中的重复行（假如有两行相同，保留其中一行）。
对于那些不允许有重复记录输入的节点算法，可以先使用该算法做预处理。
输入
|
参数 |
子参数 |
参数说明 |
|---|---|---|
|
inputs |
dataframe |
inputs为字典类型，dataframe为pyspark中的DataFrame类型对象 |
输出
去重后的数据集
参数说明
无
样例
inputs = {
"dataframe": None # @input {"label":"dataframe","type":"DataFrame"}
}
params = {
"inputs": inputs
}
drop_duplicates____id___ = MLSDropDuplicates(**params)
drop_duplicates____id___.run()
# @output {"label":"dataframe","name":"drop_duplicates____id___.get_outputs()['output_port_1']","type":"DataFrame"}
父主题： 数据处理
同意关联代理商云淘科技，购买华为云产品更优惠（QQ 78315851）
内容没看懂？ 不太想学习？想快速解决？ 有偿解决： 联系专家
