华为云AI开发平台ModelArts语义相似距离_云淘科技
概述
计算距离某个向量最近的k个向量集合。这些向量通常是通过算法生产的包含语义的向量(例如word2vec生产的词向量,或者doc2vec生产的文章向量)。可以用于寻找和一个单词或者一篇文章相似的单词或者文章。
输入
参数 |
子参数 |
参数说明 |
---|---|---|
inputs |
dataframe |
inputs为字典类型,dataframe为pyspark中的DataFrame类型对象。用于计算距离每个向量最近的topN个向量 |
输出
参数 |
子参数 |
参数说明 |
---|---|---|
outputs |
output_port_1 |
指向一个pyspark的DataFrame类型对象,该对象中包含距离每个向量最近的topN个向量的结果 |
参数说明
参数 |
是否必选 |
参数说明 |
默认值 |
---|---|---|---|
id_col |
是 |
用户id所在的列名 |
“id” |
vector_col |
是 |
向量的列名列表,如col1,col2 |
“” |
topn |
是 |
输出的距离最近的向量的数目。取值范围[1,+∞) |
20 |
distance_type |
是 |
距离的计算方式。取值[cosine] |
“cosine” |
distance_threshold |
是 |
距离的阈值。当两个向量的距离小于此值时输出。取值范围(0,+∞) |
1.0 |
leaf_size |
是 |
叶子节点大小 |
50 |
样例
数据样本
id,f1,f2 1,0.1,0.2 2,0.3,0.1 3,0.7,0.2
配置流程
运行流程
参数设置
查看结果
original_id,near_id,distance,rank 3,2,0.0009438416449403242,1 3,1,0.3242753714826536,2 1,2,0.29289321881345254,1 1,3,0.3242753714826536,2 2,3,0.0009438416449403242,1 2,1,0.29289321881345254,2
父主题: 文本
同意关联代理商云淘科技,购买华为云产品更优惠(QQ 78315851)
内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家