华为云AI开发平台ModelArtsPytorch Mox日志反复输出_云淘科技
问题现象 ModelArts训练作业算法来源选用常用框架的Pytorch引擎，在训练作业运行时Pytorch Mox日志会每个epoch都打印Mox版本，具体日志如下： INFO:root:Using MoXing-v1.13.0-de80…
华为云AI开发平台ModelArtsmoxing.tensorflow是否包含整个TensorFlow，如何对生成的checkpoint进行本地Fine Tune？_云淘科技
问题现象 使用MoXing训练模型，“global_step”放在Adam名称范围下，而非MoXing代码中没有Adam名称范围，如图1所示。其中1为使用MoXing代码，2代表非MoXing代码。 图1 代码示例 处理方法 Fine Tu…
华为云AI开发平台ModelArts训练作业使用MoXing拷贝数据较慢，重复打印日志_云淘科技
问题现象 ModelArts训练作业使用MoXing拷贝数据较慢。 重复打印日志 INFO:root:Listing OBS。 图1 重复打印日志 原因分析 拷贝数据慢的可能原因如下： 直接从OBS上读数据会造成读数据变成训练的瓶颈，导致迭…
华为云AI开发平台ModelArtsMoXing如何访问文件夹并使用get_size读取文件夹大小？_云淘科技
问题现象 使用MoXing无法访问文件夹。 使用MoXing的“get_size”读取文件夹大小，显示为0。 原因分析 使用MoXing访问文件夹，需添加参数：“recursive=True”，默认为False。 处理方法 获取一个OBS文…
华为云AI开发平台ModelArtsMoXing_云淘科技
使用MoXing复制数据报错 如何关闭Mox的warmup Pytorch Mox日志反复输出 moxing.tensorflow是否包含整个TensorFlow，如何对生成的checkpoint进行本地Fine Tune？ 训练作业使用M…
华为云AI开发平台ModelArts如何关闭Mox的warmup_云淘科技
问题现象 训练作业mox的Tensorflow版本在运行的时候，会先执行“50steps” 4次，然后才会开始正式运行。 warmup即先用一个小的学习率训练几个epoch（warmup），由于网络的参数是随机初始化的，如果一开始就采用较大…
华为云AI开发平台ModelArts使用MoXing复制数据报错_云淘科技
问题现象 调用moxing.file.copy_parallel()将文件从开发环境拷贝到桶里，但是桶内没有出现目标文件。 使用MoXing复制数据不成功，出现报错。如： ModelArts开发环境使用MoXing复制OBS数据报错：key…
