预训练模型使用时
使用RTM模型:
完成模型训练后,您可以在 DFL 中使用它们,也可以导出为 DFM 模型以在 DFLive 中使用。
要导出模型以在 DFLive 中使用,请使用 6) 将 SAEHD 导出为 dfm 或 6) 将 AMP 导出为 dfm,您可以选择量化模型,这可以使其运行得更快,但某些模型,特别是具有高分辨率的大型模型,如果启用此选项导出高网络尺寸 (dims) 值,则它们可能无法正常工作,因此请确保在 DFLive 中对其进行测试,该过程不会删除原始模型,只会在“模型”文件夹中创建其他 DFM 文件。如果您的模型无法正常工作,请在禁用量化选项的情况下再次导出。
如果您想在 DFL 中使用 RTM 模型您可以开始提取新场景并将其与此模型合并,而无需任何额外的训练或进行一些额外的训练。
额外训练和重用经过训练的 LIAE/LIAE RTM 模型 - 删除 inter_ab 和 inter_b 文件说明:
什么是 inter_ab 和 _b 文件?这些是使用 LIAE 架构的 SAEHD 模型的一部分(无论附加的 -U、-D、-T 和 -C 变体),与 DF 架构不同,DF 架构具有用于 SRC 和 DST 的通用 inter 文件,LIAE 具有两个 inter 文件,inter_ab其中包含 SRC 和 DST 面的潜在代码(表示)以及包含 DST 面的潜在代码的附加 inter_b。
1.删除inter_b当您想要在新 DST 上将 RTM 模型重用为常规 LIAE 模型并从启用 RW 开始重新训练模型(作为常规模型进行训练)时,请从模型文件夹中删除此文件。
适用于重复使用经过训练的 LIAE 模型并更改 DST,但不适用于 SRC。
2. 当您想为不同名人创建新的 RTM 模型时,删除inter_ab 文件,用新的 SRC 替换,添加随机 DST 集,并继续与创建新 RTM 模型时相同的工作流程。
适用于重用经过训练的 LIAE 模型并更改 SRC,但不适用于 DST
3.当您想要使用经过训练的 RTM 模型对目标 DST 执行额外训练时,请勿删除 inter_ab 或 inter_b 。
不适用于常规训练的 LIAE 模型重用(可能会遇到最终预测的人脸看起来像 DST 或与 SRC 相似度非常低的问题)
4. 当您在常规场景中重用经过训练的 LIAE 模型时,请删除 inter_ab 和inter_b , src/dst 都发生变化,或者您遇到结果看起来像 DST 的问题,请注意,这与禁用预训练时发生的情况类似,只有编码器/解码器保持训练状态,所有其他数据都被删除,这意味着模型在某种程度上返回到一个状态,就好像它刚刚经过预训练一样(不完全是,但比经过训练的状态更接近),这可能会导致训练花费更长的时间。
在这种情况下,只需将随机 DST 替换为特定目标 DST,然后在禁用 RW 的情况下开始训练: