由前stability AI前核心团队成员发布的FLUX模型以其能够输出媲美Midjourney画质的图像而爆火，FLUX模型在使用中与stable diffusion 3类似，需要专门CLIP模型配合使用。自然CLIP模型的优化自然会影响到FLUX模型生成效果。

9月5日zer0int在huggingface社区上发布了优化版的CLIP-L模型CLIP-GmP-ViT-L-14GmP-ViT-L-14，项目地址为https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14。zer0int在过去的三个月中发布了三类CLIP-L优化模型：

GmP模型，3月前发布

SMOOTH模型，图像中没有文字，会增加图像的细节表现。

TEXT模型，支持图像中带文字，优化图像细节表现。9月5日发布，支持FLUX模型

新发布的模型可以直接替换原Open AI发布的CLIP-L模型，在ComyfUI中使用方法如下：

1. 在https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14/tree/main 页面中下载 ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors 这个模型，这个是只包含TEXT Encode的模型。
2. 将模型放在 ComfyUI/models/clip 目录下。
3. 在ComyfUI的CLIP节点中，将CLIP-L模型替换为ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors 这个模型即可。

测试GGUF量化模型中也可以使用ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors这个模型，而且4步即输出较好画质。

根据zer0int在社区中的描述，本次更新微调代码没有变化，使用 GmP 结合标签平滑 (label-smoothing) 进行 CLIP 的微调，参考了 zer0int/CLIP-fine-tune 项目。你将对比损失函数 (ContrastiveLoss) 中的温度 (temperature) 设置为非常高的 0.1 (CLIP 预训练的温度是 0.07)，并尝试调整了其他超参数 (hyperparameters)。

LongCLIP模型

zer0int还发布过一个LongCLIP模型，模型地址https://huggingface.co/zer0int/LongCLIP-GmP-ViT-L-14

这取决于情况。CLIP-L 的输入最大为 77 个 tokens，但有效注意力大约适用于 20 个 tokens。CLIP 中有许多情况下 1 个 token = 1 个单词，所以它能“关注”的内容大约是 15-25 个单词。

如果你描述一个自然场景，并在提示中间描述一只鸟，但 CLIP-L 一直无法生成这只鸟，那么你就知道它的“注意力被耗尽”了（在 LLM 中，这被称为“干草堆里的针”基准测试）。

在这种情况下，Long-CLIP 可能会提供更好的结果。然而，我的 Long-CLIP 目前（还）没有 CLIP-L 的细节准确性（例如用于文本的准确性）。所以对于较短的提示和文本，我会建议“使用 CLIP-L”。

这可能是因为 Long-CLIP 的嵌入被复杂地插值到 248 个 tokens，但它实际上应该在更多“中间”情况上进行训练，即标记为 1.非常短的标题、2.中等长度的标题、3.较长标题的图像，并随机选择进行训练。

目前也没有办法将 Long-CLIP 融入检查点或让它正常工作，除非有一些特殊的节点，而 CLIP-L 可以作为常规 Clip-L 的替代品。

关于LongCLIP模型的使用，可以参考https://github.com/SeaArtLab/ComfyUI-Long-CLIP的相关介绍，只需安装该插件，就可以在SD1.5 and SDXL以及FLUX的workflow中使用LongCLIP模型。

 SD1.5 示意

SDXL示意

FLUX示意

关于mac上运行ai工具的问题，可以咨询微信号：mxdiaZ