Skip to content

fkxianzhou/ComfyUI-Jimeng-API

Repository files navigation

ComfyUI 即梦 API 节点

本项目为 ComfyUI 提供了火山方舟的视觉模型(即梦/豆包) API 节点。用户可以通过这些节点在 ComfyUI 中使用多种图像生成和视频生成功能。

  • Seedance 2.0 面向企业用户开放公测,项目已支持 Seedance 2.0Seedance 2.0 fast 视频生成节点,可用于文生视频、多模态参考、视频编辑与视频延长场景。

⚠️ 模型下线与节点弃用说明

火山方舟平台会随着模型迭代逐步下线旧版本模型。目前doubao-seedream-3-0doubao-seedance-1-0-lite 已进入下线流程,平台将逐步下调配额并在到期后完成服务下线与替换。

  • 已标记为即将弃用:
    • 图像生成(Seedream 3)(对应模型:doubao-seedream-3-0)
    • 视频生成(参考图生视频)(对应模型:doubao-seedance-1-0-lite)
  • 建议使用新节点:
    • 图像生成(Seedream 3)图像生成(Seedream 5)
    • 视频生成(参考图生视频)视频生成(Seedance 2.0)
  • 如在使用过程中遇到问题,请通过 ISSUES 反馈。
  • 暂不支持 ComfyUI 的 Nodes 2.0 新版 UI,如遇到显示异常:
    1. 点击左侧/顶部 ComfyUI 图标 打开菜单。
    2. 找到并关闭 Nodes 2.0 选项,切换回传统界面。

✨ 项目特性

  • 多 Key 管理:支持在配置文件中设置多个 API Key,并在节点中灵活切换,方便管理不同账户或配额。
  • 异步与并发:所有核心节点均支持任务的异步提交和并发生成,无需阻塞队列,大幅提升批量生成效率。
  • 友好交互:提供清晰的控制台进度提示和完善的异常处理机制,报错信息直观,便于快速排查问题。

📦 安装

方式1: 克隆仓库: 打开终端,cd 到 ComfyUI 的 custom_nodes 目录,运行: bash git clone https://github.com/fkxianzhou/ComfyUI-Jimeng-API

方式2: 使用ComfyUI Manager下载

⚙️ 设置:配置 API 密钥

方式 1:手动配置

  1. 在插件根目录中找到 api_keys.json.example 文件。
  2. 将其重命名api_keys.json
  3. 打开文件并填入您的密钥信息(从此获取 Key)。

方式 2:节点内配置

  1. 在 ComfyUI 中添加 Jimeng API Client 节点。
  2. key_name 下拉框中选择 Custom
  3. 在弹出的输入框中填入您的 API Key。
  4. (可选)在 new_key_name 中填入一个名称(如 "MyKey"),运行一次后该 Key 将被自动保存。
    • 注意:保存后需刷新浏览器页面,新密钥才会显示在下拉列表中。

📖 功能节点列表

(所有节点均位于 JimengAI 菜单下)

  • 基础设置:
    • 火山方舟 API 客户端: (必须) 用于加载并创建一个可供其他节点使用的客户端实例。
    • Jimeng 配额设置: 用于设置图像和视频生成的配额限制,防止意外消耗过多资源。
  • 图像生成:
    • 图像生成(Seedream 3): 基础图像生成节点。
    • 图像生成(Seedream 4): 高级图像生成节点,支持多图输入、组图生成以及 4.5 模型。
    • 图像生成(Seedream 5): 最新一代图像生成节点,支持多图输入、组图生成以及联网搜索
  • 视频生成:
    • 视频生成(Seedance 1.0): 核心视频生成节点,支持文生视频、图生视频(首/尾帧)。
    • 视频生成(Seedance 1.5 Pro): 支持音频生成智能时长的高级视频生成节点。
    • 视频生成(Seedance 2.0): 支持图片/视频/音频多模态参考视频编辑/延长联网搜索增强
    • 视频生成(参考图生视频): 根据 1-4 张参考图像生成视频。
    • 视频生成任务列表查询: 用于查询和管理在 API 上运行的任务历史。
  • 视觉理解:
    • 视觉理解(Visual Understanding): 使用 Seed 2.0 模型进行视觉理解对话,支持图片/视频输入和多轮对话。

📑 节点详解

火山方舟 API 客户端 (Jimeng API Client)

加载 api_keys.json 中的密钥配置。这是所有工作流的起点。

  • 输入: 密钥名称 (在 JSON 中配置的 customName)。
  • 输出: 客户端 实例。

Jimeng 配额设置 (Jimeng Quota Settings)

允许为当前客户端设置图像(张数)和视频(Tokens)的使用上限。

  • 特性: 当达到限额时自动停止任务并抛出提示,防止额度超支。
  • 示例工作流: Quota Settings Workflow

图像生成(Seedream 3)

  • 模式: 文生图(Doubao-SeedEdit 3.0 图像编辑模型已下线)。
  • 迁移建议: 如需图生图/参考图输入,请使用 图像生成(Seedream 4)图像生成(Seedream 5)

图像生成(Seedream 4)

支持 doubao-seedream-4.5

  • 输入图像: 支持单张或多张(Batch)图像作为参考。
  • 启用组图生成: 开启后可一次性生成多张内容关联的图片。

示例工作流: Seedream 4 Workflow


图像生成(Seedream 5)

支持最新的 doubao-seedream-5.0-lite

  • 输入图像: 支持单张或多张(Batch)图像作为参考。
  • 启用组图生成: 开启后可一次性生成多张内容关联的图片。
  • 联网搜索: 开启后模型可自主搜索互联网内容(如实时信息、商品等)辅助生成。

示例工作流: Seedream 5 Workflow


视频生成(Seedance 1.0 / 1.5 Pro / 2.0)

  • 1.0 特性: 支持首/尾帧视频生成。
  • 1.5 Pro 特性: 支持音效生成智能时长控制。
  • 2.0 特性: 支持最多 9 张参考图 + 3 段参考视频 + 3 段参考音频,可覆盖文生视频、多模态参考生视频、视频编辑、视频延长与联网搜索增强。

视频生成(参考图生视频)

支持上传 1-4 张图像作为风格或内容参考生成视频。

视频生成任务列表查询

支持按状态、模型版本或任务 ID 过滤查询任务历史。

示例工作流: Seedance 1 Workflow Seedance 2 Workflow


视觉理解(Seed 2.0)

支持 doubao-seed-2.0 系列模型。

  • 多模态输入: 支持上传图片或视频进行理解和问答。
  • 多轮对话: 支持开启多轮对话模式,保持上下文。
  • 深度思考: 支持开启深度思考模式,提升复杂问题的推理能力。

示例工作流: Visual Understanding Workflow

📓 示例工作流

您可以在 example_workflows 目录中找到所有节点的示例工作流。

About

在 ComfyUI 中使用火山方舟API提供的即梦(豆包)Seedream 和 Seedance 模型。 / Using the Volcano Ark API to utilize the Seedream and Seedance models of Jimeng (Doubao) in ComfyUI.

Topics

Resources

License

Stars

Watchers

Forks

Packages