使用OpenAI+Gemini构建你自己的漫画生成器

我们都曾欣赏过漫画，无论是超级英雄漫画、报纸漫画还是日本漫画。漫画简短、富有表现力，只需几帧就能讲述一个完整的故事。但如果有一个新的转折：如果你可以使用漫画生成器将一段短视频剪辑转换成由四格组成的连环漫画，其中包含对话泡泡、富有表现力的漫画人物和幽默元素，那会怎样？

这就是 Comic Generator 或 Comic War 背后的理念，而不仅仅是另一个内容生成器。我设计的系统可以将一段视频剪辑和一个简短的创意想法转化为完整的连环漫画图像。最好将其视为两个人之间富有想象力的合作：一个负责“编写剧本”，另一个负责“绘制漫画”。

在本文中，我将带您了解 Comic War 的旅程，解释它的工作原理、所需的组件、使用哪种编程语言进行编码、我在此过程中遇到的挑战以及项目未来的发展方向。

Comic War的概念

所有创意应用都基于一个标准公式：

• 输入：用户提供的内容。
• 转化：系统如何运作并进一步完善。
• 输出：体验的精髓，使其感觉完整而精致。

对于 Comic War 来说，其公式如下：

• 输入：
  • 一段短视频（例如 YouTube 短片）。
  • 一句创意（“用考试代替视频中的打斗”）。
• 转化：
  • 系统地分析视频，将创意改写成完整的漫画剧本，并严格执行规则（布局、风格、幽默）。
• 输出：
  • 一段 PNG 格式的四格漫画，带有对话框和字幕。

它的乐趣何在？因为它是个性化的。你收到的不是随机的漫画，而是根据你一句创意定制的、对你刚刚选择的片段进行重新诠释的版本。

想象一下电影中的打斗场景，将学生之间的争吵演变成一场关于家庭作业的滑稽课堂大战。这种相关的视觉效果的混合——熟悉的用户名加上令人惊讶的、个性化的漫画改写转折——是让《漫画战争》令人上瘾的原因。

漫画战争的运作方式

流程分解如下：

1. 用户输入

流程始于两个简单的输入：

• 视频网址：您的素材（理想情况下，YouTube 短片时长约为 30-40 秒）。
• 创意文本：您的构思或主题。

示例：

视频地址：https://www.youtube.com/shorts/xQPAegqvFVs

创意：用考试代替暴力，就像 Yash 所说的那样

“暴力，暴力，我不喜欢暴力，我避免……但暴力喜欢我。”

用户只需提供这些，无需复杂的设置，也无需滑动条。

2. 故事讲述者的工作（Gemini）

流程的第一部分就是我所说的“故事讲述者”。在这里，您输入的 YouTube 视频链接和简短创意等原始输入会被转化为结构化且可用的内容。

当你粘贴视频链接时，Gemini 会查看片段并提取细节：

• 场景中发生了什么？
• 氛围（紧张、戏剧化、轻松）。
• 角色如何移动和互动。

然后，它会将你的俏皮话（例如“用考试代替暴力”）扩展成一个漫画脚本。

现在，这个脚本不再只是随机的文本。它是一个包含四个分格的剧本，遵循一套严格的规则。这些规则被明确写入了引导 Gemini 的系统提示中。它们包括：

• 始终采用 2×2 网格（因此每个漫画看起来都一致）。
• 严格的漫画风格（不刻意渲染人物）。
• 对话以类似表情包的对话框形式呈现。
• 添加字幕以补充笑点或背景。
• 没有裁剪，没有截断文字，也没有对版权名称进行有风险的引用。

通过将这些约束融入系统提示中，我确保 Storyteller 始终能够生成干净可靠的剧本。因此，Gemini 不会要求图像生成器“只制作漫画”，而是会准备一个结构完整的计划，以便下一步无需猜测即可执行。

3. 插画师的工作（OpenAI / Imagen）

剧本完成后，它会被传递给插画师。

这部分工作无需解释任何内容；它的唯一职责就是准确绘制 Storyteller 的描述。

插画师的功能由图像生成模型实现。在我的设置中，我首选 OpenAI 的 GPT-Image-1，如果第一个工具失败，则使用 Google 的 Imagen 作为备用方案。

实际操作如下：

• 插画师接收剧本，并将其作为一条长而详细的提示。
• 然后，它会将每个面板的人物、姿势、背景和对话框完全按照布局进行渲染。
• 如果 OpenAI 不可用，相同的指令会自动发送给 Imagen，因此您始终可以获得完整的漫画。

这种分离是 Comic War 可靠性的关键。

• Gemini 的思维方式像导演一样：它编写剧本并搭建舞台。
• GPT-Image-1 或 Imagen，它们像艺术家一样绘画，遵循指示，而不会尝试进行任何更改。

因此，输出不会显得杂乱无章。每幅漫画都以标准的四格连环画形式呈现，风格类似表情包，几乎完全符合您的想法。

4. 输出：最终漫画

最终呈现的是一幅四格连环画图像：

• 各格边框清晰。
• 人物姿势正确。
• 对话气泡，文字恰当。
• 幽默感十足。

最重要的是，它看起来就像一部可以在线发布的成品漫画。

Comic War背后的技术

系统的核心技术如下：

• 语言和工具
  • Python 是粘合语言。
  • dotenv 用于 API 密钥管理。
  • Pillow 用于图像处理。
  • base64 用于处理图像数据。
• Storyteller（分析 + 提示）
  • Gemini（多模态模型）：读取视频 + 扩展用户输入。
• Illustrator（图像生成）
  • OpenAI GPT-Image-1（DALL·E 变体）。
  • 备用方案：Google Imagen（增强弹性）。

这种双重方法既确保了创造力（来自 Storyteller），也确保了视觉一致性（来自 Illustrator）。

实现过程

现在，让我们来看看实际的实现。

1. 配置

@dataclass
class ComicGenerationConfig:
    primary_service: str = "openai"
    fallback_service: str = "imagen"
    output_filename: str = "images/generated_comic.png"
    openai_model: str = "gpt-image-1"
    imagen_model: str = "imagen-4.0-generate-preview-06-06"
    gemini_model: str = "gemini-2.0-flash"

模型的使用方式如下：

• OpenAI 是默认的插画师。
• Imagen 是备用的。
• Gemini 是故事讲述者。

2. 编写剧本

def extract_comic_prompt_and_enhance(video_url, user_input):
    response = gemini_client.models.generate_content(
        model="gemini-2.0-flash",
        contents=[
            Part(text=enhancement_prompt),
            Part(file_data={"file_uri": video_url, "mime_type": "video/mp4"})
        ]
    )
    return response.text

这一步将模糊的输入重写为详细的漫画提示。

2. 构建剧本

OpenAI (主要):

result = openai_client.images.generate(
    model="gpt-image-1",
    prompt=enhanced_prompt,
)
image_bytes = base64.b64decode(result.data[0].b64_json)

Imagen (备用):

response = gemini_client.models.generate_images(
    model="imagen-4.0-generate-preview-06-06",
    prompt=enhanced_prompt,
)
image_data = response.generated_images[0].image

后备方案确保可靠性；如果一位插画师出现故障，另一位插画师将接管工作。

4. 保存漫画

def save_image(image_data, filename="generated_comic.png"):
    img = PILImage.open(BytesIO(image_data))
    img.save(filename)
    return filename

此方法将漫画以 PNG 格式写入磁盘。

5. 编排

def generate_comic(video_url, user_input):
    enhanced_prompt = extract_comic_prompt_and_enhance(video_url, user_input)
    image_data = generate_image_with_fallback(enhanced_prompt)
    return save_image(image_data)

所有步骤都在这里联系在一起：

• 提取剧本，生成漫画，保存输出。

演示示例

让我们来看看实际操作。

输入：

• 视频：动作短片。

• 想法：“用考试代替暴力。”

生成的剧本：

• 画面 1：男主角瘫坐在桌子上：“考试，考试，考试……”
• 画面 2：砰的一声合上书本：“我不喜欢考试！”
• 画面 3：悄悄溜走：“我逃避考试……”
• 画面 4：一个名为“期末考试”的巨型书本怪物：“……但考试喜欢我！”

输出：

清晰的四格漫画

构建“漫画战争”的挑战

任何项目都难免会遇到障碍。以下是我遇到的一些挑战：

• 模糊的输入：用户倾向于给出简短的想法。如果不进行改进，由于信息有限，输出会显得平淡或模糊。解决方案：严格扩展剧本。
• 图片生成失败：有时图片生成会卡住。解决方案：自动回退到备份服务。
• 裁剪问题：对话框被截断。解决方案：在提示中明确构图规则。
• 版权风险：部分片段引用了著名电影。解决方案：自动移除剧本中的电影名称/品牌。

超越漫画战争

漫画战争只是其中一个用例。同样的引擎还可以支持：

• 表情包生成器：从热门片段自动生成热门表情包。
• 教育漫画：将枯燥的讲座变成四格讲解。
• 营销工具：为活动生成品牌故事板。
• 互动式叙事：让用户逐格引导故事。

简而言之，任何结合幽默、视觉效果和个性化的内容都可以从这种方法中受益。

小结

Comic War 的开发过程就像一堂关于协调的课程，我们将工作分工分配给了故事讲述者和插画师。

我们并没有寄希望于一个模型“解决所有问题”，而是赋予了每个部分明确的职责：

• 一个模型负责扩展和构建创意
• 一个模型负责忠实地绘制

最终呈现的作品精致、个性化且充满乐趣。

这就是重点：只需一段短视频和一个天马行空的想法，任何人都可以创作出一部看起来足以登上互联网头版的漫画。

常见问题

问题 1：我需要什么来创作漫画？

答：一个 YouTube 短链接（约 30-40 秒）和一个单行创意。系统会使用 Gemini 分析视频片段，将你的想法扩展成一个四格剧本，然后由图像模型进行绘制。

问题 2：使用了哪些模型？

答：Gemini 负责草拟四格剧本。GPT-Image-1 负责绘制。如果 OpenAI 失败，系统会自动使用 Imagen。这种分离机制可以确保结果的一致性。

问 3：如何避免版权问题？

答：剧本会删除品牌和角色名称，避免使用雷同内容，并保持风格化的漫画风格。您提供的视频是您有权使用的。