跳转到主要内容

幻舟AI文生视频、图生视频教程

幻舟AI官方网址：www.huanzhou.art

不同AI视频模型区别

  • runway：适合写实，高清。Luma：适合写实。Kling：高品质通用模型。海螺写实：动作流畅，海螺动画：动画流畅
  • 风格动作控制：不同的AI视频模型在文生视频时，最终出现的画面结果是不同的，比如皮克斯风格，在不同视频模型的输出就有很多差异。需要根据你的需求选择视频模型，如果是图生视频，图片是一致性风格，就要考虑什么视频模型能满足你的画面动作和镜头。不同模型理解和输出结果也不同。
  • 运动幅度和相机控制：Luma在图生视频中展现了更大的运动幅度和更好的相机控制，能够产生多角度的位移，而Runway则在细节控制上更为出色，适合需要精细调整的小画面。
  • 视频生成效果：
    • Luma在保持大幅度运动的同时只有较少瑕疵，原图还原度也非常好。
    • Runway则在某些情况下可能会生成诡异的运动，导致画面变形。
    • Kling可灵，可以生成一些复杂的动作，理解能力不错。
    • 海螺AI，视频主体行为动作比较流畅。图生视频清晰度更高。
  • 处理速度和稳定性：
    • Luma的生成速度较慢。
    • Runway则在时长较短的画面幅度变动中不适合太大，容易变形。
  • 画面呈现：
    • Runway在大场景中的效果最佳，画面精美，
    • Luma则在画幅上较大，但可能在细节上有所欠缺。

Runway视频工具

Runway是全球领先的面向影视创作的AI视频生成工具，它可以根据文本、图片、文本+图片、视频生成视频。 它提供的功能包括图片生成视频、文本生成视频、文本+图片生成视频以及视频生成视频等工具。 适合生成高清横屏视频内容，对摄影镜头理解比较深。
根据搜索结果，以下是为Runway视频工具编写视频提示词的通用公式：

Runway提示词公式

  1. 简单公式：
    1. [镜头动态] + [主体描述] + [动作描述]

      这个公式适用于需要快速构建视频提示词的场景，其中“镜头动态”描述了视频的拍摄方式（如平移、缩放等），“主体描述”定义了视频中的主要对象，而“动作描述”则说明了主体的动作或状态。
  2. 复杂公式：
    1. [镜头动态] + [光影描述] + [主体描述] + [主体运动] + [环境描述] + [主体细节描述] + [其他描述：情绪氛围/美学风格]

      这个公式提供了一个更详细的框架，允许创作者更精细地控制视频的各个方面，包括光影效果、主体的细节描述，以及整体的情绪和风格。
  3. Runway Gen-3 Alpha 提示词格式：
    1. [camera movement]: [establishing scene]. [additional details].

      这个格式强调了在提示词中包含相机运动、场景建立和额外的细节，以生成更具描述性和动态的视频内容。
  4. 提示词构建技巧：
    1. 明确主题：确定视频的主题或故事线。
    2. 细节丰富：详细描述场景、角色、动作和情感等细节。
    3. 运用视觉词汇：使用具有视觉效果的词汇来描述场景和动作。
    4. 尝试多种风格：调整提示词中的风格描述，尝试生成不同风格的视频。
    5. 实验与迭代：不断尝试新的提示词组合，找到最佳效果。

Runway视频提示词案例：

  1. 文生视频：
    1. 提示词：“Continuous hyperspeed FPV footage: The camera seamlessly flies through a glacial canyon to a dreamy cloudscape.”
    2. 描述：连续超高速FPV镜头，摄像机无缝地飞过冰川峡谷，到达梦幻般的云景。
  2. 图生视频：
    1. 提示词：“The camera directly faces colorful buildings in Burano Italy. An adorable dalmation looks through a window on a building on the ground floor.”
    2. 描述：镜头直接对着意大利布拉诺五颜六色的建筑，一只可爱的斑点狗从一楼的窗户往外看。

通过这些公式和技巧，你可以构建出有效的视频提示词，以指导Runway视频工具生成符合你创意的视频内容。记得，清晰度和细节是关键，它们可以帮助模型更好地理解你的意图，并生成更加生动逼真的视频。

Luma视频工具

Luma的Dream Machine是Luma AI开发的AI视频生成模型，能够快速将文本和图像转换为高质量、逼真的视频。 具备流畅的运动和电影戏剧效果，理解人物、动物与物理出界的互动，确保视频角色的一致性和物理准确性。 适用于创意视频制作、故事讲述、市场营销及教育培训等场景。 Dream Machine的技术架构基于神经辐射场（NeRF）算法，并进行了多项改进和优化。

Luma视频提示词案例：

  1. 文生视频：
    1. 提示词：“Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.”
    2. 描述：生成的是一段9秒视频，展现了长毛象在雪地中行走的场景，包括细节如风中飘动的毛发、远处的雪山和树木，以及午后的阳光效果。
  2. 图生视频：
    1. 提示词：“Nighttime footage of hermit crabs using light bulbs as shells.”
    2. 描述：寄居蟹用灯泡做壳的夜间镜头，Luma的视频运动幅度大，能产生相机的多角度位移，且在运动过程中一致性保持较好。

海螺AI视频工具

海螺AI是由中国公司Minimax开发的一款开创性文本生成视频工具，能够提供高质量的6秒720p分辨率视频片段。 它具有文本生成视频和图片生成视频功能，支持多样化场景生成、分屏功能、风格灵活、快速动作处理、面部表情生成和内容审核等特点。 海螺AI易于使用，能够快速制作视频。
以下是海螺AI视频提示词的通用公式：

  1. Prompt基础公式：
    1. 要创建的主要表现物 + 场景空间 + 运动 / 变化
    2. 主要表现物：视频的核心信息，可以是人物、动物、物体或想象之物。
    3. 场景空间：视频表现物的周围环境，可以是具体的地点或虚构场景。
    4. 运动 / 变化：描述视频中的动作或变化，增加视频的动态感。
  1. 视频描述和图片描述：
    1. 将提示词分为视频描述和图片描述两部分，并分别完善，以提升生成质量。
    2. 视频描述：涉及视频的整体氛围、风格、情感等。
    3. 图片描述：涉及视频起始画面的质量，决定视频的初始视觉效果。
  1. 提示词秘籍公式：
    1. 主体描述 + 场景设定 + 视觉细节 + 情感氛围 + 摄影技术
    2. 主体描述：视频中的主要对象。
    3. 场景设定：视频的背景环境。
    4. 视觉细节：视频中的具体视觉元素。
    5. 情感氛围：视频所要传达的情感或氛围。
    6. 摄影技术：使用的摄影手法或技术，如景深、光线等。
  1. 编写提示词的技巧：
    1. 明确目的：在编写之前，明确你希望AI做什么。
    2. 使用关键词：确定并使用与你的需求最相关的关键词。
    3. 简洁明了：尽量使用简短、直接的句子。
    4. 提供足够的上下文：为AI提供足够的背景信息。
    5. 具体详细：详细描述你的需求，包括期望的输出格式、风格、长度等。
    6. 避免歧义：确保提示词清晰无歧义。
    7. 适应性：根据不同的AI模型特性，调整提示词以适应其能力。
    8. 创造性：尝试使用新颖和创造性的方式来表达你的需求。
    9. 反馈循环：根据AI的输出效果，不断调整和优化你的提示词。

Kling视频工具

可灵大模型是快手AI团队自研的AI视频生成大模型，基于快手在视频技术方面的多年积累，采用3D时空联合注意力机制，能够生成分辨率高达1080p的视频。 可灵大模型支持自由的输出视频宽高比，并且能够将用户丰富的想象力转化为具体的画面，虚构真实世界中不会出现的场景。 它还具备电影级的画面生成能力。

文生视频提示词公式：

提示词（Prompt）=（镜头语言 + 光影）+ 主体（主体描述）+ 主体运动 + 场景（场景描述）+（氛围）
  • 镜头语言：通过镜头的各种应用以及镜头之间的衔接和切换来传达故事或信息，并创造出特定的视觉效果和情感氛围。例如：超大远景拍摄、背景虚化、特写、长焦镜头拍摄等。
  • 光影：光影是赋予摄影作品灵魂的关键元素，光影的运用可以使照片更具深度和情感。例如：氛围光照、晨光、夕阳等。
  • 主体：视频中的主要表现对象，是画面主题的重要体现者。例如：人、动物、植物或物体等。
  • 主体描述：对主体外貌细节和肢体姿态等的描述，可通过多个短句进行列举。例如：运动表现、发型发色、服饰穿搭等。
  • 主体运动：对主体运动状态的描述，包括静止和运动等，运动状态不宜过于复杂，符合5s视频内可以展现的画面即可。
  • 场景：场景是主体所处的环境，包括前景、背景等。
  • 场景描述：对主体所处环境的细节描述，可通过多个短句进行列举，但不宜过多，符合5s视频内可以展现的画面即可。例如：室内场景、室外场景、自然场景等。
  • 氛围：对预期视频画面的氛围描述。例如：热闹的场景、电影级调色、温馨美好等。

图生视频提示词公式：

提示词（Prompt）= 主体 + 运动，背景 + 运动
  • 主体：画面中的人物、动物、物体等主体。
  • 运动：指目标主体希望实现的运动轨迹。
  • 背景：画面中的背景。

视频延长提示词公式：（暂不支持）

提示词（Prompt）= 主体 + 运动
  • 主体：指上传图片中希望运动的主体，为了保证较好的文本响应能力，选一个主体效果会好一些。
  • 运动：指目标主体希望实现的运动轨迹。

音乐工具

Suno音乐模型是由位于马萨诸塞州剑桥的初创公司Suno AI开发的一款AI音乐创作工具。以下是Suno音乐模型的主要特点和功能：
  1. 文本到音乐的转换：Suno AI允许用户通过简单的自然语言描述来创作音乐，生成包括旋律、和声、节奏在内的多种音乐元素。
  2. 快速创作：Suno V3.5版本能够将用户的文本提示快速转换成音乐，大大节省了专业音乐人的创作时间，并使音乐创作变得更加普及。
  3. 音乐风格多样性：Suno AI能够生成多种音乐风格和流派的作品，从古典到爵士，从摇滚到电子，满足不同用户的需求。
  4. 音频质量：Suno V3.5采用更先进的深度学习和神经网络算法，生成的音乐在旋律上丰富多彩，和声处理精细，节奏感更强，整体上更接近专业音乐人的创作水平。
  5. 个性化创作：Suno AI提供高度个性化的创作体验，用户可以根据自己的需求调整和创作音乐

Suno歌词创作公式

创作Suno歌词时，可以遵循以下公式：
  1. 构思歌词：明确歌曲的主题和目的，考虑听众的喜好和歌曲的风格。
  2. 标记歌词：将歌词分为不同的部分，如序曲、主歌、副歌、桥段、结尾，并在每个部分前加上元标签（metatags），例如[intro]、[verse]、[chorus]、[outro]等。这些元标签不会被唱出，但有助于AI理解歌曲结构。
  3. 拆分歌词：输入20行以上，150字-200字的歌词，Suno会直接生成2-3分钟的歌曲。
  4. 优化歌词：避免在歌词开头和结尾放置关键句子，因为Suno可能会唱错或遗漏。同时，注意多音字和冷僻字的使用，以免AI唱错或跳过。
  5. 选择曲风：在歌曲描述中添加想要的音乐风格、主题等信息，如摇滚、流行、乡村；男声、女高音、童声；中国风、欧美风等。
无评论
回到顶部