今天分享的是一个非常有趣的AI工具：OmniGen

一、OmniGen是什么

OmniGen是一种“统一图像生成模型”，无需安装ControlNet、IP-Adapter、Reference-Net等插件，就能根据文本提示，自动识别输入图像中的特征（如：某个对象、姿势、映射）。

有什么用呢？

比如下面这两幅图，如果想把里面的人物放在同一个背景中，过去比较麻烦，而现在只需一行指令。

哒哒！

上面使用的提示词：
The little girl and the man were standing in the street. the girl is left in <|image_1|>. the man is middle in <|image_2|>.

还有其它用法，比如想让下方左图的红衣女孩，穿上下方右图的白色连衣裙：

提示词：
a girl wear a white dress. the girl is left in <|image_1|>. the white dress is in <|image_1|>.

这份完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

---

**
二、OmniGen的应用场景介绍**

官方公示的场景有很多，这是一张女孩的图像，通过文本提示改变她的姿势（比心）：

图中有两个人，选择右边的人，改变他的衣服、动作、场景：

从两张图里分别提取两个人，让她们在房间里数钱：

即使图中人物多于两个，也可以通过提示词来让AI识别，比如左边“中间的男人”、右边“年龄最大的女人”，他俩在马路上聊天：

生成的新图像会保留人物的基本可识别特征：

将一束花放在指定颜色的花瓶中并摆放在玻璃桌面：

移除女孩的耳环，同时用可乐换掉背景中的杯子：

提取图像中人物的动作框架（通常需要ControlNet插件才能完成）：

也可以根据动作框架来直接生成新的图像：

---

三、OmniGen本地部署

方法并不复杂。首先确保网络“畅通”并已安装Python、Git等基本工具。

进入命令窗口，依次执行以下命令（以N卡为例）：

conda create -n omnigen python=3.10

conda activate omnigen

conda install pytorch=2.3.1 torchvision=0.18.1 torchaudio=2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia

git clone https://github.com/staoxiao/OmniGen.git

cd OmniGen

pip install -e .

pip install gradio spaces

python app.py

为避免每次使用都要激活环境，可建立一个批处理文件，内容如下：

@echo off
call conda activate omnigen
python app.py
pause

首次运行，会自动下载所需的模型，需要超过15GB的硬盘空间：

---

四、使用方法

提示词基本按照日常语法，唯一要注意的是指定的图像，需按照这个格式：<|image_i|>，其中的“i”是1到3的数字。

例如上传三幅图，图1是男性，图2是女性，图3是街道，想生成男+女+背景，则提示词为：
A man in middle in <|image_1|> and a woman in middle in <|image_2|> holding hands in street like <|image_3|>.

最后再测试一下名人的图像结合，让黑寡妇和马大师合影：

---

五、结论

1、OmniGen可识别图像中人物的性别、年龄、位置、服饰（颜色）等，使提示词得以更接近日常语言。

2、对于需要在同一图像中出现两个特定角色的应用场景，OmniGen能派上用场。

3、OmniGen目前生成效果仍不完美，但无需额外插件的多合一处理方式，符合未来AIGC的发展趋势。

4、OmniGen生成一幅图耗时较长（4090大约1分半，4060需要4到5分钟），效率有待优化。

---

文章涉及的网址：

OmniGen的代码页面：
https://github.com/VectorSpaceLab/OmniGen

---

写在最后

SD全套资料，包括汉化安装包、常用模型、插件、关键词提示手册、视频教程等都已经打包好了，无偿分享，有需要的小伙伴可以自取。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
 

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

请添加图片描述

若有侵权，请联系删除