今天是公益培训的第二天,上周日第一天主要学了智能体开发引论和Coze平台入门,今天主要内容是通过两个半案例实操来掌握Coze平台用法。
1、职业照生成
1.1、需求
上传一张照片,生成4种职业的照片,最后用4宫格输出成一张图片。
1.2、最终效果展示

上图是两个人的职业照,分别生成医生、消防员、军人等职业,最后拼在一起。
1.3、智能体工作流

1.4、工作流拆解
1.4.1、开始
主要是上传图片

1.4.2、图像识别插件

该插件主要用于判断人物的性别,以便给大模型调用。
1.4.3、提示词大模型

该大模型是系统调用,主要用于生成系统提示词,特别要注意的是要明确指出性别,不然性别会乱。
示例系统提示词为:
生成图片提示词。
图片是医生的职业照。主体人物30岁中国人,性别是{{sex}},写实风格。
输出格式:一张图片提示词。
1.4.4、图像生成
根据系统提示词,使用图像生成插件,生成相应的图片。

注意:
1、模型可以选择人像,也可以选择动漫,或者其它
2、参考图要确保人物一致,程度为1,人物姿势,程度为0.7
3、输入的提示词是上一步大模型生成的提示词
1.4.5、调用画板插件生成四宫格图片
该步骤主要是在画板上把上一步生成的四张职业照照片拼在一起,可以自定义布局,也可以添加文字等信息。

1.4.6、结束
把上一步画板生成的图像输出

2、小红书金句卡片生成
2.1、需求
输入书名,自动生成提取书中的金句,生成小红书金句卡片
2.2、最终效果展示

2.3、智能体工作流

2.4、工作流拆解
2.4.1、开始
主要是创建一个书籍名称输入框

2.4.2、调用书籍搜索search_books_online插件搜索书籍信息

输入的关键字就是上一步开始里面的书籍名称,返回的内容包括作者、封面等信息。
注意,这个插件不是精确搜索,导致后面想要尝试异常处理都实现不了。
2.4.3、选择器插件
调用选择器插件,来处理搜索不到书籍的情况,实际情况是,上一步的搜索插件始终会搜索到信息。这一步可以省略。
2.4.4、内容解析大模型

调用深度搜索大模型,根据系统提示词,生成内容。
系统提示词示例:
##任务
根据用户输入的书籍名称{{book_name}},按照<生成规则>和<输出规则>的要求,为用户提供标题和内容一定要注意<限制要求>中的内容
##生成规则
1.查找用户输入的书籍{{book_name}},并且深入理解书籍的全文内容;
2.从书中挑选出最具有代表性的3个金句,以序号开头,如:“1、xxx”,每个金句不得超过50个字,一定要注意字数限制,非常非常重要,如果金句超过50个中文字符,继续找其他金句符合字数条件的句子;
##输出规则
以json格式输出,仅输出如下内容,不要做任何解释。输出格式:
{
"book_name":"《输入的书籍名称》",
"author":"输入的作者",
"content":[ {
"sentence":"金句1",
},{
"sentence":"金句2",
},...]
}
##限制要求
-严格按照<输出规则>中的json格式输出,不要再输出其他任何内容,也不要使用代码块的方式输出,**不要使用、、、这类的符号**,这个很重要!
以书籍《次第花开》为例,输出示例:
{
"book_name":"《次第花开》",
"author":"希阿荣博堪布",
"content":[{
"sentence":"1.外在的挫折,会成为修行的助缘",
},{
"sentence":"2.自律不是压抑情感,不是强忍;它是了解因果后,主动选择的一种健康的生活方式",
},…]
}
2.4.5、金句提取与背景图生成
2.4.5.1、金句提取

根据上一步大模型生成的金句,再次调用深度搜索大模型,输出成规定的格式。
该步骤系统提示词示例:
##任务
{{sentence}}
将上面的句子分割成下面的格式,如果句子中有一个逗号,那么用逗号将句子分成两段即可;如果句子对仗工整,那么将句子分成两段对仗部分;其余情况,则根据句子语义区分,语义相同的不能切成两段,例子如下:
示例1
原句子:惩罚恶人是上帝的事,我们应该学会饶恕
分割后:
惩罚恶人是上帝的事
我们应该学会饶恕
示例2
原句子:见未真,勿轻言;知未的,勿轻传
分割后:
见未真,勿轻言
知未的,勿轻传
##输出规则
以json格式输出,仅输出如下内容,不要做任何解释。输出格式:
{
"theme1":"惩罚恶人是上帝的事",
"theme2":"我们应该学会饶恕”,
}
{
"theme1":"见未真,勿轻言",
"theme2":"知未的,勿轻传”,
}
##限制要求
严格按照<输出规则>中的格式输出,不要再输出其他任何内容,也不要使用代码块的方式输出,**不要使用、、、这类的符号**,这个很重要!
2.4.5.2、背景图生成
调用图像生成插件,根据书籍名称,生成对应的图片

该步骤调用的大模型是即梦AI 4.0,可以设置生成图片的宽高比例。
该步骤示例提示词为:
参考{{book_name}},输出相关主题的图片
2.4.6、画板拼图
调用画板插件,将背景图和书籍名称、作者,金句等排列组合到一起

2.4.7、结束
把上一步画板生成的图像输出

3、治愈老爷爷视频生成
上这部分内容的时候已经是下午快5点了,所以算是半个案例,放到第三天的上午再继续讲。