Venus团队 投稿开云体育

量子位 | 公众号 QbitAI

你唾手拍下一张像片，AI也许只会夸“真雅瞻念”，却说不出一句确凿灵验的建议。

靠近构图失衡、主体依稀的像片，现存大模子时时停留在闲居而谈的“惊奇式反馈”上：既识别不了问题出在那儿，也无法给出具体、可操作的拍摄带领。

针对这一挑战，北京大学彭宇新讲授团队在好意思学融会限制开展了最新盘问，界说了好意思学带领这一任务，并构建了首个好意思学带领数据集AesGuide。该数据集包含进步一万张像片，以及与之配套的专科分析和拍摄建议。在此基础上，团队进一步提倡好意思学带领大模子Venus，通过渐进式审好意思问答与念念维链编著推理赋予大模子好意思学融会能力，使AI从“被迫描摹图像”迈向“主动带领拍摄”。联系论文已被CVPR 2026经受，并已开源。

从“图像描摹”到“影相带领”

智高手机的普及使拍照融入日常糊口中，成为东说念主们留存驰念、共享糊口、记载心思的方便式样。但“拍得到”不即是“拍得好”，由于短缺专科的影相教养与审好意思检会，很多用户在构图布局、取景视角与东说念主景关系等关键要害难以作念出准确判断，导致像片无法拍好，在质感与发达力上与专科影相作品存在繁密差距。

比拟之下，专科影相师不仅好像精确识别像片中的中枢好意思知识题（如构图失衡、机位不当、主体不隆起等），还能在拍摄时给出具体、可操作的校正建议（如蜕变构图比例、变换拍摄机位、优化用光角度与东说念主物姿态等），从而擢升像片的好意思学质料与抒发张力。

本文将这种“识别好意思知识题并给出专科带领”的能力界说为好意思学带领（Aesthetic Guidance，AG），如图1所示，旨在匡助非专科用户拍摄出比好意思专科影相水准的像片，具有遑急的盘问意旨与应用价值。

△ 图1. 好意思学带领任务暗示图

△ 图2. 现存大模子在好意思学带领任务中的失败案例

连年来，多模态大模子凭借强劲的视觉-讲话长入建模能力，在图像融会、描摹生成、通达域问答等通用任务上获得了显赫进展。然则，当任务从“被迫描摹图像”进一步走向“主动带领拍摄”时，现存模子仍存在显著不及：即使靠近构图失衡、主体依稀、画面参差等存在显著颓势的像片，模子也时常倾向于给出惊奇式的正向评价，既难以准确识别像片的好意思知识题，更无法提供与像片内容强对应、可径直操作的蜕变建议，如图2所示。

进一局势，这种好意思学带领能力的缺失还会传导至另一项紧密联系的任务——好意思学编著（Aesthetic Cropping, AC）。好意思学编著旨在通过二次取景隆起像片主体并优化举座构图，进而擢升像片好意思感，如图3所示。

然则，现存多模态大模子难以定位视觉要点并分辨滋扰区域，因此无法确定合理的编著范围，导致编著适度偏离遐想构图，无法竣事像片好意思感的擢升，如图4所示。

△ 图3. 好意思学编著任务暗示图

△ 图4. 现存大模子在好意思学编著任务中的失败案例

针对上述问题，北京大学彭宇新讲授团队构建了一个新的好意思学带领数据集与评测基准AesGuide，并提倡好意思学带领大模子Venus：

（1）率先，通过渐进式审好意思问答赋予大模子好意思学带领能力，使其从“客不雅描摹”进一步走向“识别问题+提供建议”；

（2）其次，通过念念维链编著推理激活模子的好意思学编著潜能，提高其对编著鸿沟的定位能力。

现实适度标明，Venus在AesGuide和开源好意思学编著评测基准FLMS上均获得了优于现存模式的服从。本文将好意思学融会从“被迫描摹”鼓舞到“可操作、可讲明、可交互”的视觉优化，为创作更靠近东说念主类审好意思的智能影像提供了新的念念路。

时刻决议

为撑捏好意思学带领的检会与评测，本文构建了一个新的好意思学带领数据集与评测基准AesGuide。

AesGuide共包含10,748张确凿像片，每张像片均标注好意思学分析与好意思学带领，如图5所示。不同于以往偏“描摹/夸赞”的数据，AesGuide面向确凿拍摄场景，强调可操作的拍摄建议，主要体现时两点：

1. 好意思学评价：每张像片配有专科好意思学评价，明确指出构图松散、光泽失衡、东说念主景关系不互助等关键问题；

2. 拍摄带领：在好意思学评价的基础上进一步给出具体可操作的蜕变决议，变成“问题-原因-蜕变”的完好闭环。

△ 图5. AesGuide数据集样本示例

为处置大模子对像片过度正向评价、好意思学编著定位不准的问题，本文提倡了好意思学带领大模子Venus。如图6所示，Venus的构建过程包含2个主要体式：

1. 好意思学带领能力构建：通过渐进式审好意思问答，指挥模子变成更接近东说念主类的审好意思推理旅途，赋予大模子好意思学带领能力；

2. 好意思学编著能力激活：通过念念维链编著推理，长入学习几何取景决策与构图逻辑，提高对编著鸿沟的定位能力。具体如下：

阶段I：好意思学带领能力构建。

开源多模态大模子频繁继承两阶段检会范式：第一阶段期骗海量数据对王人视觉编码器与大讲话模子的表征空间；第二阶段在东说念主工标注数据上进行监督指示微调。本文在此基础上，进一步在AesGuide数据集上进行微调，赋予大模子好意思学带领能力。具体而言，本文参考东说念主类审好意思推理过程，构建“举座印象-精采分析-可操作建议”的渐进式审好意思问答念念维链，通过行远自迩、难度递加的好意思知识答检会，指挥模子变成更接近东说念主类的审好意思推理旅途。

每条检会样本记为(x,q,a,g)，其中x为输入图像，q为用户指示，a为好意思学分析，g为好意思学带领。检会方向为最大化模子在给定(x,q)条目下生成a和g的条目概率，即：

其中，AG为AesGuide数据集，y为a和g的拼接序列，πθ为大模子的词元散布。检会过程中，冻结视觉编码器与模态联接器，仅更新大讲话模子参数。为考证通用性与跨架构适配性，本文对5个不同架构的开源大模子进行微调，包括Qwen-VL-Chat、InternVL 2.5、MiniCPM-V 2.6、LLaVA-1.5-7B和LLaVA-1.5-13B。微调后的模子分别记为Venus-Q、Venus-I、Venus-M、Venus-L-7B和Venus-L-13B。

△ 图6. 好意思学带领大模子（Venus）框架图

阶段II：好意思学编著能力激活。

现存编著模式频繁对候选编著框进行打分或径直记忆编著坐标，短缺对编著手脚背后好意思学旨趣与视觉意图的融会，本体上是对坐标的“盲目学习”。为处置这一问题，本文提倡念念维链编著推理，通过长入学习编著坐标偏激背后的构图逻辑，提魁岸模子对编著鸿沟的定位能力。

具体而言，本文为每个编著框生成高质料的好意思学依据，指挥多模态大模子对编著手脚进行显式推理。为保证好意思学依据的可靠性，策画了两阶段历程：

（1）好意思学依据生成：在原始图像上用红色矩形框高亮编著区域，并将带框图像输入GPT-4o，教导其讲明该区域构图更优或更差的原因；

（2）好意思学依据校验：使用Qwen2.5-VL-72B对生成的好意思学依据进行审核，考证其是否与视觉内容一致？能否正确响应编著质料？未通过校验或推理质料较低的样本将被自动鲜艳并重更生成，变成“生成-校验-再生成”的闭环，直老友意思学依据得志质料步骤。

在本阶段，模子同期推测编著坐标及对应的好意思学依据。每条检会样本记为(x,q,b,r)，其中x为输入图像，q为用户指示，b为编著坐标，r为好意思学依据。检会方向为最大化模子在给定(x,q)条目下生成b和r的条目概率，即：

其中，D为好意思学编著数据集，y为b和r的拼接序列，πAG为第一阶段得到的好意思学带领模子的词元散布。检会过程中，对模子进行全参数微调。本文选择Venus-Q进行好意思学编著能力激活。

现实适度

表1展示了在AesGuide评测基准上的好意思学带领适度。本文提倡的5个好意思学带领大模子在AesGuide上均获得了清楚擢升，各名堂的均优于OpenAI的GPT-4o、谷歌的Gemini-2.0-Pro等闭源买卖模子，展现出可靠的好意思学带领能力。表2展示了在开源FLMS评测基准上的好意思学编著适度。Venus的好意思学编著能力不仅优于闭源买卖模子和现存的好意思学大模子，还进步了专用的好意思学编著模子。

△ 表1. 好意思学带领大模子（Venus）在AesGuide评测基准上的好意思学带领适度

需要指出的是，好意思学融会自己具有较强的主不雅性，并受到用户偏好影响，因此并不存在独一的步骤谜底。在这一前提下，遐想的好意思学模子需要在精度、可讲明性与可交互性之间获得均衡。具体到好意思学编著任务，可讲明性是指模子不仅能给出合理的编著适度，还能阐发编著背后的构图依据与好意思学原因；可交互性是指模子好像融会用户需求，并通过多轮交互支捏个性化编著。

然则，现存模式难以同期得志这三方面需求：专用好意思学编著模子固然精度较高，但短缺对编著适度的讲明，也难以支捏天真交互；多模态大模子固然具备较强的讲明与交互能力，但编著精度不及。本文提倡的好意思学带领大模子Venus交融了两类模式的上风，在保捏高编著精度的同期，兼具精采的可讲明性与交互能力。

图7的案例展示标明，比拟OpenAI的GPT-4o，Venus能更准确地识别画面中的滋扰区域，生成更具好意思感的编著适度。除了给出编著框外，Venus还好像了了阐发编著背后的构图依据与好意思学原因，并支捏基于当然讲话反馈的交互式优化（如隆起主体、蜕变画面均衡、改变聚焦区域等），从而竣事兼具可讲明性与可交互性的好意思学编著。

△ 图7. 好意思学带领大模子（Venus）案例展示

名堂价值

针对现存大模子对像片过度正向评价、好意思学编著定位不准的问题，本文构建了一个新的好意思学带领数据集与评测基准AesGuide，并提倡好意思学带领大模子Venus：

率先，通过渐进式审好意思问答赋予模子好意思学带领能力；其次，通过念念维链编著推理激活模子的好意思学编著潜能。

现实适度标明，Venus在AesGuide与开源好意思学编著评测基准FLMS上均获得了优于现存模式的适度。本文将好意思学融会从“被迫描摹”鼓舞到“可操作、可讲明、可交互”的视觉优化，为创作更靠近东说念主类审好意思的智能影像提供了新的念念路和模式。

△ 表2. 好意思学带领大模子（Venus）在FLMS评测基准上的好意思学编著适度

论文标题：

Venus: Benchmarking and Empowering Multimodal Large Language Models for Aesthetic Guidance and Cropping

论文结合：

https://arxiv.org/abs/2602.23980

开源代码：

https://github.com/PKU-ICST-MIPL/Venus_CVPR2026

现实室网址：

https://www.wict.pku.edu.cn/mipl

一键三连「点赞」「转发」「留意心」

迎接在挑剔区留住你的目的！

— 完 —

咱们正在招聘又名眼疾手快、怜惜AI的学术编著实习生 🎓

感酷爱的小伙伴迎接怜惜 👉 了解细则

🌟 点亮星标 🌟

科技前沿进展逐日见开云体育