明略科技的专有 GUI 大模子 Mano 外行业的 Mind2Web 和 OSWorld 两大挑和性基准测试中，均取得了创记载的 SOTA 成就。通过正在线强化进修和锻炼数据从动采集两大焦点立异，Mano 为整个 GUI 智能体范畴供给了一套可扩展、可持续进化的新范式。我们正正在把越来越多的时间交给屏幕。有人算过，人终身中耗正在手机上的时间接近 9 年；若是你的工做离不开电脑，这个数字只会更高。时间碎片化，留意力也被点击、勾选、复制粘贴这些琐碎操做蚕食。若是，这些操做都能交给 Agent 呢？点开网页、登录账号、抓取数据、填写表单、提交换程，全程无人值守，你还有来由再手动点鼠标吗？这背后的市场热度，早已劈面而来。无论是刚落幕的 2025 外滩大会，仍是财新亚洲愿景论坛，Agent 都是全场最高频的热词，不少概念认为：也不克不及仅笔据一指令完成登录领取宝、微信、淘宝下载账单，并挪用 Excel 进行数据清理，完成对过去一年消费习惯阐发的操做。正在这场 GUI Agent 竞赛中，中美巨头纷纷，但成功率低下成了绕不外去的硬伤：目炫狼籍的界面、多变的交互逻辑，让浏览器从动化操做，远比生成一段流利文字要罕见多。所以，当明略科技带着具有双榜 SOTA（当前最先辈）成就的 Mano 出场时，就显得非分特别吸睛。这一成就不只让 Mano 成为通用 GUI 智能体的新范式，也意味着从动化鸿沟又被推远了一大步。近日，明略科技推出的基于多模态根本模子的网页 GUI 智能体 Mano，凭仗其强大的机能，外行业内的两大挑和基准 ——Mind2Web 和 OSWorld 上同时刷新记载，取适当前最佳成就（SOTA）Mind2Web 笼盖 137 个网坐、2350+ 实正在使命，从填写表格到订机票、再到正在线购物，包罗万象，旨正在调查智能体可否正在复杂多变的 DOM 布局里精准找到方针元素，并完成整个操做链。Mind2Web 笼盖 137 个网坐、2350+ 实正在使命，从填写表格到订机票、再到正在线购物，包罗万象正在元素精度 (Ele。Acc）和步调成功率（Step SR）上遥遥领先 —— 两项目标显著超越了所有 SOTA 的方式。这表白它正在精确识别和定位界面元素，以及成功施行多步使命的能力上达到了新高度。Mano 正在操做 F1 (Op。F1) 目标上取此前顶尖模子持平以至略高，这表白它的焦点劣势并非仅仅来自对操做类型的判断能力，而是可以或许实正将复杂使命为成功的操做序列。更难的挑和来自桌面端。OSWorld-Verified 涵盖了 369 个跨使用使命，笼盖 10 类使用，包含浏览器，办公软件等多个类型，每一个操做都和实正在桌面场景无缝对接，被认为是桌面智能体测评界的「珠峰」。OSWorld-Verified 做为一个基准测试集，旨正在评估模子可否正在实正在摆设场景下完成从头至尾的、复杂的使命链条。Mano 正在 GUI 交互范畴初次提出了正在线强化进修的锻炼范式，并推出锻炼数据从动采集的「摸索器」，这两大焦点立异为其实现史无前例的图形界面交互机能，奠基了根本。Mano 全体框架分为三大部门，摸索模块、处置流程以及优化流程。摸索模块关心若何获取锻炼数据，处置流程了 Mano 操做网页或电脑的过程。左侧优化流程是「锻炼时的优化策略」，通过 SFT、离线强化进修和正在线强化进修的三步走，加强模子正在动态 GUI 中的推理能力、顺应性，以及端到端的决策能力。自 DeepSeek 横空出生避世以来，GRPO 曾经成为了强化进修黄金范式。这不只限于狂言语模子的范畴内，正在多种使命范畴的智能体模子的锻炼中都曾经有了普遍的使用。现有的模子锻炼大多局限正在离线强化进修的范围，正在这种模式下，通过离线强化进修，我们可以或许充实操纵大量汗青数据来锻炼智能体，从而提高模子的推理决策能力，这也是 DeepSeek 验证成功的手艺模式。第一阶段，监视微调（SFT），利用来自实正在数据和跨多个网坐取操做系统的模仿的精细处置交互数据，对模子进行全参数的 SFT，获得初始模子 Mano-SFT。第二阶段，取 DeepSeek 等大模子采用的锻炼模式雷同，Mano 采用离线强化进修，连系 GRPO 方式进行微调，获得两头模子 Mano-Off。但正在 GUI 交互智能体范畴，使命特征决定了模子任何形式的操做都需要取实正在的系统交互慎密连系，最终都要使用正在现实操做系统的实正在里。手艺团队正在现实验证过程中认为，仅通过以上两个阶段的锻炼，仍然不脚以达到具备脚够矫捷性和顺应性的要求。为此，他们分享道，Mano 模子需要「实正的接入操做系统的实正在里，需要通过不断地取交互，正在交互过程中采样到更丰硕的实正在轨迹来填补离线锻炼样本的单一性和稀少性」因而，正在两阶段锻炼的模子根本上，他们正在 GUI 范畴里开创性的提出了正在线强化进修的策略，建立了 GUI 范畴强化进修的新范式。简单来说，正在线强化进修是强化进修的一种形式。智能体按照当前的形态选择一个步履，然后从中获得响应的励以及新的形态。这些反馈会被用来更新智能体的策略。正在线进修的一个显著特点是：智能体需要正在每个时辰都依赖最新数据进行进修，同时不竭正在摸索（测验考试新的步履以获打消息）和操纵（基于已有学问采纳最优步履）之间寻找均衡。这个系统的锻炼模式就是正在实正在逛戏中采纳对和的模式进行正在线进修，智能体不竭取本人或多个实例对和，每场对和城市生成大量的经验，最终打败职业逛戏选手。这种锻炼逻辑取 GUI 交互智能体的锻炼逻辑有殊途同归之妙，Mano 也需要正在实正在的交互中进行不竭强化以提高顺应性和矫捷性。为此，让模子可以或许取实正在交互，包罗浏览器（BUA）和桌面（CUA）。通过模仿，模子可以或许正在「实正在交互」中采集更多样化的数据，填补离线轨迹分布稀少的问题。手艺团队自建模仿中摆设的正在线强化进修，同样基于 GRPO，但利用了更沉视及时顺应性和动态摸索的励机制。正在此过程中，智能体通过正在线试验收集新的交互数据，这些数据会被轮回回流到离线锻炼阶段进行进一步优化，实现持续改良和迭代更新。家喻户晓，正在线强化进修存正在交互时间成本过高和缺乏矫捷采样的缺陷。为了降低成本，明略科技的手艺团队并没有采用正在线交互 + 立即更新的体例，而是采用正在线采样 + 离线过滤的体例：先收集轨迹，再过滤噪声数据，能够动态调理使命难度分布，避免过多失败轨迹导致的进修效率低下问题。正在完整的正在线强化进修流程中，Mano 模子取多个并行的 Playwright 实例交互，每个实例对应一个的 GUI 。每一步中，模子会获取形态取截图，进行推理生成「思虑」取「步履」，并正在对应中施行该动做。该轮回会持续，曲到使命完成。消融尝试成果显示，添加了正在线强化进修的步调后，模子正在 OSWorld-Verified 数据集上的平均分数发生了一个显著的飞跃，比拟离线强化进修的模子成果提拔了 7。9，达到 41。6同时，由 SFT 到离线强化进修，再到正在线强化进修的三个阶段能够迭代轮回，曲到正在验证集上的机能提拔趋于饱和。于是获得 Mano 最终模子。要实现高质量的正在线强化进修锻炼，不只要求模子具备正在实正在中进行摸索和交互的能力，还需要海量的交互轨迹数据做为支持。Mano 第二大立异恰是聚焦于模子数据获取和轨迹采集。大模子虽然能理解笼统的指令，但正在需要复杂、多步调操做的方针驱动型使命中，它往往无法地将风雅针分化为具体的施行步调：因而，研发人员火急需要为交互使命建立公用的模子和智能体。而正在这一过程中，海量的高质量交互轨迹数据是不成或缺的。过去，这类数据往往需要通过人工建立或标注，成本高、耗时长。明略的手艺团队则设想了锻炼数据从动采集的方式，从底子上提拔了数据收集的效率和精确性。起首，手艺团队搭建了一个可扩展的虚拟集群，用于模仿多种交互场景。针对每个方针使用，无论是网页 URL 仍是桌面软件模块，团队通过狂言语模子从动生成方针清单，并对方针进行优先级排序，过滤掉利用频次极低的功能，为后续摸索供给明白的上下文指点。正在元素提取方面，团队为网页定制了 Chrome 插件「Mano-C」，该插件可以或许全面提取网页中的交互元素，捕获其空间坐标取语义属性。通过系统化的 DOM 树遍历，识别出网页中的可交互元素，并设想了多层级过滤机制，解除视窗外的元素，查抄 CSS 属性，剔除不成见元素，并过滤掉极小尺寸的逃踪元素。对于桌面，则采用 A11y Tree 解析取 OmniParseV2 协同过滤的方式，确保笼盖更多交互元素，特别是那些单一方式可能脱漏的元素。正在数据标注方面，手艺团队操纵狂言语模子为每个提取的元素生成语义标签、功能描述及交互类别，构成布局化的语义对齐数据，为后续的锻炼供给了无效的监视信号。为了让数据采集更具智能性，他们设想了基于 Prompt 的摸索模块，用于智能选择交互元素，并引入显式束缚，避免径轮回和冗余分支。摸索过程中，采用深度优先搜刮（DFS）策略，最大深度设为 10 层，从而正在摸索笼盖率和计较效率之间找到均衡。系统起首会打开分歧的网址，识别可点击或输入的元素，并通过插件抓取网页中的交互元素，同时收集该元素的描述及 DOM 消息，并操纵狂言语模子生成语义对齐数据。接下来，系统会从这些候选元素中挑选方针，起头逐渐摸索。整个过程会不竭轮回，每一步城市查抄能否已达到最大摸索深度，若未达到，则继续进行摸索。跟着 2025 年 AI Agent 需求的迸发，明略科技依托自研的大模子和独无数据资产，推出贸易数据阐发智能体DeepMiner其焦点亮点正在于可以或许获取更完整、及时的数据，为数据阐发演讲和深度研究供给更无力支撑。而这一焦点劣势背后，恰是 Mano 的手艺支持。目前市道上大大都 AI Agent（如 Manus、GenSpark）获取数据的体例较为保守，凡是依赖平台开辟 API 或通过 MCP 和谈间接抓取数据，因而，数据来历缺乏奇特征和壁垒。实正的合作壁垒来自于那些既没有 API，又没有 MCP 和谈的专业网坐。一般来说，这些数据只能通过用户手动登录账户，设置前提后才能获取。例如，正在亚马逊后台，用户需要手动选择比来 30 天的数据、输入环节词、按照流量趋向进行排序，才能筛选出所需数据。为了可以或许拜候这些其他同类 Agent 无法触及的数据源，Mano 应运而生，成为差同化合作中的环节脚色而这一通用 GUI 智能体的 SOTA 表示，源于明略科技多年来正在多模态大模子和数据智能范畴的积淀。几年前，明略科技便起头建立学问图谱，将「事务」、「时间」、「空间」等要素融入此中，为多模态消息的深度联系关系和逻辑推理打下了根本。接着，通过天然言语处置和机械进修，明略科技将企业数据为可操做的贸易洞察，涵盖从营销到运营办理等多个使用场景，鞭策手艺取贸易的深度融合。2024 年，明略科技的超图多模态狂言语模子（HMLLM）和 Video-SME 数据集荣获 ACM MM 2024 最佳论文提名，并正在脑电图、眼动等非标模态数据处置范畴取得显著冲破。2025 年推出的 PRE-MAP 模子进一步鞭策了高分辩率个性化视觉预测。这些学术冲破也为 Mano 正在 GUI 智能体范畴的超卓表示，供给了的手艺支持。做为平台的从动化引擎，Mano 通过拟人化交互精准完成各类复杂网页操做。其焦点手艺冲破正在于，通过持续强化进修，Mano 可以或许自从顺应和摸索全新的平台取营业流程。这种高度顺应性使其可以或许高效、大幅降低保守从动化方案正在应对营业变动时的适配取成本。将来，明略科技将继续正在数据采集、锻炼推理整合、验证码处置等范畴摸索，鞭策 Mano 正在实正在使用和端侧摆设中的进一步优化，为企业的智能化转型供给强无力的支撑。