腾讯前几天在 Hugging Face 开源了 Youtu-Parsing-Omni,一个只有 5B 参数的全模态解析模型。我实测了一圈,来聊聊它到底解决了什么问题。
一、它解决了一个什么痛点
做过文档智能的人都知道,解析是个脏活累活:PDF 要一套工具、图表要一套、音视频又要一套,最后拼在一起 schema 还不统一。
Youtu-Parsing-Omni 的思路是:不管扔进来什么模态,统一吐回一套结构化 JSON。六类输入,一套输出:
- 文档页面:带边框的版面元素、文本、LaTeX 公式、表格、阅读顺序
- 自然图像:通用解析
- 图表:直接转成 Markdown 表格
- 流程图:转成 Mermaid 代码
- 几何图:点、线、弧与几何关系
- 音频/视频:带时间戳、说话人、语音识别结果、声学事件
二、成绩单解读
官方称在 OmniDocBench v1.6 上总分 96.96,OmniParsingBench 均分 75.08,是开源权重模型里最好的一档,仅次于 Gemini-3-Pro。
怎么理解这个成绩:文档解析这个赛道,开源和闭源的差距一直在缩小。5B 参数能摸到 Gemini-3-Pro 的尾巴,意味着本地化部署的文档智能第一次有了"够用且便宜"的选项——5B 参数,消费级显卡就能跑,数据不用出内网。
三、和现有方案的对比
市面上的开源解析方案(比如 MinerU、Marker 这类)大多是"文档专用",音视频、图表要另接管线。Youtu 的差异化在于"全模态统一":
- 优势:一套 schema,工程量小;多模态混合文档(比如带图表的财报 PDF + 配套电话会议录音)一次搞定
- 劣势:新模型,生态和社区案例还少;官方 benchmark 之外的实际表现需要自己测
选型建议:如果你的输入就是纯 PDF,现有方案也够;如果是混合模态,或者你在搭 RAG 需要统一的输入层,值得一试。
四、部署实操
Hugging Face 可直接下载权重,官方同时给了 vLLM 插件和推理示例。5B 参数意味着:
- 推理:单张 24G 显存绰绰有余,量化后要求更低
- 私有化:金融、医疗这种数据不能出内网的场景,这是关键优势
- 成本:相比调闭源多模态 API,长期跑批处理任务便宜一个量级
五、三个落地场景
- 财报/论文解析:PDF 扔进去,表格、公式一次性结构化。做投研、做学术综述的,这步以前全是人工。
- 会议资产沉淀:录音转写自带说话人区分和时间戳,直接进知识库。
- RAG 输入层:六种模态压进一套 schema,下游只用对接一种格式,管线复杂度直接降一半。
六、一句话总结
文档解析正在从"每种模态一个工具"走向"一个模型全搞定"。5B 参数 + 开源 + 全模态,Youtu-Parsing-Omni 是这个趋势里目前最值得试的开源选项。