我的编程空间,编程开发者的网络收藏夹
学习永远不晚

文档字越多,模型越兴奋!KOSMOS-2.5:阅读「文本密集图像」的多模态大语言模型

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

文档字越多,模型越兴奋!KOSMOS-2.5:阅读「文本密集图像」的多模态大语言模型

然而,现有的大型语言模型主要集中在文本信息上,无法理解视觉信息。

因此多模态大型语言模型(MLLMs)领域的进展旨在解决这一限制,MLLMs将视觉和文本信息融合到一个基于Transformer的单一模型中,使该模型能够根据这两种模态学习和生成内容。

MLLMs在各种实际应用中显示出潜力,包括自然图像理解和文本图像理解。这些模型利用语言建模作为处理多模态问题的通用接口,使其能够根据文本和视觉输入处理和生成响应。

不过,现有的MLLMs主要关注分辨率较低的自然图像,对于文本密集图像的MLLM研究还不多见,因此充分利用大规模多模态预训练来处理文本图像是MLLM研究的一个重要的研究方向。

通过将文本图像纳入训练过程并开发基于文本和视觉信息的模型,我们可以开辟涉及高分辨率文本密集图像的多模态应用的新可能性。

图片

论文地址:https://arxiv.org/abs/2309.11419

KOSMOS-2.5是一个基于文本密集图像的多模态大型语言模型,它是在KOSMOS-2的基础上发展而来的,突出了对于文本密集图像的多模态阅读和理解能力(Multimodal Literate Model)。

该模型的提出突显了其在理解文本密集型图像方面的卓越性能,弥合了视觉和文本之间的差距。

与此同时,它也标志着该任务范式的演变,从以前的编码器-解码器(encoder-decoder)架构转变为纯解码器(decoder only)架构。

KOSMOS-2.5的目标是在文本丰富的图像中实现无缝的视觉和文本数据处理,以便理解图像内容并生成结构化文本描述。

图1:KOSMOS-2.5概览图

如图1所示,KOSMOS-2.5是一个多模态模型,旨在使用统一的框架处理两个紧密相关的任务。

第一个任务涉及生成具有空间感知的文本块,即同时生成文本块的内容与坐标框;

第二个任务涉及以Markdown格式生成结构化的文本输出,同时捕捉各种样式和结构。

图2:KOSMOS-2.5架构图

如图2所示,两个任务利用共享的Transformer架构与任务特定的提示。

KOSMOS-2.5将基于ViT(Vision Transformer)的视觉编码器与基于Transformer架构的解码器相结合,通过一个重采样模块连接起来。

图3:预训练数据集

如图3所示,为了训练这个模型,作者准备一个庞大的共324.4M的数据集进行预训练。

图4:带有边界框的文本行的训练样本示例

图5:Markdown格式的训练样本示例

该数据集包含各种类型的文本密集图像,其中包括带有边界框的文本行和纯文本的Markdown格式,图4和图5为训练样本示例可视化。

这种多任务的训练方法增强了KOSMOS-2.5在整体上的多模态能力。

[图6] 端到端的文档级文本识别实验

图7:从图像中生成Markdown格式文本实验

如图6和图7所示,KOSMOS-2.5在两个任务上进行评估:端到端的文档级文本识别和从图像中生成Markdown格式文本。

实验结果展示了KOSMOS-2.5在理解文本密集的图像任务方面的出色表现。

图8:KOSMOS-2.5的输入和输出样例展示

此外,KOSMOS-2.5在少样本学习和零样本学习的场景中展现了有前景的能力,使其成为处理文本丰富图像的实际应用的多功能工具。

作者指出,指令微调是一个很有前景的方法,可以实现模型更广泛的应用能力。

在更广泛的研究领域中,一个重要的方向在于进一步发展模型参数的扩展能力。

随着任务范围的不断扩大和复杂性的不断提高,扩展模型以处理更大量的数据对于文字密集的多模态模型的发展至关重要。

最终目标是开发出一种能有效解释视觉和文本数据的模型,并在更多文本密集型多模态任务中顺利推广。

参考资料:

https://arxiv.org/abs/2309.11419

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

文档字越多,模型越兴奋!KOSMOS-2.5:阅读「文本密集图像」的多模态大语言模型

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

文档字越多,模型越兴奋!KOSMOS-2.5:阅读「文本密集图像」的多模态大语言模型

KOSMOS-2.5在少样本学习和零样本学习的场景中展现了有前景的能力,使其成为处理文本丰富图像的实际应用的多功能工具。

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录