阿里重磅开源Qwen2-VL：能理解超20分钟视频媲美GPT-4o！

　　爱博合创PANVIS-A脑血管介入手术辅助操作系统成功获批上市

　　长光辰芯发布 1 亿像素 CMOS 图像传感器 GMAX64104：感光面积 65.5mm x 65.5mm

　　七彩虹预告 iGame Z790D5 VULCAN“火神”旗舰主板 9 月 2 日发售

　　Apple Intelligence推动 苹果最快有望在2025年成为全球最大智能手机厂商

　　网易回应缩减在日本游戏工作室投资：根据当地实时动态进行调整，很多作品正稳步研发中

　　极越CEO夏一平：几十亿的智驾都是马路杀手 没有大模型的座舱都是老头乐

　　阿里重磅开源Qwen2-VL：能理解超20分钟视频，媲美GPT-4o！

　　阿里巴巴开源了最新视觉多模态模型Qwen2-VL，根据测试数据显示，其72B模型在大部分指标超过了OpenAI的GPT-4o，Anthropic的Claude3.5-Sonnet等著名闭源模型，成为目前最强多模态模型之一。

　　Qwen2-VL支持中文、英文、日文、韩文等众多语言，可以在 Apache2.0协议下进行商业化使用。同时阿里发布了 Qwen2-VL-72B的API，帮助开发者增强或开发多模态功能的生成式AI应用。

　　Qwen2-VL是基于Qwen2开发而成，相比第一代Qwen-VL有以下特色功能。

　　可理解20分钟以上的长视频:Qwen2-VL 可理解长视频，并将其用于基于视频的问答、对话和内容创作等应用中。

　　例如，对于一部长达两个小时的纪录片，用户询问其中某个特定历史事件的具体时间和背景，Qwen2-VL 可以快速检索视频内容，从复杂的影像和解说中提取出关键信息，为用户提供详细准确的回答。

　　Qwen2-VL还可以根据长视频的内容进行故事续写、影评撰写或者创意改编。例如，一个30分钟的科普长视频，Qwen2-VL 可以提取其中的核心知识，创作出一篇通俗易懂的科普文章，或者以视频中的某个情节为灵感构思出一部全新的小说。

　　可操作手机和机器人的视觉智能体:借助复杂推理和决策的能力，Qwen2-VL 可集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。

　　性能评估方面，阿里从大学题目、数学、文档表格多语言文字图像的理解、通用场景下的问答、视频理解、Agent进行了综合测试。

　　结果显示，72B的大部分性能超过了GPT-4o，仅在对综合的大学题目上和 GPT-4o 还有一些差距。

　　在7B模型上，其性能与GPT-4mini的水平一样，尤其是像 DocVQA 之类的文档理解能力和 MTVQA 考察的图片中多语言文字理解能力都处于 SOTA 水平。

　　模型架构方面， Qwen2-VL 在架构上的一大改进是实现了对原生动态分辨率的全面支持。与上一代模型相比，Qwen2-VL 能够处理任意分辨率的图像输入，不同大小图片被转换为动态数量的tokens，最小只占4个 tokens。

　　这种设计不仅确保了模型输入与图像原始信息之间的高度一致性，更是模拟了人类视觉感知的自然方式，赋予模型处理任意尺寸图像的强大能力，使其在图像处理领域展现出更加灵活和高效的表现。

　　Qwen2-VL在架构上的另一重要创新则是多模态旋转位置嵌入(M-ROPE)。传统的旋转位置嵌入只能捕捉一维序列的位置信息，而 M-ROPE 通过将原始旋转嵌入分解为代表时间、高度和宽度的三个部分。

　　使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息。这一创新赋予了语言模型强大的多模态处理和推理能力，能够更好地理解和建模复杂的多模态数据能力。

　　目前，阿里已经展示了Qwen2-VL的多个实际应用案例，例如，对一大段视频进行详细解读。

　　Qwen2-VL:视频开始时，一名男子对着镜头说话，后面是一群人坐在控制室里。然后镜头切换到两个漂浮在空间站内的男子，可以看到他们对着镜头说话。这些人似乎是宇航员，他们穿着太空服。

　　球速体育

　　空间站里充满了各种设备和机械，镜头四处移动以显示空间站的不同区域。这些人继续对着镜头说话，他们似乎在讨论他们的使命和正在执行的各种任务。总的来说，该视频让人们对太空探索的世界和宇航员的日常生活有了一个有趣的了解。

　　用户还可以基于视频继续提问，两位宇航员穿的衣服是什么颜色的?Qwen2-VL回答:两名宇航员穿着蓝色和黑色的衣服。

　　你也可以向Qwen2-VL发送一张杭州萧山到北京的飞机票，然后基于上面的内容进行提问:“这趟航班什么时候到达?到达时目的地的天气如何?”

　　Qwen2-VL具备了GPT-4o的实时问答功能，让其对一些书、植物、手势等进行解读。

　　文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。

　　近日，中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相，以敢为精神勇闯技术无人区，斩获四项AWE 2024艾普兰大奖。

　　“以前都要去窗口办，一套流程下来都要半个月了，现在方便多了!”打开“重庆公积金”微信小程序，按照提示流程提交相关材料，仅几秒钟，重庆市民曾某的账户就打进了21600元。

　　2024年3月12日，由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

　　由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导，由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”，将于2024年3月23日至24日举办。