火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

AI快讯 2hours ago AICAT
0 0
火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

智东西

作者 | ZeR0

编辑 | 漠影

根据智东西在5月14日的报道,火山引擎于5月13日在上海举行的AI创新巡展中展示了其大模型的全景图,并推出了豆包·视频生成模型Seedance 1.0 lite和豆包1.5·视觉深度思考模型,同时对豆包·音乐模型进行了升级。此外,Data Agent首次公开亮相,国内首款AI原生IDE产品Trae也与豆包深度思考模型进行了深度集成,并增强了多个重要功能。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

现在,火山方舟已经涵盖了多个领域的模型,包括语言处理、深度思考、视觉解析、语音识别、GUI Agent等。

在此次活动中,火山引擎的副总裁张鑫指出,模型、算力、数据和安全构成了人工智能时代的新基础设施,火山引擎在这些方面对外提供了完整的解决方案:

在模型方面,豆包大模型支持着超过50个内部真实场景及30多个行业的合作企业,截至四月,日均tokens的调用量已突破12.7万亿。

算力上,火山引擎的AI云原生系统具备出色的承载能力,包括强大的计算能力、优化的推理层和高效的系统调度。

在数据方面,数据飞轮2.0和Data Agent的结合使用户能够基于动态的多模态数据湖智能重塑数据关系。

安全方面,火山引擎提供的大模型安全解决方案包括PCC私密云计算平台,有效应对端云协同计算中的数据泄露风险,并通过大模型防火墙消除多种潜在攻击威胁。

一、视频生成模型:高效、快速且经济实惠

新推出的豆包视频生成模型Seedance 1.0 lite,能够支持文本转视频和图像转视频,且视频生成时长可选择5秒或10秒,分辨率则提供480P和720P两种选择。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

企业用户可以在火山方舟平台上通过API使用该模型,而个人用户则可以在豆包App或即梦体验中体验该功能。

作为豆包视频生成模型系列中的轻量级版本,Seedance 1.0 lite实现了两项显著的突破:提供影视级的视频生成质量以及显著提升视频生成速度,从而兼顾效果、速度和性价比。

(1)更加精准的指令执行:借助强大的语义理解能力,能够细致控制角色的外貌、气质、着装风格和表情动作等,并在多角色动作解析、嵌入文本响应、程度副词及镜头切换方面展现出更强的优势。

(2)更丰富的影视级镜头语言:支持360度环绕、航拍、变焦、平移、跟随、手持等多种镜头运用,基础画质细腻高清,具备优质的影视美感。

(3)更自然的运动交互:通过分析动作的时间序列和空间关系,增强人物与物体之间的自然流畅互动,运动轨迹和受力反馈更加符合现实规律。

Seedance 1.0 lite模型可广泛应用于电子商务广告、娱乐特效、影视创作和动态壁纸等多种场景。例如,在电商领域,该模型能够帮助商家迅速生成高质量的营销视频素材,以精准匹配产品展示和活动推广等需求,从而降低制作成本和周期。

二、豆包1.5·视觉深度思考模型:在60项评测中获得38项第一名

新发布的豆包1.5·视觉深度思考模型(
Doubao-1.5-thinking-vision-pro),激活参数为20B,具备强大的多模态理解和推理能力,在60个公开评测基准中取得了38个SOTA的优异表现,在视频理解、视觉推理和GUI Agent的能力方面均处于领军地位。该模型已在火山方舟平台上线。

一、豆包1.5:视觉深度思考模型的突破与应用

在视频理解领域,豆包1.5的视觉深度思考模型实现了动态帧率采样,显著提升了视频时序定位的精确度。结合向量搜索技术,该模型能够准确定位视频中与文本描述相匹配的片段。

此外,该模型还引入了视频深度思考的能力,经过数万亿多模态标记数据的学习,具备了丰富的视觉知识。通过强化学习的手段,视觉推理能力得到了大幅度提升。在面对复杂图形推理的问题时,模型能够提出假设并进行推理验证,当发现与假设不一致时,它还会不断反思并提出新的猜测,直到找到正确答案。

豆包1.5还扩展了GUI Agent的功能,凭借强大的图形用户界面定位能力,能够在PC和手机等不同平台上执行复杂的交互任务。例如,它可以对新开发的App功能进行自动化检测,并已在字节跳动的多款产品开发测试中得到了应用。

去年,火山引擎推出了豆包·音乐模型。此模型使用户只需一张图片或一句话,就能创作出十多种风格的高品质音乐。在此次大会上,豆包·音乐模型得到了升级,现支持英文歌曲创作,并能够通过理解视频内容自动适配背景音乐。

目前,豆包·音乐模型已全面上线,个人和企业用户可以在海绵音乐和火山引擎官网进行体验。

二、火山方舟:免登录、低价推理,实现DeepSeek满血版的快速部署

火山引擎旗下的火山方舟是一站式大模型服务平台,提供语言、视觉、语音等模型的精细调优、推理和评测等多种功能。通过丰富的插件生态和安全可信的解决方案,企业和开发者的AI应用得以更加顺利地落地。

开发者可以在无需登录的情况下迅速体验模型的能力。对于需要长期使用的实名制用户,火山方舟简化了模型接入流程,用户仅需2分钟即可完成模型接入,无需多次页面跳转。在安心推理体验模式下,火山方舟不会主动消耗付费资源,并支持按模型分配tokens。

火山方舟推出了两种离线批量推理方案:其一是从存储中批量读取数据以实现离线推理;其二则是通过类似在线聊天的模型接口,精准控制批量请求的动态负载,从而在几分钟内完成开发适配。

针对每位用户,火山方舟提供了每日不少于100亿个token的批量推理额度,并且价格更为低廉。与在线推理相比,批量推理的费用降低了50%;若使用前缀缓存,命中部分再降40%;存储费用则为零。

此外,火山方舟还提供超低延迟的小时级推理保障包。用户可以根据实际业务流量曲线来精细规划所需资源,无需为低峰期支付费用,从而实现成本节约。例如,Deepseek-R1的推理保障包能稳定提供20ms的每token延迟,而豆包1.5 Pro的推理保障包则可将延迟减少到15ms。

出色的性能是充沛算力、深度技术优化以及系统调度能力的结果。火山方舟利用丰富的资源和先进的系统工程能力,提供高并发算力保障和卓越的服务体验。在多方评测中,火山方舟Deepseek-R1的服务始终保持最低的延迟表现。

这一切得益于火山方舟多年来在算子层、框架层及调度层进行的深度优化。通过Prefill Decode分离式部署、存算分离、内核优化以及秒速扩容等技术,火山方舟在异构硬件协同优化和通信开销中实现了卓越性能,确保推理过程既快速又稳定。

对于有模型定制、部署及推理需求的企业客户,火山引擎的机器学习平台提供了优质的解决方案。该平台与火山方舟共享相同的大模型推理引擎,具备业内领先的生产级可用的PD分离与分布式KV Cache能力。

火山方舟机器学习平台简化了部署过程,提升了推理效率

火山方舟的机器学习平台通过提供预置模型和镜像,结合PD分离的部署方式,使得用户只需1到3分钟即可轻松启动DeepSeek推理集群,打破了传统复杂部署的壁垒。

借助高效的文本推理框架xLLM以及优化的分布式系统,该平台将TPOT(吐字间隔)降低到20毫秒。在使用两台8卡H20的情况下,DeepSeek-R1 671B模型在xLLM上的推理性能较开源的SGLang方案提升了4.5倍,吞吐量(tokens/s)显著增加,每个token的延迟则缩减至原来的三分之一。

依托自研的DiT推理框架veFuser,该平台能够在15秒内生成5秒的480P视频,相较于行业平均效率,推理速度提升了4.5倍。

此外,火山方舟还提供全周期的安全可靠解决方案,包括链路加密、数据隐私保护、环境隔离和可审计操作四个安全模块,保证会话的隐私性和安全性。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

火山方舟应用实验室为客户和开发者提供了多样化的场景解决方案及完整的源代码。该平台面向应用插件、多模态和终端等场景,提供超过20个开源应用;对于有专业开发需求的企业,提供大模型应用开发所需的工具和流程,支持快速开发和业务场景定制的大模型应用,并且兼容超过60个大模型产品,让用户能够轻松集成方舟大模型至主流软件。

在火山方舟应用实验室广场,用户还可以体验到许多趣味应用,如智能导购助力网店运营、豆包模型与DeepSeek协同的长期记忆解决方案、整合多模态与硬件能力的实时对话AI设备,以及提供标准化解题流程的教师分身等。

Data Agent助力企业挖掘数据资产,新版Trae接入豆包深度模型

Data Agent是火山引擎推出的企业级数据智能体,宛如一位数字化的AI专家,具备主动思考、洞察分析和执行能力,能够深入协助企业挖掘数据资产的潜在价值,覆盖数据分析和智能营销等核心领域。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

在数据分析方面,Data Agent能够将企业内部的结构化与非结构化数据进行整合,结合网络知识,准确把握业务需求,迅速生成专业的深度研究报告。

其通过自动化分析方案的制定、指标波动的追溯,以及自助分析工具和预警系统的搭建,实现了数据处理的全流程智能化,大幅度缩短了复杂报表生成的时间,从原来的两天减少至仅需30分钟,显著提高了数据获取和决策的效率。

在智能营销领域,Data Agent实现了策略制定到执行优化的全链路闭环管理,能够高效进行人群圈选和策略拆解,并基于个性化引擎实现精准的营销效果。

此外,其智能会话辅助与自动复盘优化的功能,不断提升转化率和客户满意度,确保营销策略得以动态迭代。

五、豆包大模型产业加速落地,助力游戏与医药领域的创新与效率提升

豆包大模型已在多个行业实现广泛应用,包括汽车、智能设备、互联网、金融、教育科研、零售消费等,覆盖了4亿个终端设备、80%的主流汽车制造商、70%的系统重要性银行、数十家证券基金公司、近70%的C9顶尖高校以及超过100家科研机构。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

在游戏领域,巨人网络正在利用大模型的强大能力,重新定义游戏体验和玩法创新。通过火山方舟接入豆包大模型和DeepSeek,巨人网络在其游戏《太空杀》中推出了AI原生玩法“内鬼挑战”。该玩法通过集成火山方舟DeepSeek-R1和豆包大模型的深度思考能力,创造了AI玩家,以实时策略与真实玩家进行对抗,重新界定了社交推理游戏的智能边界。

巨人网络与礼来制药:AI技术助力游戏与医疗行业创新

在游戏领域,巨人网络通过引入大模型技术,推出了《原始征途》中名为“小师妹”的AI智能NPC。这一角色不仅能提供策略指导,还能在情感陪伴方面为玩家带来更具人性化的互动体验,显著增强了玩家的参与度。

与此同时,依托火山引擎的机器学习平台,巨人网络正在不断推进自研视频生成及游戏音效生成的大模型的优化与升级。这些技术的进步为游戏的多样性和玩家的沉浸感提供了支持。

在医疗行业,礼来制药则致力于构建一个专属的AI应用开发平台,以支持药物研发和疾病诊疗等各个环节的创新。通过可视化的拖拽式工作流,礼来制药成功搭建了多种智能体,如HCP Chatbot和地区经理辅导报告等,覆盖了学术沟通、销售培训和疾病教育等多个场景。这种做法不仅促进了企业的AI资产积累,还实现了持续运营。

全链路AI推理解决方案:助力企业加速AI转型

随着DeepSeek的不断升温,火山引擎的MaaS服务也迎来了新的增长阶段。目前,火山引擎MaaS所支持的DeepSeek和豆包大模型,每天的峰值GPU弹性能力达到千卡级别,同时具备500万的初始TPM(每分钟token数)和超过3万的RPM(每分钟请求数),日均Tokens使用量更是达到了12.7万亿。

为了支撑这些强大的能力,火山引擎AI云原生推理套件提供了相关的产品支持。在第三方评测中,火山引擎的DeepSeek服务在首token、推理速度和生成速度上均表现优异。在相同的硬件资源条件下,DeepSeek-R1满血版的TPS吞吐量提升了5倍,同时GPU使用成本降低了80%。

针对不同的模型,火山引擎还提供了多样化的接入方式,涵盖方舟MaaS平台、机器学习平台以及AI云原生推理套件等。

面向大模型推理的AI云原生推理套件ServingKit,能够帮助企业实现从模型的部署、推理到运维的全链路提效。部署阶段,镜像下载和加载的加速服务使得首次部署及扩容能够迅速启动业务发展。特别是Onion镜像权重加速引擎,可以在短短109秒内完成DeepSeek-R1满血版模型的下载,在40秒内预热缓存,并在13秒内完成权重加载,极大提升了效率。

结论:从模型体系到智能工具,助力AI应用广泛推广

为提升推理性能,运用了多种技术升级,比如GPU算子加速器、APIG AI网关、VKE编排调度以及KVCache缓存服务等。在这些改进中,经过算子优化后,R1满血版的每秒事务处理量(TPS)提升达到了2.4倍;智能路由技术使得TTFT减少了60%;在处理长文本推理时,KVCache的命中率相比于GPU Local提升了十倍之多。

在运维方面,观测平台APM和VMP进行了全面的改进,支持对推理业务进行无侵入式的透明埋点,从资源层到推理业务层实现了全链路、全场景的监测指标覆盖。

火山引擎全新升级:豆包视频生成与视觉深度思考模型震撼来袭,Trae功能全面提升!

火山引擎与英特尔携手合作,通过“云实例+镜像”的模式,打造一个门槛低、效率高的大模型开发入口,并将不断提升大模型的部署效率,降低计算资源成本。

根据火山引擎副总裁张鑫的说法,企业在AI落地的过程中需经历业务价值、模型基础设施和智能应用的三个阶段。业务价值可以逐步实现,首先需达成战略共识(-1→0),接着选择技术成熟度高、数据准备充分且业务价值突出的场景进行验证(0→1),在这一过程中逐步建立AI能力中心,积累企业知识库,为后续的扩展复制(1→N)和价值重构(N→∞)奠定基础。

在整个过程中,企业核心竞争力的建立,依赖于将AI完美融入产品体验设计中,沉淀独特的领域知识库及专业模型,同时构建适应AI的人才组织与文化。

技术的落地远不止是引进一个大型模型那么简单,其中涵盖了多个维度的内容,包括模型选择、效果评估、数据知识工程、算力准备、开发平台建设等多个环节,涉及模型接入、效果优化和性能安全测试等方面。

火山引擎计划通过更加丰富的模型体系和智能工具,帮助企业打通业务与智能应用之间的链路,进一步推动AI的普及,期待与更多企业共同将AI科技的落地方式,从以往的手动编写“Hello World”代码,转变为更轻松的对Agent说“Hi”。

来源:今日头条
原文标题:火山引擎密集上新:豆包全新视频生成模型、视觉深度思考模型,Trae多个重点功能升级 - 今日头条
声明:
文章来自网络收集后经过ai改写发布,如不小心侵犯了您的权益,请联系本站删除,给您带来困扰,深表歉意!
广告也精彩

No comments

No comments...