智驾网 2025-02-18 13:34
阶跃星辰与吉利宣布联合开源两款多模态大模型,视频生成堪比Open AI sora?
分享
阶跃星辰表示,在两款大模型的研发过程中,双方展开了深度合作,在算力算法、场景训练等领域优势互补,显著增强了多模态大模型的性能表现。

今天(2月18日),AI大模型公司阶跃星辰宣布与吉利汽车集团联合开源了两款阶跃Step系列多模态大模型——Step-Video-T2V视频生成模型和Step-Audio语音模型。


阶跃星辰表示,在两款大模型的研发过程中,双方展开了深度合作,在算力算法、场景训练等领域优势互补,显著增强了多模态大模型的性能表现。


根据技术报告中的评测结果,阶跃Step-Video-T2V的参数量和模型性能目前在全球开源视频生成领域都处于领先水平,其参数量达到300亿,可以直接生成204帧、540P分辨率的高质量视频,是当前全球范围内参数量最大、性能最好的开源视频生成大模型。


阶跃Step-Audio是行业内首个产品级的开源语音交互模型,能够根据不同的场景需求生成情绪、方言、语种、歌声和个性化风格的表达,能和用户自然地高质量对话,是行业内首个产品级的开源语音交互模型。


模型生成的语音具有自然流畅、高情商等特征,同时也能支持不同角色的音色克隆,可应用于影视娱乐、社交、游戏等行业场景。


阶跃星辰是吉利汽车集团的科技生态战略合作伙伴,拥有国际顶尖的算法团队,由原微软全球副总裁姜大昕创立于2023年4月,随后即与吉利便在预训练大模型、垂直领域大模型、应用场景设计、工程开发等方面展开了深度合作。


其中,吉利牵头了场景设计、模型测评、工程开发等业务,阶跃星辰主导了模型预训练等业务,双方优势互补,显著增强了两款阶跃Step系列多模态大模型的性能表现。

 

吉利汽车在2022年建成全球车企首个 “云、数、智”一体化的星睿智算中心,在2023年发布了全球首个汽车行业全栈自研全场景AI大模型——星睿AI大模型,2025年,发布了行业首个“智能汽车全域AI”技术体系。

 

此次,吉利与阶跃星辰联合开源的阶跃Step系列多模态大模型,也将助力吉利的汽车产品在智驾和智舱两个维度在行车安全、紧急避险、智慧泊车等全场景为用户带来自动驾驶程度更高、更安全的高阶智驾体验,同时打造更加智能的汽车情感座舱,重新定义人车交互体验,推动AI科技在智能汽车领域的普及应用。

 

吉利星睿AI大模型中的AI Drive大模型,具备强大场景生成与规划能力,能够根据雨雪等不同天气光照条件、道路结构、拥堵路况、立体车库和不常见的交通目标,构建出真实驾驶中难得一遇的极端驾驶场景。

 

基于真实的驾驶视频数据去优化阶跃Step-Video-T2V,可以将它变成一个自动驾驶数据合成器。

 

星睿AI大模型正在探索将这些丰富的合成场景转换成“以假乱真”的训练数据,相当于自动驾驶系统打造了一个丰富的"虚拟驾考考场",从而显著提升车辆在智驾行驶时面对各种路况的应变能力,保障行车安全。

 

在阶跃Step-Audio大模型超强交互功能赋能下,吉利星睿AI大模型可以大幅提升语音指令响应速度,以及交互过程的情感理解与表达能力。


当用户说“导航,快迟到了”的时候,系统不仅会自动规划更快路线,还会主动询问是否需要播放轻音乐缓解情绪。同时,系统不仅可识别粤语、四川话等丰富的方言,还支持个性化声音定制,用户既可以选择系统提供的人声音色,也能录制孩子的笑声制作专属提示音,甚至让车载AI模仿山涧流水声营造车内冥想空间。


此外,吉利也与DeepSeek完成了深度融合,通过携手DeepSeek-R1模型,吉利将对星睿车控FunctionCall大模型、汽车主动交互端侧大模型等进行蒸馏训练。


届时,吉利智能汽车AI不仅能对用户的模糊意图实现精准理解,进而准确调用约2000个车载接口,还能基于车内外场景主动分析用户潜在需求,并为用户主动提供车辆控制、主动对话、售后等服务,智能交互体验将大幅提升,加速AI在智能汽车领域普及。

 

目前,基于“智能汽车全域AI”技术体系打造的AI银河精灵、Flyme Auto 智能座舱、无界空间、AI云动力、AI绘本、AI哨兵等一系列AI应用,已在银河E8、银河E5、银河星舰7EM-i等车型上搭载。


今年3月初,吉利还将对外发布重磅AI智能化战略,加速推动AI数字底盘、高阶智能驾驶等最新AI技术的逐步上车,为用户带来颠覆性的智能化体验。 


x

收藏 0
打赏
相关标签:
电话:010-65030507
邮箱:editor@autor.com.cn
地址:北京市朝阳区朝外大街乙6号朝外SOHO D座5097室
北京智驾时代传媒科技有限公司          Copyright © 2014 - 2022
Autor.com.cn All Rights Reserved. 版权所有 AutoR智驾 智能汽车网
京ICP备14027737号-1      京公网安备 11010502038466号
电信与信息服务业务经营许可证:京B-20211307
关注官方微信