无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景生成模型
AIGC动态欢迎阅读
原标题:无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景生成模型
关键字:场景,华为,视角,数据,方法
文章来源:量子位
内容字数:0字
内容摘要:
允中 发自 凹非寺量子位 | 公众号 QbitAI无需采集3D数据,也能训练出高质量的3D自动驾驶场景生成模型。
这是来自香港中文大学、香港科技大学和华为诺亚方舟实验室的最新研究成果——针对自动驾驶街景的可控3D场景生成方法“MagicDrive3D”。
此前,采用常见的2D自动驾驶数据集来生成3D街景的方法不是没有,但受采集角度所限,生成结果的可控性和几何一致性无法同时满足。而现在,MagicDrive3D通过结合可控生成与场景重建解决了这一限制。
不仅支持多条件控制,还突破了原始数据的局限,即使在原始图像不一致的情况下,也能建立出连贯的高质量模型。
即使场景中有很多物体,生成结果依然真实可靠:
而且支持天气情况的文本控制,可以一键从晴天切换到雨天:
道路结构、物体位置都能够精确控制(随机保留50%车):
还可以一键实现白天与夜晚的转换(随机保留25%车):
总之,这项成果解决了自动驾驶等无边界场景下3D场景的高质量模型开发难题,可以有效帮助BEV分割等下游感知任务。
常规驾驶数据即可实现可控场景生成3D自动驾驶场景生成应用广阔,然而目前3D资产的生成方法通常局限于以物体为中心的生成
原文链接:无需3D数据也能训练,港科&港中文联手华为推出3D自动驾驶场景生成模型
联系作者
文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破
© 版权声明 文章版权归作者所有,未经允许请勿转载。