位置:社区 / 理想社区 / 社区热榜

理想社区热榜

  • 实时热榜
  • 日榜
  • 周榜
  • 月榜
{{ remark }}

飞机先生
5小时前

NO.2热度 45

无论是理想,或者是小鹏 VLA ,在适配 Orin 平台老用户中都遇到同一个问题:模型本身没法直接迁移,大家基本重新都花了一遍精力,在Orin平台重新做了一遍。 甚至不排除,Orin用户跑出来的味道和旗舰版本不一定完全类似,或者完全就是阉割,可能很多细节体验都不一样。 我简单和大家做个比方: 这次自研芯片后这几家,都是先用大厨(教师模型)做出顶级味道,再训练学徒(学生模型)复刻,学徒训练的时候,就提前想好最终上菜的容器有多小、能装多少东西(比如硬件约束了多少)。 所以这个做菜思路可以复制,是同源的,但是来到Orin后其他全变了。 容器换成 Orin后,相当于盘子尺寸、烤箱功率全都变了。学徒的饭量、配方、调味比例,都要重新调整。不能直接拿适配大烤箱的配方,直接放到小烤箱里烤。思路可以学,但菜必须重新做。 所以传统模型蒸馏。比如拿一个大教师模型,直接把它的输出答案喂给小模型,一次性训练完事,这种就行不通。 理想这次提到一个新架构,就是教师模型先做架构搜索,先找一个最适配 Orin 芯片特性的网络骨架,用离线蒸馏,老师拿着全套习题集,一次性把解题思路、中间思考过程全部写好,给学生刷题。 理想还提出一个在线蒸馏的方法,就是在训练的时候,让教师模型和学生模型同时跑,实时对比两者的输出差异,教师模型会实时评判对错,持续给反馈。 最后做量化,让学生模型从训练阶段就适应压缩带来的精度损失,更好的跑在 Orin 上。 所以很多人会误以为,给 Orin 老车做 VLA,只是把新平台大模型简单裁剪、砍参数,做降级阉割,为什么要等这么久。 其实各家都在以强能力的教师模型为知识蓝本,从零训练、孵化出一个适配 Orin 硬件限制的全新学生模型,都是真金白银的投入,相当于让 VLA 能力在 Orin 平台上真正 “重生”了一次!

理想社区

来自#{{item.data.theme_info.title}}{{item.data.theme_info.number?`本周共 ${item.data.theme_info.number} 人参与,话题内容折叠显示`:'话题内容折叠显示'}}

{{item.data.theme_info.number?'查看全部':'立即参与'}}
{{item.data.author.username}}

{{level.circle_title}}{{ { 1: '超', 2: '高' }[level.circle_level] }}活跃用户

{{level.week_text}} {{level.remark}} 去看看
{{item.data.author.user_honour}} 置顶 首页推荐 社区推荐 置顶推荐 精华 {{item.data.create_time}}{{item.status==1 ? ' · 待审核':''}}{{item.data.author.car_list&&item.data.author.car_list.length?` · ${item.data.author.car_list.map(e => e.name).join('/')}`:''}}
NO.{{i+1}}热度 {{item.hot_total}}
收录于周榜 TOP {{item.week_rank}} 收录于日榜 TOP {{item.day_rank}}
{{ item.data.viewPoint.title}} “{{ item.data.viewPointOption.title }}”
视频文章

{{item.data.title}}

{{item.data.title}}

{{item.data.title}}

{{item.data.duration}}

{{item.shrink?'展开':'收起'}}内容
{{calculateAspectRatioFit(item.data.pics[0].width,item.data.pics[0].height).imgTag}} {{item.data.pics[0].video.duration_string}}
{{img_url.video.duration_string}}
+{{item.data.pics.length - 9}}
¥{{item.data.price}} ¥{{item.data.original_price}} 包邮 分类/{{item.data.garage_category_name}} 状态/{{item.data.garage_condition_name}}

+{{item.data.imgs_url.length - 9}}

{{item.data.series.name}} {{item.data.model ? item.data.model.name : ''}}

个人评分{{item.data.contents.fraction}}

点评:

{{item.data.title}}

{{related.theme.title}} {{item.data.ace_info.title}} {{item.data.seriesSelection.series_name}}{{item.data.seriesSelection.category.name}}

{{item.data.title}} {{item.data.membernum}}人参与讨论

参与讨论

暂无相关内容

去看下其他内容吧~

{{ rankType ? '周' : '实时' }}活跃榜

08/31-09/06 实时更新
{{ rankType ? '实时' : '周榜' }}

大魔王的i6

出行值:267

1

老友不加辣

出行值:254

2

真是小气鬼

出行值:251

3

一方通行

出行值:234.4

4

千里寻

出行值:63

5

极氪邀请码SUV5E

出行值:272

1

一方通行

出行值:262.2

2 1

大魔王的i6

出行值:262.1

3 3

真是小气鬼

出行值:254.9

4

老友不加辣

出行值:251

5 3
登录查看出行值/排名
我的{{ rankType ? '上周' : '本周' }}出行值:{{ rankType ? my_rank.week_score : my_rank.day_score }} {{ my_rank[rankType?'week_rank_value':'day_rank_value'] ? `第${ my_rank[rankType?'week_rank_value':'day_rank_value'] }名`:'未上榜' }}