裁剪：桃子 乔杨av网站有哪些
【新智元导读】通用机器东谈主模子，若何惩处异构性难题？来自MIT、Meta FAIR团队全新提议异构预历练Transformer（HPT），无须重新历练，即可破解。
通用机器东谈主模子，现时最大的结巴就是「异构性」。
也就是说，必须网罗全宗旨——每个机器东谈主、任务和环境的特定数据，而且学习后的计策还不可泛化到这些特定建设除外。
由此，AI大神何恺明带队的MIT、Meta FAIR团队，提议了异构预历练Transformer（HPT）模子。
即预历练一个大型、可分享的神经汇聚骨干，就能学习与任务和机器东谈主风光无关的分享清晰。
简短讲，就是在你的计策模子中间甩掉一个可膨大的Transformer，无须重新入手历练！
论文地址：https://arxiv.org/pdf/2409.20537
推敲东谈主员将不同骨子视觉输入对皆到协调的token序列，再处理这些token以限制不同任务的机器东谈主。
终末发现，HPT优于多个基准模子，并在模拟器基准和真正寰宇环境中，将未见任务微调计策性能，普及20%。
值得一提的是，这项推敲被NeurIPS 2024汲取为Spotlight。
在真正环境中，HPT加合手下的机器东谈主骨子，大要自主向柴犬投食。
而且， 即就是洒了一地狗粮，机器东谈主也能用抹布，将其收到全部。
而在模拟环境中，HPT架构让机器东谈主任务操作，愈加精确。
接下来，全部深度了解下异构预历练Transformer（HPT）模子的中枢身分吧。
搭建「异构性」桥梁
如今，构建特定的机器东谈主计策很繁难，其中最大的难题就是数据网罗和枯竭泛化性。
不同硬件的机器东谈主在物理上具有不同的骨子（embodiment），每种实例不错有不同的「骨子嗅觉」（proprioception），包括不同的解放度、结尾推行器、畅通限制器和为特定应用构建的使命空间树立。
此外，另一种常见的异构性就是视觉异构性。
不同机器东谈主搭载了不同的视觉传感器，而且频繁配备在不同位置（比如手腕/第三视角）；每个机器东谈主的外不雅也会因环境和任务而有很大互异。
恰是由于这些难以逾越的异构性结巴，因此频繁需要网罗每个机器东谈主、任务和环境的特定数据，况且学习到的计策不可泛化到这些特定建设除外。
诚然机器东谈主领域也曾积蓄了海量的开源数据，但异构性让数据集很难被共同诳骗。
从图4中就不错看出，只是是按环境分类，机器东谈主领域的数据就能被「平分」为辛勤遥控、模拟、境界、东谈主类视频等接近4等份。
机器东谈主领域数据集的异质性
近些年来NLP和CV领域的突飞大进，让咱们看到了透彻更正机器学习领域的一个历史教授：对大范围、高质地和各类化数据进行预历练，不错带来频繁优于特定模子的通用模子。
话至此处，现在机器东谈主领域的一个中心问题浮出水面：若何诳骗异构数据来预历练机器东谈主基础模子？
除了更广泛据带来的平允除外，不同任务的历练还不错增强清晰（representation）的通用性。
这类基础模子将会在各式任务上兑现高收遵守、对格外值愈加肃穆，况且大要生动地得当新任务。
那么，到底应该若何充分诳骗异构化的数据集？
如图1所示，一个基本的想路是，将来自不同领域和任务的输入信号映射到高维清晰空间，并让它们阐述出一致的缩放行为。
之后，只需要最少的微调，就不错将得到的高维清晰搬动到特定的下流任务，同期取得邃密的性能。
HPT主见清晰图
HPT所要作念的，就是找到一种分享的计策「言语」，大要对皆来自不同预历练的异质的骨子嗅觉和视觉信息，将我方的信号映射到分享的潜在空间。
HPT模子架构
HPT全称为Heterogeneous Pre-trained Transformers，是一个架构系列，选择了模块化的盘算推算想路，从异构骨子的数据中进行可膨大学习。
受到多模态数据学习的启发av网站有哪些，HPT使用了特定于骨子的分词器（stem）来对皆各式传感器输入，映射为固定数目的token，之后送入Transformer结构的分享骨干（trunk），将token映射为分享清晰并进行预历练。
在对每种骨子的输入进行标志化（tokenize）之后，HPT就运行在一个包含潜在token短序列的分享空间上运行。
论文提到，这种档次结构的动机，亦然来源于东谈主类体魄的脊髓神经回路层面中，特定畅通响应和感知刺激之间的反馈轮回。
预历练完成后，使用特定于任务的动作解码器（head）来产生下流动作输出，但所用的实例和任务在预历练时间都是未知的。
预历练包含了杰出50个单独的数据源，模子参数杰出1B，模子的代码和权重都已公斥地布。
HPT架构
stem结构
从上头的描写来看，要惩处异构性问题，最胜仗和最关节的就是若何历练stem，将来自异构的骨子和模态的传感器输入对皆到分享清晰空间中。
如图3所示，stem包含两个主要部分，即骨子感受分词器和视觉分词器，将来自不同骨子的异构输入映射为固定维度、固定数目的token，让trunk大要以沟通的状貌处理。
其中的关节想想，是诳骗cross-attention机制，让固定数目的可学习token温存到各式特征。
诚然这篇论文主要处理骨子嗅觉和视觉，但处理触觉、3D和动作输入等其他类型的异构传感器信号也不错在stem中生动膨大。
HPT中的stem架构
按照时期纪律单孤苦理每个模态后，将整个token拼接在全部并添加额外的模态镶嵌和正弦位置镶嵌，就得到了trunk的输入序列。
为了幸免过拟合，stem被盘算推算为仅有少许参数，只包含一个MLP和一个翔实力层。
trunk结构
手脚预历练的中枢组件，trunk是一个有潜在d维空间的Transormer结构，参数目固定，在不同的骨子和任务之间分享，以拿获复杂的输入-输出相关。
预历练
给定从不同散布中采样的异构骨子的数据集_1，…，_k，…，_K ，令_k={τ^(i)}_{1≤i≤M_k} 清晰_k中一组轨迹M_k，τ^(i)={o_t^(i)， a_t^(i)}_{1≤t≤T}清晰第i个最大长度为T的轨迹，每个元组包含observation变量和action变量。
历练方针如公式（1）所示，需要最小化数据聚首的以下亏空：
其中ℒ是行为克隆亏空，推断为展望后果和真正标签之间的Huber 亏空。
该历练经过有两个数据缩放轴：单个数据集D_k的体量M_k，以及数据集总额K。
在预历练阶段，每次迭代时仅更新trunk部分参数，况且基于历练批次采样更新特定于每个异构骨子和任务的stem和head部分。
论文进行了一系列预历练实验，包括不同范围的汇聚参数和数据集大小，旨在恢复一个问题：HPT预历练在跨域异构数据中是否展现出了膨大智商？
总体而言，某种进度上，HPT跟着数据集数目、数据各类性、模子体量和历练推断量呈现出缩放行为。
HPT汇聚详备信息，宽度表述turnk transformer的潜在维度，深度清晰block数目，默许建设为HPT-Small型号
预历练数据集详备信息，默许使用来自RT-X的27个数据集的16k个轨迹进行历练
数据缩放
数据方面，如图5所示，即使在异构进度迟缓增大的骨子中也具有解析且可膨大的考据亏空。
此外，作家还发现，推断量（非常于每次历练运行看到的样本量）和数据量需要共同膨大，本事在历练经过中更接近拘谨。
epoch缩放
如图6所示，增多批大小（左）非常于灵验地膨大历练token数（右），频繁不错提高模子性能，直至终末拘谨。
另一个不雅察后果是，使用散布式步骤，在每个历练批中团员尽可能更多的数据集，用更大的批大小来弥补异构历练中的较大方差。
模子缩放
如图7所示，固定数据集和轨迹数目，沿着模子大小（从1M到1B）进行缩放，并迟缓将批大小从256增多到 2048（模子大小每增多一倍），并使工具有170k轨迹的更大数据集。
不错不雅察到，当咱们膨大到具有更大推断量（红线）的更大模子时，预历练不错兑现较低的考据亏空，直到达到解析水平，但莫得发现缩放模子深度和模子宽度之间存在显耀互异。
图8中的实验后果标明，HPT不错非常灵验地处理异构数据。尽管与真正机器东谈主存在很大的差距，但对其他骨子的数据集（举例模拟环境和东谈主类视频数据集）进行预历练是可能的。
搬动学习
如上，作家使用了终末一次迭代中考据集上的亏空来评估预历练。
接下来，他们将通过实验，去考据机器东谈主在搬动学习中，任务收遵守的问题：
预历练的HPT模子，是否不错搬动到模拟和现实寰宇中的全新骨子、任务、以及环境中？
模拟环境
如下图10（a）中，推敲东谈主员在闭环模拟中测试了下流任务的模子，并不雅察到使用HPT-B到HPTXL预历练模子，提到的任务收遵守。
在图10（b）中，他们在最近发布的Simpler基准上运行HPT，它允许在高保真模拟上与Octo、RT1-X、RT2-X进行比较。
在Google EDR机器东谈主中，推敲东谈主员要点温存三个不同的任务「关闭抽屉」、「选可乐罐」。
关于每个任务，他们测试了几种不同的驱动化，整个任务悉数有300+ episode。
现实寰宇
这里，作家选择了与前一节访佛的搬动学习步骤，并在真正寰宇的评估公约下，评估预历练的HPT清晰。
他们以256批大小和
历练率历练计策20000次迭代。
图12领会的定量后果，推敲东谈主员不雅察到，预历练计策比拟No-Trunk和From-Scratch基准取得了更好的收遵守。
特地是在倒水的任务中，From-Scratch基准使用了着手进的扩散计策架构，以展示预历练清晰的生动性。
图11定性后果领会，作家不雅察到预历练的HPT在靠近不同姿势、物体数目、相机树立、光照条款时，阐述出更好的泛化智商和鲁棒性。
在表3中，作家对Sweep Leftover任务进行了消融推敲。
快乐风男 勾引
尽管最近数据范围激增，但由于异构性的存在，机器东谈主学习的通用性仍然受到截至。
推敲东谈主员提议的HPT——一种模块化架构和框架，通过预历练来冒失这种异构性。
他但愿这一不雅点大要启发当年的使命，以处理机器东谈主数据的异构性执行，从而为机器东谈主基础模子铺平谈路。
作家先容
Lirui Wang
Lirui Wang是MIT CSAIL的博士生，导师是Russ Tedrake阐发。
在此之前，他曾在华盛顿大学取得学士和硕士学位，导师是Dieter Fox阐发。
他的推敲兴味在于机器学习和机器东谈主学。尤其是，他对斥地大要在复杂和非结构化的真正寰宇环境中，泛化的算法和系统感兴味。
为了兑现这一丝，他一直尽力于于推敲大要跟着异类数据进行膨大的「舰队学习」（fleet learning）。
Xinlei Chen
Xinlei Chen是旧金山Meta Fair实验室的推敲科学家。现时的推敲兴味是预历练，特地是自监督、多模态视觉表征的预历练。
他曾在CMU言语时候推敲所取得博士学位，就读时间也在机器东谈主推敲所使命。此前，他取得了浙大的学士学位。
Jialiang Zhao
Jialiang Zhao现时是 MIT CSAIL感知科学小组的博士生，导师是Edward H. Adelson阐发，并与Russ Tedrake 、何恺明互助。
Kaiming He
何恺明现时是麻省理工学院电子工程与推断机科学系副阐发。
他提议的最为着名的推敲是深度残差汇聚（ResNets），并被世俗应用到当代深度学习模子当中，比如Transformer（GPT、ChatGPT）、AlphaGo Zero、AlphaFold、扩散模子等。
在加入MIT之前，何恺明于2016年至2024年担任Facebook AI Research的推敲科学家，并于2011年-2016年担任微软亚洲推敲院（MSRA）的推敲员。
他曾在2011年在香港汉文大学取得博士学位av网站有哪些，并于2007年在清华大学取得学士学位。