深兰自动机器学习论文入选 KDD2021论文录取名单！
3．2 技术创新
下图描述了多表融合最复杂情况多对多（M－M）情况的处理：表A中的一行可能与表B中的许多行链接在一起，反之亦然。深兰团队根据特征类型（即分类或多分类特征，数字特征或时间特征）合并相关表。例如，对于数字特征和分类特征，团队将相关表中的平均值和众数作为主表中key ids的值。至于时间特征，则将最新时间作为主表的合并值。
为了充分利用表信息并最大程度地减少内存使用量，我们将特征工程划分为四个顺序的模块。对于每个模块，我们使用LightGBM来验证每个特征的有效性并进行功能选择。此处特征工程是通过多个模块递归进行的，在每个模块的开头，都会从主表中生成新功能，然后根据向下采样的子数据集进行功能选择，再从中使用所选功能来更新主表。
LightGBM模型的两个主要超参数是boosting轮数和学习率，其他大多数团队都使用贝叶斯优化进行超参数调整。但是，这种方法需要对整个样本进行多次训练才能获得超参数的性能分布，这在时间上效率低下，尤其是在处理大规模数据集时。不同的是，深兰团队利用先验知识来实现类似包装器的方法，以减少搜索空间。借助采样数据或小规模的boosting回合，即使没有一次完整的模型训练也能快速获得成功的必要先验知识，从而得到预设的学习率和boosting轮数。
3．3 资源控制
模型学习花费了大部分培训时间，在框架中利用集成学习的力量来构建模型。相应地，在给定时间预算的情况下，模型可以自动快速地适应最佳情况。
下图给出了内存控制之前和之后的模型性能示例。可以看到，特征工程中的优化减少了处理时间。通过节省时间，可以将一个新模型自动添加到集成建模中，以获得更好的结果。
总结
在这项工作中，深兰团队为时态关系数据提出了一个高效且自动的机器学习框架AutoSmart，包括自动数据处理、表合并、功能工程和模型调整，并与时间和内存控制单元集成在一起。
实验表明，AutoSmart
可以有效地挖掘有用的信息，并在不同的时间关系数据集上提供一致的出色性能；
可以在时间和内存预算内有效地对给定的数据集进行自我调整；
可扩展到更大比例或某些极端情况（例如，缺失值太多）的数据集。
简而言之，论文中所提出的框架可以在不同情况下实现最佳和稳定的性能。此外，论文代码是公开的，并可以方便地应用于工业应用。
分享
图片新闻
最新活动更多
-
11月22日立即报名>> 【线下论坛】华邦电子与莱迪思联合技术论坛
-
即日-11.30免费预约申请>>> 燧石技术-红外热成像系列产品试用活动
-
11月30日立即试用>> 【有奖试用】爱德克IDEC-九大王牌安全产品
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
限时免费下载立即下载 >>> 2024“机器人+”行业应用创新发展蓝皮书
-
即日-2025.8.1立即下载>> 《2024智能制造产业高端化、智能化、绿色化发展蓝皮书》
推荐专题
- 1 同源共创 模式革新 | 华天软件皇冠CAD（CrownCAD）2025新品发布会圆满举行
- 2 上海国际嵌入式展暨大会（embedded world China ）与多家国际知名项目达成合作
- 3 iEi威强电新品丨IMBA-AM5:工业计算的强劲引擎
- 4 史上首次，大众终于熬不住开启40亿降本计划！关3个工厂，裁员万名...
- 5 守护绿色学习空间，EK超低温热泵服务对外经济贸易大学图书馆
- 6 颜值高 有“门”道｜贝特威汽车门板内饰AI视觉检测解决方案
- 7 观众登记启动 优解制造未来，锁定2025 ITES深圳工业展
- 8 “秸”尽全力，防患未“燃” | 秸秆焚烧智能监控解决方案
- 9 揭秘：「全球知名跨境电商」构建核心竞争力的“独门绝技”是？
- 10 3大场景解读 | 红外热像仪赋能科研智造创新应用
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论