多目标贝叶斯优化——面向大模型的超参调优理论

"以大规模深度学习模型超参调优为代表的评估代价昂贵的多目标优化问题被称为昂贵的多目标优化问题（Expensive MOPs）。昂贵的多目标优化问题广泛存在于现实世界中的不同应用领域。其优化目标通常为黑盒函数，且求得其真实目标函数值的评估代价高昂；而现实世界的有限资源和成本只允许求解器行有限次函数评估，用于搜索该类问题的帕累托前沿。多目标贝叶斯优化方法能有效地求解该类问题，其利用高斯过程代理模型近似原优化问题以降低函数评估成本，并使用能平衡利用和探索之间关系的获取函数推荐候选解。本书关注大模型超参调优这类昂贵的多目标优化问题，针对其经典的求解方法(贝叶斯优化方法)展理论方法探索。针对低维和高维决策空间中的并行化函数评估问题、获取函数优化效率问题以及维度灾难和边界问题，本书对多目标贝叶斯优化方法行四方面的研究，旨在有效地求解低维和高维昂贵的多目标优化问题。 本书可作为当前大模型超参调优理论研究与应用实践的指导书，也可作为演化学习、智能优化、大数据及人工智能等相关专业的教材和参考书。 "
【推荐语】
深多层次研究：全面探索各类代表性的多目标智能优化方法在各个领域中的实际应用，为专业人员提供实用指南和解决方案，助力问题解决与智能决策。 启发自然界的算法：借鉴生物系统的智慧，采用仿生智能优化算法，突破传统数学解析方法，解决昂贵多目标优化问题，提供独到的优化解决方案。 专注高维多目标贝叶斯优化：关注高维目标空间中的挑战，引先算法和技术，包括目标降维和代理模型的辅助优化，为处理现实世界中复杂智能决策问题提供关键方法和工具。