LOADING

大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4

2024/06/17 机器之心
18

大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4

AIGC动态欢迎阅读

原标题:大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4
关键字:节点,问题,答案,模型,算法
文章来源:机器之心
内容字数:0字

内容摘要:


机器之心报道
编辑:陈萍、杜伟通过算法层面的创新,未来大语言模型做数学题的水平会不断地提高。这几天,17 岁中专生姜萍在 2024 阿里巴巴全球数学竞赛预选赛中取得全球第 12 名的新闻刷了屏。而同时,AI 挑战赛的成绩显示,在所有 563 支 AI 参赛队伍中,最高分 34 分,平均分 18 分,赶上了人类选手平均水平。
AI 参与数学竞赛的主要短板是逻辑推理能力弱,证明题很难拿到完整得分点。这也是 GPT-4、LLaMA 等当前大语言模型(LLM)在需要策略和逻辑推理的任务中面临的重大挑战。
其中的一大障碍是输出的准确性和可信度,尤其是在需要保证精度的数学上下文中,LLM 在推理时往往容易产生幻觉。输出结果表面上看似合理,但实际上不相关或事实不正确,最终导致不合理的推理过程。
虽然像 Self-Refine 这样的重写技术有助于缓解这种倾向,但依然可能导致现实世界复杂的数学问题产生误导性或错误的结果。
因此,为了应对这些挑战,来自复旦大学、上海 AI Lab 的研究者提出了 MCT Self-Refine(MCTSr),将 LLM 与蒙特卡洛树搜索(MCTS)算法相结合,并重点提高


原文链接:大模型+蒙特卡洛树搜索,一招让LLaMa-3 8B奥数水平直逼GPT-4

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台