校园新闻

校园新闻

学术动态

太原理工大学

计算机科学与技术学院(大数据学院)韩晓红教授团队在软件工程领域顶级期刊TOSEM发表研究论文

发布时间:2024-05-20 来源:计算机科学与技术学院(大数据学院) 作者:计算机科学与技术学院(大数据学院)

近日,我校计算机科学与技术学院(大数据学院)韩晓红教授团队在软件工程国际顶级期刊《ACM Transactions on Software Engineering and Methodology》(TOSEM)发表了题为 “LLMEffiChecker: Understanding and Testing Efficiency Degradation of Large Language Models” 的研究论文。TOSEM是国际上公认的最权威、最高水平的软件工程领域顶级期刊之一,也是软件工程领域仅有的两个CCF-A类国际期刊之一。每年1卷,每卷4期,33年(1992-2024)共计收录论文1007篇,年平均接收文章仅30余篇,录用率极低。

该论文第一署名单位为太原理工大学,韩晓红教授为论文通讯作者,其指导的在读硕士研究生冯晓宁为论文第一作者。据官网数据,该研究也是我校在TOSEM发表的首篇论文。

大型语言模型(LLMs)通常存在大量的生成需求和实时要求(如OpenAI的ChatGPT平均月访问量达150亿次,平均日咨询量约为2.7亿次),而LLMs的计算效率鲁棒性却很少受到关注。该论文首次观察到LLMs中存在的潜在计算效率漏洞。仅在输入中插入一个字符 'b',模型所需的计算时间增加了2226.7%(该模型已开源至Huggingface,是Translation栏目下的SOTA模型,2024年2月下载量717,082次)。为了探究该现象的内在原因,该论文分析了20,543个LLMs的工作机制和配置,并首次揭露了可以以对抗性的方法操纵LLMs以显著降低其计算效率。

基于以上动机,该论文提出了LLMEffiChecker框架,能够生成充分延迟句子结束标识(EOS)出现的测试输入,迫使LLMs必须经过足够的迭代以满足自然情况下无法达到的阈值。该框架能够在白盒或黑盒场景中生成字符级别,令牌级别和结构级别的微小扰动以充分降低LLMs的计算效率。具体来说,该论文为白盒场景中设计了搜索损失函数,能够最大程度延迟EOS的出现且能打破原有输出的依赖;黑盒场景下设计了基于Delta Debugging和因果推断的算法,能够有效识别种子输入中的关键标识。

在评估方面,该论文选取了九个开源且最先进的LLM部署到服务器端,涵盖机器翻译、句子补全、代码生成等三种应用场景,从五个维度对LLMEffiChecker进行了系统评估。结果显示,所生成的测试输入平均增加服务器端CPU、GPU耗能和延迟三十倍,最高增加一百倍。同时,将谷歌的T5模型部署到移动设备端(Samsung Galaxy S9+),结果显示,经过三百轮迭代,设备处理测试输入所需的耗电量比处理原始输入增加了30余倍。此外,部署OpenAI的商用GPT3.5接口测试发现,仅一个token的扰动即可使服务反应延迟平均增加176.92%。

该研究首次发现了LLMs的计算效率漏洞,并首次尝试理解和测试其计算效率鲁棒性。为LLMs领域的研究提供了新的思路和策略。

全文链接:https://dl.acm.org/doi/10.1145/3664812

最新动态

Baidu
map