ChatGPT可否充当情感专家？——调查其在情感与隐喻分析的潜力

doi:10.13209/j.0479-8023.2023.075

北京大学学报自然科学版 ›› 2024, Vol. 60 ›› Issue (1): 43-52.DOI: 10.13209/j.0479-8023.2023.075

ChatGPT可否充当情感专家？——调查其在情感与隐喻分析的潜力

张亚洲^1,2, 王梦遥¹, 戎璐³, 俞洋¹, 赵东明⁴, 秦璟^2,†

1. 郑州轻工业大学软件学院, 郑州 450002 2. 香港理工大学护理学院, 香港 999077 3. 郑州轻工业大学人事处, 郑州 450002 4. 中国移动通信集团天津有限公司人工智能实验室, 天津 3000201

收稿日期:2023-05-17 修回日期:2023-07-31 出版日期:2024-01-20 发布日期:2024-01-20
通讯作者: 秦璟, E-mail: harry.qin(at)polyu.edu.hk
基金资助:
国家自然科学基金青年基金(62006212)、中国博士后科学基金(2023M733907)、信息物理社会可信服务计算教育部重点实验室开放基金(CPSDSC202103)和 Project of Strategic Importance Grant of the Hong Kong Polytechnic University (1-ZE2Q)资助

Can ChatGPT Be Served as the Sentiment Expert? An Evaluation of ChatGPT on Sentiment and Metaphor Analysis

ZHANG Yazhou^1,2, WANG Mengyao¹, RONG Lu³, YU Yang¹, ZHAO Dongming⁴, QIN Jing^2,†

1. School of Software Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002 2. School of Nursing, The Hong Kong Polytechnic University, Hong Kong 999077 3. Human Resources Office, Zhengzhou University of Light Industry, Zhengzhou 450002 4. Artificial Intelligence Laboratory, China Mobile Communication Group Tianjin Co, Tianjin 300020

Received:2023-05-17 Revised:2023-07-31 Online:2024-01-20 Published:2024-01-20
Contact: QIN Jing, E-mail: harry.qin(at)polyu.edu.hk

摘要/Abstract

摘要：

为了探索ChatGPT情感分析能力以及对主观性和隐喻性理解的潜力, 将ChatGPT在5个情感、幽默与隐喻基准数据集上展开评估, 通过与领域内最前沿的模型对比, 讨论其在不同任务上的优势与局限。此外, 还通过对比ChatGPT与人类在情感分析中的性能差别, 发现 ChatGPT在情感、幽默与隐喻任务上与人类结果分别相差9.52%, 16.64%和6.69%。实验结果表明, 尽管ChatGPT在对话生成方面获得最佳表现, 但是其在情感理解方面仍具有改进的潜力。最后, 通过改善提示模板, 调查ChatGPT在情感理解场景下对提示模板的敏感性。

关键词: ChatGPT, 情感分析, 幽默检测, 隐喻识别

Abstract:

To explore the potential for subjective understanding, the subjectivity and metaphorical nature of ChatGPT, this paper evaluates ChatGPT on five sentiment, humor, and metaphor benchmark datasets and discusses its strengths and limitations on different tasks by comparing it with the most cutting-edge models in the field. In addition, this paper also compares the performance of ChatGPT and humans in sentiment analysis, with gaps of 9.52%, 16.64% and 6.69% in human results on sentiment, humor and metaphor tasks. The results suggest that although ChatGPT achieves the best performance in dialogue generation, it still has potential for improvement in sentiment understanding. Finally, this paper investigates ChatGPT’s sensitivity to cueing templates in an emotion understanding scenario by improving the cueing templates.

Key words: ChatGPT, sentiment analysis, humor detection, metaphor recognition

张亚洲, 王梦遥, 戎璐, 俞洋, 赵东明, 秦璟. ChatGPT可否充当情感专家？——调查其在情感与隐喻分析的潜力[J]. 北京大学学报自然科学版, 2024, 60(1): 43-52.

ZHANG Yazhou, WANG Mengyao, RONG Lu, YU Yang, ZHAO Dongming, QIN Jing.

Can ChatGPT Be Served as the Sentiment Expert? An Evaluation of ChatGPT on Sentiment and Metaphor Analysis

[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2024, 60(1): 43-52.

导出引用管理器 EndNote|Ris|BibTeX

链接本文: https://xbna.pku.edu.cn/CN/10.13209/j.0479-8023.2023.075

https://xbna.pku.edu.cn/CN/Y2024/V60/I1/43

[1]	黄晋, 许实, 蔡而聪, 吴志杰, 郭美美, 朱佳. 基于多通道压缩双线性池化的情感‒原因句子对提取模型[J]. 北京大学学报自然科学版, 2022, 58(1): 21-28.
[2]	吴良庆, 刘启元, 张栋, 王建成, 李寿山, 周国栋. 基于情感信息辅助的多模态情绪识别[J]. 北京大学学报自然科学版, 2020, 56(1): 75-81.
[3]	厉小军, 施寒潇, 陈南南, 柳虹, 邹轶. 基于表示学习的情感分析研究[J]. 北京大学学报自然科学版, 2019, 55(1): 105-112.
[4]	闫雷鸣, 严璐绮, 王超智, 贺嘉会, 吴宏煜. 基于句式元学习的Twitter分类[J]. 北京大学学报自然科学版, 2019, 55(1): 98-104.
[5]	刘思叶, 田原, 冯雨宁, 庄育龙. 游客微博主题情感分析方法比较研究[J]. 北京大学学报自然科学版, 2018, 54(4): 687-692.
[6]	姜杰, 夏睿. 机器学习与语义规则融合的微博情感分类方法[J]. 北京大学学报自然科学版, 2017, 53(2): 247-254.
[7]	董理, 王中卿, 熊德意. 基于文本信息的股票指数预测[J]. 北京大学学报自然科学版, 2017, 53(2): 273-278.
[8]	刘翠娟, 刘箴, 柴艳杰, 方昊, 刘良平. 基于微博文本数据分析的社会群体情感可视计算方法研究[J]. 北京大学学报（自然科学版）, 2016, 52(1): 178-186.
[9]	朱珠,汪蓉,李寿山,周国栋. 中文文本中评价对象省略识别方法[J]. 北京大学学报（自然科学版）, 2015, 51(2): 315-320.
[10]	贺飞艳,何炎祥,刘楠,刘健博,彭敏. 面向微博短文本的细粒度情感特征抽取方法[J]. 北京大学学报（自然科学版）, 2014, 50(1): 48-54.
[11]	孙艳,周学广,付伟. 基于主题情感混合模型的无监督文本情感分析[J]. 北京大学学报（自然科学版）, 2013, 49(1): 102-108.

ChatGPT可否充当情感专家？——调查其在情感与隐喻分析的潜力

Can ChatGPT Be Served as the Sentiment Expert? An Evaluation of ChatGPT on Sentiment and Metaphor Analysis

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 11

编辑推荐

Metrics

留言