BENCHMARKING OPEN-SOURCE LARGE LANGUAGE MODELS FOR PERSIAN IN ZERO-SHOT AND FEW-SHOT LEARNING

该文章聚焦低资源语言波斯语，对11个开源大语言模型在零样本和少样本学习范式下的波斯语自然语言处理任务性能进行了全面基准测试，明确了模型优劣与波斯语处理难点，为后续研究提供关键参考。

一、文章主要内容总结

1. 研究背景：大语言模型（LLMs）在多语言处理中表现出色，但在波斯语等低资源语言上的有效性缺乏深入研究。波斯语因独特的拼写、复杂形态结构和句法模式，且相关数据集、标注语料和工具稀缺，给自然语言处理带来挑战。
2. 研究方法
   • 模型选择：选取11个主流开源LLMs，包括Gemma 2、GLM4、LLaMA3.1等，覆盖不同架构、参数规模（7B-70B）和训练方法。
   • 数据集与任务：采用ParsiNLU、ArmanEmo、ArmanNER等波斯语基准数据集，任务涵盖情感分析、命名实体识别、阅读理解、机器翻译、文本生成等。
   • 评估范式与指标：在零样本（无任务示例）和少样本（5个任务示例）范式下评估，使用准确率、F1分数、BLEU、ROUGE等任务适配指标。
3. 核心结果
   • 模型性能排名：Gemma 2在两种学习范式下几乎所有任务中均表现最优，少样本学习平均得分0.61，零样本0.42，显著领先其他模型（p<0.01）。
   • 学习范式影响：少样本学习对