殷小娟
（闽江学院外国语学院  福建福州  350108）
摘 要：应用CNKI自带的文献可视化分析软件，以2010-2021年期间CNKI数据库收录的193篇主题为“句酷网”的期刊文献和43篇主题为“iWrite”的期刊文献作为数据来源，对10余年来有关国内自主研发的作文自动评分系统的研究领域知识点进行了分析。研究发现，国内有关批改网的期刊发文数量大大超过iWrite的发文数量，但有关二者的研究核心期刊（CSSCI）文献所占比例都很低；国内有关两个平台的研究重点主要在“平台的评分效度和信度”、“平台对学生写作语言水平的作用”、“平台对学生非语言能力的影响”和“使用者意见”四个方向。总体而言，有关研究数量还不够多，研究文献质量有待提高；研究结果还比较零散、结论也有不一致的地方。研究结果有利于为有关领域的未来研究指明方向。
关键词：句酷网；iWrite；自动评分系统
作者简介：殷小娟（1981--）女，湖南邵阳人，文学硕士，闽江学院外国语学院讲师，研究方向为二语习得、语料库语言学和文献计量学。
基金项目：2020年闽江学院与外研社合作横向课题：“自动评分系统对大学生英语写作自主和错误认知能力的影响研究—基于iwrite2.0和句酷批改网的对比研究”，项目编号：2020100103。

一、引言
信息时代背景下，网络写作自动评分系统的应用给语言学习者和测试者提供了极大便利。自20世纪60年代以来，国外先后出现了PEG（Project Essay Grade）、Intelligent Essay Assessor E-rater、Writing Roadmap和Peerceptive等影响较大的智能写作平台。然而，这些平台主要是为英语为母语的学习者设计的，对于英语作为外语的中国学习者来说使用并不太方便。针对这一需求，国内研发团队借鉴国外智能平台的开发经验，研发了适合国内外语教学人员的一些作文智能评分系统。其中，影响较大的有2010年北京词网科技有限公司推出的——句酷批改网和梁茂成团队2015年研发的iWrite2.0。此外，还有浙江大学推出冰果英语智能作文评阅系统[1]。迄今为止，句酷批改网在全国广泛应用已10年有余，较新的iWrite2.0也有5年多。毋容置疑，有关国内自主研发的这些智能写作平台的研究也引起了国内学者较大的热情。经检索，截止2021年（检索日期为2021年9月9日），国内CNKI数据库收录的主题为“句酷网”的期刊论文193篇，其中CSSCI核心论文是13篇；主题为“iWrite”的文献有43篇，CSSCI核心论文2篇。基于此，本文采用CNKI自带的文献分析功能，较全面、直观地对比出国内外有关句酷批改网和iWrite2.0两个平台的研究热点和发展过程。
二、研究方法
1.研究工具
本研究使用的是CNKI自带的可视化分析文献功能，统计了国内期刊每年发文量，然后再使用其关键词共现分析功能。
2.数据来源
本研究使用的数据来自国内的CNKI数据库，检索条件是主题分别为“句酷网”和“iWrite”。鉴于最早的句酷批改网出现于2010年，文献检索的时间跨度设为2010-2021年（实际上最早相关文献出现在2012年，如表1），下载日期为2021年9月9日。共得到中文文献记录236条（其中句酷网有关的193条，iWrite有关的43条）。
三、结果分析
1.国内期刊有关研究发文数量比较
表1  国内主题为“批改网”的期刊论文发表情况表
年份 普通期刊发文数量 CSSCI期刊发文数量 年发文小计
2012 3 0 3
2013 5 2 7
2014 8 1 9
2015 30 5 35
2016 45 1 46
2017 44 1 45
2018 14 2 16
2019 15 1 16
2020 11 0 11
2021 5 0 5
总计 180 13 193

表2  国内主题为“iWrite”的期刊论文发表情况表
年份 普通期刊发文数量 CSSCI期刊发文数量 年发文小计
2017 1  1
2018 4 1 5
2019 11 1 12
2020 16  16
2021 9  9
总计 41 2 43
数据来源：https://kns.cnki.net/kns/Visualization/VisualCenter.aspx
从表1和表2可以看出，有关句酷批改网的研究起步于2012年，iWrite的研究起步于2017年，基本都是平台投入市场后的2年左右。这说明两个平台的出现都引起了国内研究者的注意，也符合研究者对于一个新事物的研究期限预期。毫不意外，刚开始的研究数量较少，然后逐步上升。句酷网的有关研究从2012年到2016年逐年增长，到2016年达到近十年的最高46篇，2017年45篇的发文量和2016年基本相当。然而，2018年急剧下降到16篇，2019年保持16篇不变，2020年下降到11篇，2021年虽然还没有结束，但9个月5篇的记录预期也和2020年的数量不相上下。这说明句酷网的出现在前五年引起了研究者的较大热情，然后研究者的兴趣逐年下降。总体而言，相对于句酷网的全国大范围使用者的数量来说，有关研究数量太少。年期刊平均发文量不足2篇，CSSCI期刊论文占比很低，不足7%（13/193），这说明发文的整体质量不高。同样，5年来有关iWrite的期刊发文有43篇，但核心期刊论文2篇，有关研究数量和质量也都差强人意。所以，有关句酷网和iWrite的研究还大有可为，尤其是在如今线上线下结合教学的大背景下，有关这两个平台的应用研究很有意义。
2.有关研究关键词比较
表3  “句酷网”文献关键词前10位词频表
序号 关键词 频次 序号 关键词 频次
1 句酷批改网 93 6 语法错误 29
2 英语 40 7 大学英语写作 27
3 篇章结构 33 8 自动评分系统 25
4 写作任务 32 9 写作过程 25
5 自主学习 30 10 写作教学模式 25

表4  iWrite文献关键词前10位词频表
序号 关键词 频次 序号 关键词 频次
1 iwrite 27 6 大学英语 6
2 篇章结构 14 7 英语作文 6
3 大学英语写作 12 8 英语写作 6
4 写作任务 8 9 大学生英语写作 6
5 写作教学模式 7 10 学生英语写作、英语专业、作文、写作学习 5

表3和表4显示，平台名称“句酷批改网”和“iWrite”分别占据有关关键词表第一位,而“篇章结构”、“写作任务”、“大学英语写作”和“写作教学模式”是两个平台有关研究共有的高频关键词。不难理解，“大学英语写作”的需求和实践是有关研究的大环境，“写作任务”是具体研究实现的途径，而依托自动评分系统的“写作教学模式”是当今数字化教学背景下较新的教学模式尝试，所以这些关键词都频率高，且排名较前。值得注意的是，“篇章结构”在句酷批改网研究文献的关键词词频表中排在第三位，而在iWrite的有关文献词频表中排第二位，这说明了“篇章结构”是研究者们的特别关注点。有意思的是，句酷网的词频表中有“自主学习”、“语法错误”和“写作过程”几个体现研究角度的高频关键词，而iWrite的词表中没有。这也说明由于平台投入使用时间上的差异，在句酷网的有关研究大大多于iWrite的有关研究的前提下，有关句酷网的研究也更有广度和深度，而有关iWrite的研究尚处于起步当中，研究广度和深度都有待拓展。
3.有关研究热点综述
自动评分的信度和效度研究
作文批改与反馈是写作教学的重要环节，所以国内新的作文自动评分系统的评分效度和信度自然引起了研究者的注意。其中，何旭良（2013）的研究较早地证实了句酷网的评分有很高的信度，但明显高于人工评分；在效度上，句酷网对词汇和语法反馈，但对篇章结构、修辞、内容逻辑性和连贯性的反馈不够充分[2]。随后，有研究（殷小娟、贾永华，2015）印证了句酷网自动评分和人工评分的高度相关性，但也发现句酷网对不同体裁的作文评分存在显著差异[3]。后续研究还对比了句酷网和冰果网的评分信度：二者和人工评分相关显著，句酷网的评分显著高于冰果网的平均评分。但对于同一批受试的多次写作任务文本，句酷网的评分不一定每次都高于人工评分，这一发现和前期研究结果不同[4]。同时，张荔和盛越（2015）的研究也发现了句酷网自动评分和人工评分的高度一致性和相关性，并指出句酷网对高分作文反馈较多，而对低分作文反馈较少，且句酷网的错误辨识准确度有待提高[5]。此外，有关研究（李艳玲、田夏春，2018）也实证了iWrite2.0系统的自动评分结果也有很高的信度，达到了可推广的水平[6]。由此可见，有关句酷网和iWrite2.0的评分信度研究结论整体比较一致，两个平台的自动评分信度较高，可以大范围应用于英语写作教学，这无疑给使用这两个平台的教师和学生吃了一颗“定心丸”。然而，针对两个平台的信度和效度研究还有可深化的空间，比如句酷网、iWrite2.0和冰果网的评分信度和效度对比，几个平台对不同水平学生作文的评分对比和平台对不同题材的作文文本的评分信度和效度对比等。
自动评分系统对学习者写作语言能力的影响研究
自动评分系统的评分效果令人满意，那么它们对学习者写作水平的作用如何呢？研究者们主要从两个方面进行了比较深入的探讨。一方面，研究者通过教学实验的方法实证了句酷网的使用对学习者的整体写作水平有显著提高作用（顾成华、王丽，2012；杨晓琼、戴运财，2015）[7][8]。张福慧等（2019）也通过对比从美国新引进的Peerceptive平台、QQ写作互评平台和iWrite写作平台发现，peerceptive平台对学生写作成绩提高最显著，提供有关的内容修改反馈最多，QQ平台次之，而iWrite平台对写作成绩提升效果最不显著，但提供语言修改反馈最多[9]。
另一方面，也有研究者聚焦于句酷网对学习者写作语言能力的某一具体方面的研究，并得到了一些很有启发性的发现。周丽（2015）从生产单位长度、单位密度和句式类型、从句和短语使用等维度研究了句酷网对使用者的句法能力的效用。结果发现：实验班的学生的句法流利度、复杂度和从属句比例和对照班的有显著差异，但句法准确度差异不显著。同时，该研究也发现，实验班和对照班学生只在定语从句使用上产生统计意义的差异，其他从句使用差别不大[10]。龚伟等（2019）发现句酷网有利于学生的写作语言复杂性的发展[11]。此外，也有研究对比了自动评分系统对不同水平的学习者的英语写作水平的影响，研究结果不尽一致。有研究（黄绍莹、张荔，2015）发现：就准确性和作文整体质量而言，句酷对低水平学习者的作用显著，而高水平学习者变化不明显，而在语言复杂性方面，句酷网的使用对高低水平的学习者作用都不显著[12]。显见，句酷网和iWrite两个自动评分系统的使用对学习者写作能力的积极作用的发现和国外研究者[13]的发现一致。总之，有关两个平台对使用者写作水平的积极作用的成果相对比较丰富，研究质量也较高。诚然，这两个平台的有效使用能够提高学生的整体写作水平和一些具体的语言应用能力，但平台对不同水平的学习者的效用还需要进一步验证，而且平台对于学生写作的篇章结构、逻辑和连贯等方面的改善作用研究也有待深化。
自动评分系统对学习者非语言能力的作用研究
有意思的是，已有研究发现，自动评分系统的应用不仅对学生的写作水平产生影响，同时也对学习者学习动机、写作自主性和自我效能感等非语言因素产生了作用。譬如，钟彩顺（2015）通过研究学生的在线写作自主修改行为发现：学生的自主修改行为主要受功利驱动，动机强度不够，持续性不长[14]。不同的是，同一年的另一研究成果则发现批改网不仅能整体上提高学生的英语写作水平，而且可以激发学生的英语写作学习动机并提高自我效能感[8]17。类似的研究（江颖等，2019）也表明：句酷网的应用显著提高了大学生英语写作水平，促进了学生写作的深层动机和成就动机[15]。此外，也有研究证明了iWrite能促进学生自主学习能力的提高[16]71。综述表明，以往研究较多围绕两个平台对学生的学习动机和自主学习能力的作用研究，平台对于学习者的其他情感因素影响，比如写作焦虑、移情和合作学习行为等方面的研究还有待拓展。
使用者对平台满意度调查研究
有关使用者对句酷网和iWrite平台的使用意见，研究者们发现大多数使用者对两个平台持积极的态度，但也发现两个平台的一些不足之处。譬如，杨晓琼、戴运财（2015）研究发现75%的受试对句酷网能激发英语写作的学习动机表示满意或非常满意[8]21。此外，王薇（2018）基于198份有效问卷，发现受试大学生大多数（66.7%）赞同句酷网是一个提高自我作文质量的网站[17]。然而，另一研究调查了100名高职学生缺发现只有48%的学生非常喜欢句酷网，42%的学生可以接受批改网进行写作点评，但也有10%的学生不喜欢在线作文批改方式[18]。类似的发现还有，多数受试（68.44%）表示不习惯用iWrite平台进行写作和阅读训练[16]70。总之，大多使用者对句酷网和iWrite平台即反馈功能表示满意，平台不足的是反馈的准确性有待提高。
四、结语
综述表明，国内研发者自主开发的句酷网和iWrite平台虽然使用的学生和老师非常多，但国内有关研究的数量相对很少，高质量的研究成果更是屈指可数。其中，由于平台投入市场的时间不一样，句酷网的有关研究期刊文献大大多于iWrite。所以，未来研究可以从比较这两个平台或者更多平台入手，从而丰富有关研究。此外，已有的研究兴趣主要在平台评分的效度和信度、平台对学生的写作语言能力作用、对学生的学习动机和自主学习能力影响、使用者反馈意见四个方面，而且研究结果还有很多不一致的地方。因此，未来还可以从更多角度（如平台对学生写作篇章结构影响、对学生合作学习能力的作用、对学生的错误认知作用和其他情感因素的影响等）拓展研究。

参考文献：
[1]于强福.大数据时代智能写作平台在学术论文翻译教学中的应用——以句酷批改网为例[J].中国教育信息化，2021(7):48-52
[2]何旭良.句酷批改网的英语作文评分的信度和效度研究[J].现代教育技术，2013(5)：64-67
[3]殷小娟、贾永华.国内在线作文自动评分系统的效度研究——以句酷网为例[J].闽江学院学报，2015(6):72-78
[4]殷小娟、贾永华、林庆英.“句酷网”和“冰果网”自动评分的效果对比实证研究[J].河北北方学院学报，2017(1):91-96
[5]张荔、盛越.自动作文评阅系统反馈效果个案研究[J].外语电化教学，2015(163):38-44
[6]李艳玲、田夏春.iWrite2.0在线英语作文评分系统的信度研究[J].现代教育技术，2018(2):75-79
[7]顾成华、王丽.基于句酷批改网的大学英语写作实证教学研究[J].扬州大学学报（高教研究版），2012(4):92-96
[8]杨晓琼、戴运财.基于批改网的大学英语自主写作教学模式实践教学研究[J].外语电化教学，2015(162):17-23
[9]张福慧、李文滔、龙宓吟、高瑛.基于三个技术平台的自我调节性写作学习效果对比研究[J].外语电化教学，2019(189):22-26
[10]周丽.英语在线写作平台对大学生写作句法能力的影响[J].外语电化教学，2015(165):26-29
[11]龚伟、周军、胡莘.基于批改网的作文自动评价对非英语专业大学生语言复杂性的影响[J].外语教学理论与实践，2019(4):45-54
[12]黄绍莹、张荔.自动作文评阅系统对不同水平学习者英语写作能力的影响——基于句酷批改网的研究[J].外语与翻译，2015(4):70-76
[13]Grimes，D.＆ Warschauer，M.Utility in a fallible tool:A multisite case study of automated writing evaluation[J].The Journal of Technology，Learning，and Assessment，2010((6):1-44
[14]钟彩顺.基于在线自动反馈的自主写作修改研究[J].解放军外国语学院学报，2015(4):81-88
[15]江颖、金跃强、王茜.大数据方法对非英语专业学生英语写作动机及水平的影响研究——以“句酷批改网”为例[J].现代教育技术，2019(2):75-79
[16]赵雅莉.iWrite系统辅助写作教学的促学效果研究——以长治学院大学英语教学为例[J].长治学院学报，2020(1):69-71
[17]王薇.句酷批改网在大学英语写作教学中的可行性研究——以西南财经大学天府学院为例[J].教育现代化，2018(6):329-332+339
[18]王露芳.在线写作自动评改系统在高职英语写作教学中的反馈效度研究[J].当代外语研究，2016(1):53-56

编辑部投稿邮箱：tougao85@163.com  tougao58@163.com

编辑部投稿热线：029-87362792  13309215487

24小时查稿专线：13309215487（同微信）

编辑部投稿QQ：693891972   1071617352