康普艾试点

在2014/15学年康普艾试点发生在UBC。在LT中心收集的反馈,从教师,教学助理(助教),和学生评估工具的感知优势和劣势,并制定实施建议。学生反馈的又一轮在十九分之二千〇十八学年也收集。

mattermost标志

ComPAIR是一个同伴评估和反馈的应用程序,在这个程序中,学生首先回答一个任务,然后对同伴的回答进行比较和回答。对于每一组,学生选择他们认为更符合教师设定标准的答案(例如,“哪个表述得更好?”,“哪个更准确?”),并向每一位同行反馈意见。

因为康普雷的作品是成对进行的,学生可以利用他们天生的比较判断的能力(Thurstone, 1927)来识别优点、缺点,以及对其他作品的建设性批评,并反思自己的作品。

康普艾是由UBC合作开发教师,研究人员和技术专家,从学生和助教充足的反馈之间。康普艾的测试版本在三个课程推出较第一年的英语,三年级的数学和第三年的物理学2014/15。该课程的两个混合并充分一个网上。所有这三个教官参加了面试,和六个助教和学生168回应独立的调查。学生评价是一个更详细的教与学查询文章

在2018/ 2019年度,407名学生对一年级或三年级的应用科学、英语、综合科学、物理和视觉艺术8门课程进行了修订后的调查。

教师们对易用性评价很高,并且都给予他们的经验“非常积极”的评价。TAs对易用性的评价很高,并且大多数给予体验“多少有些积极”的评价。

感知到的优势

接触同行工作在ComPAIR中,学生在复习过程中和复习之后(当所有答案都可以供全班复习时)看到同学们的作业。教师们认为,学生们从这种接触中受益,并有机会非正式地评估自己与同龄人的比较。TAs还使用池来选择大量匿名示例以便在教程组中进一步讨论。

培训评估教师可以有效地转换角色,让学生使用可定制的标准来评估作业,同时也训练他们如何评估。配对的情境也更好地模拟了教师/助教自己评分的方式。

高度柔韧性教师们发现,ComPAIR只是简化了一个复杂的、通常基于纸张的过程,以一种使跨学科使用各种任务类型的方式。

公平的竞争ComPAIR作业的在线和匿名性质,意味着教师和助教们相信,更多的学生可以在回答和交换反馈方面做出平等和舒适的贡献。

让学生为上课做准备:助教注意到,学生们似乎对课堂有了更好的准备,因为康普雷的作业为讨论材料以及提出建设性的批评奠定了基础。

感知到的弱点

不同的质量反馈如果没有在康柏评分或监督反馈以建立问责制,教师和助教注意到学生的质量变化。

可疑的排名的准确性与传统的评分方式相比,由ComPAIR产生的排名并不总是紧密相关,这使得它对于那些希望将学生的部分或全部分数众包的老师来说不太可靠。

缺少的功能:教师和助教会喜欢当时缺少的功能,即学生视图(自添加以来),处理迟交作业的能力,以及更简单的界面或可下载的所有学生提交的报告概览(自更新以来)。

缺乏整合的:在试验期间,ComPAIR作为一个独立的应用程序工作,因此类列表必须由开发团队手动维护。(ComPAIR现在与Canvas集成了。)

在初始试验学生经验通过改变过程中,用英语和物理学生报告比数学学生(41%)更积极的经验(分别为66%和88%)。在更广泛的19分之2018调查结果显示,学生跨课程报告更加一致的积极的经验(83%)。从这个调查总结果示于下面在图表中。

非常消极的(0.2%)

有些负(3.2%)

中性(14.8%)

有些积极的(45.2%)

非常积极的(37.5%)

感知到的优势

强大的易用性在最初的试点和后来的调查中,学生们都表示ComPAIR具有很高的可用性。后面的数据显示如下。

最初,康普艾是……

非常困惑(1.0%)

比简单更让人困惑(9.3%)

既不难懂也不容易(20.1%)

较易混淆(39.8%)

非常容易(29.7%)

后,康普艾……

非常困惑(0%)

比容易更加混乱(0%)

既不混淆也不容易(7.6%)

更容易混淆比(27.0%)

非常容易(65.4%)

匿名促进诚实在两轮评估中,学生们都很欣赏在线匿名申请的特点,这降低了与同龄人交流真实反馈的社会风险。

“你可以匿名比较两个匿名的人的作品……这是非常诚实的。”
“我喜欢它是如何给我的机会接受匿名反馈,上课时间,人们否则可能已经在不舒服的人给予外面。”

鼓励自我反省在这两组反馈中,学生们也反映了非正式地与同龄人比较他们的工作和确定自我改进的领域的好处。

“很高兴看到别人的[分配],同时严格地分析和批评其他人的工作。它帮助我明白我可以做的更好。”
“基于一套标准进行比较,可以让你客观地思考自己的工作。”
“让你思考自己的工作以及如何改进。”

提高理解和技能:特别是在后来的调查中,学生们强调康普艾作业帮如何拓宽自己的怎么办理解和评估工作。

“让你能够从其他学生的观点中看到例子……以便更好地理解作业的主题。”
“通过比较两个,帮助你判断一个好答案是什么,这样你就能发现什么品质能让一个人更好。”
“我学会了如何快速浏览别人的任务,然后……分辨出什么是‘好’任务,什么是‘坏’任务。”

感知到的弱点

比较会造成混淆这两轮反馈都强调了在某些配对的答案中进行选择是多么具有挑战性,尤其是当学生考虑的标准较少的时候。这使得学生不确定该如何决定,并增加了完成比较阶段的时间投入。

“我们应该关注什么?”
“(需要)更多关于如何选择哪个更好的指导。”

一些无益的同伴反馈与任何同行评审过程一样,有时同行没有投入足够的精力来撰写深思熟虑的、详细的反馈。在其他时候,不同的同学对一个学生的回答给出了相互矛盾的反馈,特别是在有更多主观作业的课程中。

“有些人给出反馈的方式一点帮助都没有,或者真的很难理解。”
“人们给出了非常反对的意见;有时我不知道该往哪个方向走。”

严格的期限会造成压力由于ComPAIR公司不允许学生在任何阶段晚交作业,因此学生们对于按时完成答案、比较和自我评价感到了额外的压力。

“理想的情况下提交的文件将被时间戳和标志只会被扣除迟交作业,但仍可以提交,在合理范围内。”

比较界面导航繁琐在最近的调查中,学生们注意到比较屏幕的效率很低,尤其是在检查文件上传时。

“这让我在问题框和提交文件之间来回滚动,写出一个好的比较非常耗时。”

以下是关于作为一种教学工具,如何最好地实施ComPAIR,以最大限度地发挥预期的利益和最大限度地减少预期的缺点的建议。

  1. 建立或从康普艾分配当作业作为一个更大的过程的一部分呈现时,学生感到更有益。对于学生来说,在更大的课程目标(例如准备写学期论文、评估专题草稿)中使用ComPAIR可能比单独的作业更好。
  2. 清楚地解释目标:谁的学生更好地理解什么基本技能,他们在应用程序中练习觉得他们从作业学到了更多。这是关键,让学生知道使用康普艾,如何比较将具体帮助他们的学习,不仅它是如何工作的最终目标。
  3. 提供一轮低风险的训练:学生在完成作业前练习比较答案组,尤其是回顾结果时,会感到更自信。
  4. 使用详细,多标准/评鉴被给予更多指导的学生说,他们从比较中学到更多。准确地解释在比较过程中要寻找的东西——在应用程序中使用多种描述标准和/或详细的外部规则——可能会导致更强的学习和更丰富的反馈。
  5. 每个任务需要2+比较尽管报告说同伴反馈的信心很低,但许多学生说他们只是通过练习回答组来学习。建议每个作业至少要进行两次比较,以便让学生重复练习以学习,尽管大多数教师采用默认的三次或三次以上比较,并发现成功。
  6. 仅在验证时使用ComPAIR的排名进行标记目前为止,我们的内部研究表明,ComPAIR可能不可靠地映射到传统的评分方式,因为它最终依赖于新手(学生)的技能和训练,来为他们的同龄人的答案提供准确的、消息充分的排名。许多教师发现,结合学生在学习过程中的参与度和他们提交的作业质量来给他们打分是很有效的。
  7. 标记同伴反馈注意学生如何认真地回应彼此的作业,有助于教师提高同伴反馈的质量。

要了解如何在UBC建立与康普艾,请联系肝移植中心或者你的教学辅助单位

欲了解更多有关该试点及其结果的信息,请联系蒂芙尼波特,詹姆斯•夏博诺,或利蒂希娅英格伦

要了解UBC试点过程的更多信息,请访问飞行员是如何工作的