5/7/2021
用效应量将扫盲政策提升到一个新的水平
到目前为止,2021年给了我们希望的理由,教师们接种了疫苗,教育工作者们专注于弥合一年错位学习造成的差距。
此外,国会在3月份通过了美国救援计划。这项立法指定了50亿美元的资金,用于支持受COVID-19严重影响的所有年龄段的学生。
在我的职业生涯中,我从未见过教育系统同时得到如此多的政府资助,但我也从未见过它同时面临如此大的动荡。即使有政府资助,教育工作者在确定和评估学习计划以帮助学生迎头赶上(特别是在扫盲等核心领域)方面仍有一项艰巨的任务,一些人正在抓住时机推进已经在进行中的教育计划。
例如,佛罗里达州教育部(FDOE)更新了其冠状病毒援助、救济和经济安全(CARES)法案和中小学紧急救济基金(ESSER)对K-3阅读计划的拨款标准,要求有强大、中等或有希望的《每个学生成功法案》(ESSA)的有效性证据,且效应量至少为0.20。根据ESSA和效应量的证据强度来选择扫盲项目,这对一个州的教育部来说是第一次,它代表着一个潜在的巨大转变。
事实上,并非所有的研究都是平等的,这一直是教育工作者面临的一个问题——一项研究不构成证据基础,没有经过外部评审的研究可能会被供应商贴上比实际更严格的标签。有鉴于此,我希望并期待其他州也能效仿佛罗里达州的做法,因为了解如何将效应量添加到混合中,才能让教育工作者对他们选择的教育技术素养项目做出更明智的决定,这很重要。
由ESSA定义的有效性
ESSA的前身是《不让一个孩子掉队法案》(No Child Left Behind Act, NCLB),该法案将优秀项目定义为建立在“基于科学研究”的基础上,但这个定义后来过于模糊,对教育工作者没有多大用处。
相比之下,ESSA通过确保其产生结果和改善结果的能力来促进以证据为基础的项目。ESSA的证据水平反映了研究设计和发现的质量、严谨性和统计意义,ESSA中描述的证据类型通常是通过正式的研究和研究产生的。根据ESSA,证据有四层或“层次”:
Tier 1 -强有力的证据:由一个或多个设计良好、实施良好的随机对照实验研究支持
第2层-适度证据:由一个或多个精心设计和实施的准实验研究支持
第3层-有希望的证据:有一个或多个精心设计和实施的相关研究支持(对选择偏差进行统计控制)
第4层-展示一个基本原理:实践有明确定义的逻辑模型或行动理论;有研究支持;并由州教育机构(SEA)、地方教育机构(LEA)或外部研究机构进行一些努力,以确定其有效性
尽管与NCLB标准相比有所改进,但这些证据要求仍然使教育工作者有责任确定扫盲计划是否基于最新的研究,是否被证明是一种有效的教学工具,是否能够满足学生的独特需求。这就是为什么效应量阈值的增加是一个如此重大的突破。
效应大小的值
什么是效应量?评估和监测中心将其定义为“简单地量化两组之间差异大小的一种方式”。它易于计算,易于理解,并可应用于教育中的任何测量结果……”
强调效果的大小有助于教育工作者了解干预的强度和对学生成绩的潜在影响。效应量在同时评估两种教育工具时尤其有用。
随着密歇根大学解释说:“要知道观察到的差异是否不仅在统计上显著,而且重要或有意义,你需要计算它的效应量。效应量是标准化的,而不是用例如在测试中获得的分数来报告差异。换句话说,所有的效应大小都是在一个共同的尺度上计算出来的,这让你可以比较不同项目对相同结果的有效性。”
如何计算和评估效应量
效应量是两组之间标准化的平均差异:
这里有一个例子:效应量为0.6意味着干预组学生的平均分数比对照组学生的平均分数高出0.6个标准差(即干预组学生的分数超过未接受干预的学生的73%)。
虽然方程很简单,EdWeek他指出,效应量研究“质量不一,研究的许多特征对效应量的估计大大夸大。”
佛罗里达州的决定将使效应量成为人们关注的焦点,促使更多的州将其纳入扫盲计划的选择标准,更多的供应商将其纳入营销材料。考虑到这一点,EdWeek指出了以下危险信号,供教育工作者在接受供应商的效应量声明之前考虑:
像这样的缺陷很容易产生+1.00或更多的效应值,对于那些认真了解在真实课堂中什么有效,什么无效的教育工作者来说,这样的研究不应该被重视。这就是佛罗里达州将ESSA标准与效应量相结合的创新背后的智慧;它降低了单独依赖任何一方的风险。
对效应量的描述也需要谨慎。虽然统计学家雅各布·科恩最初将效应量0.20描述为“小”,0.50描述为“中”,0.80描述为“大”教育科学研究所自那以后,他对这些特征提出了质疑,指出在现实生活中的教育实验中,有广泛的成绩衡量标准和随机分配的治疗方法,只有在一对一辅导的研究中,很少见到高达+0.50的效应量,更不用说+0.80了。
这表明,0.50的效应值是评估教育工具的更合适的范围。
效应量的未来
在Le必威滚球分析软件xia Learning,我们赞赏佛罗里达州能源部将效应量引入该州的识字工具评估标准,我们希望看到其他州效仿。
也支持乐霞的工作ESSA的证据该网站是由约翰霍普金斯大学(Johns Hopkins University)非营利教育研究与改革中心(Center for Research and Reform in Education)创建的,目的是找出符合ESSA证据标准的项目和实践。该网站为符合ESSA证据标准的项目提供了最新、可靠的公正信息来源;将效应量作为干预影响大小的“苹果对苹果”测量,教育工作者可以更有信心地做出更明智的投资。
研究是乐夏教育使命的基石。成立于1984年,由国家儿童健康和人类发展研究所(NICHD)的拨款,乐夏一直致力于严格的疗效和学习成果研究,是我们教学方法的中心。
乐夏的Core5®阅读是世界上最严格的研究、独立评估和最受尊敬的阅读计划之一。在一个独立的审查乐夏核心阅读在一项研究中,证据为ESSA授予了该项目“强”评级,并得出如下结论:
Core5的影响是在对芝加哥大都市区的五所学校进行的聚类随机研究中检验的。这项研究的重点是116名因阅读困难而接受特殊教育支持的K-5年级学生。学生们从特殊教育老师那里得到“推入”和/或“拉出”的支持。一年后,使用Core5的学生的MAP分数明显高于对照组(ES = +0.23),符合ESSA的‘强’评级。”
必威滚球分析软件Lexia Learning希望效应量将继续被各州和地区采用,作为评估扫盲计划的一个清晰可靠的指标。我们有信心,Core5将继续满足由国家强化干预中心(NCII)和ESSA证据等独立组织制定的高标准。