怎么把whatsapp消息移到新手机上
本文探讨了如何超越单纯的服务对象数量,以更广泛的视角衡量影响力。在评估影响力时,持久性是一个被忽视但至关重要的指标,它决定了项目在多大程度上真正改善了受助者的生活。作者分享了Generation的经验,介绍其如何通过持续的数据收集和分析,来评估就业项目的效果和长期影响,并呼吁非营利组织和资助者共同努力,制订通用的数据标准,以实现更高效的影响力评估,为真正增强项目的实际效果提供决策依据。
我曾在2022年发表的文章《超越“服务X人”》(“Beyond ‘X Number Served’”)中指出,非营利组织和资助者应超越服务对象的数量,以更广阔的视角思考,并对影响力的另外两个关键方面负责,即受助群体得到了多深、多好的服务,以及这种影响力究竟能持续多久。这两个方面往往隐藏在数字背后,或在年度报告、拨款申请的统计数据中被忽略。
我仍然认为真正的影响力需要兼顾广度、深度和持久性,但衡量一段时间内的影响力存在特殊的挑战,值得我们付出更多努力去探索。我曾多次听人提起,持久性“太难评估”,或坚称“我们不需要对项目交付数年后的影响力负责”,甚至是“没有人要求我们评估它!”然而,影响力的持久性才是真正的项目检验标准。如同在医疗保健领域,如果扩大治疗范围无法带来可测量和持续的健康结果改善,那么扩大治疗范围就没有太大意义。以此类推,如果我们通过提供食物来解决饥饿问题,我们其实真正希望的是使弱势社区拥有长期稳定的粮食安全。
非营利组织的领导者和资助者是时候发起深入且持续的努力,来衡量持久性。持久性是影响力评估三个关键指标中被讨论最少、被评估最少,但却最重要的一个。
让我们聚焦于我最熟悉的就业领域。我所领导的全球非营利性就业网络Generation,旨在为所有年龄段的成年人提供培训,并帮助他们从事新的职业。但是,如果经过培训后,我们的项目参与者无法赚取能够维持基本生活的薪资,或者在一年后失业,我们到底取得了什么成就呢?
在就业领域,我们几乎没有收集到任何有效证据来证明政府、基金会、企业和个人学习者每年在就业与再就业培训上花费的数千亿美元实际上带来了收入和福祉的持久改善。而我们所收集到的分析结果显示,最好的情况也只是较低的或好坏参半的回报。2017年,一项针对8个国家的12个技术与职业教育培训项目(Technical and Vocational Education and Training , TVET)的分析考察了该类项目实施12至18个月后对就业的影响,发现这些项目平均只能够使就业率增加两个百分点。同样,2023年Mathematica对中低收入国家的17个TEVT项目进行了影响力评估,得出的结论是,只有4个项目在12个月后对就业产生了统计上的显著影响。那么在提高收入上的效果又如何呢?同年,贾米尔贫困行动实验室(Jameel Poverty Action Lab,J-PAL)对28个TEVT项目进行了随机评估,发现大多数项目只能适度增加就业,且只有半数项目在某个时间点增加了项目参与者的收入。但问题的关键在于,我们不清楚项目干预效果能够持续多久;正如该研究得出的结论,“迄今为止,我们尚不清楚,与长期相比,什么因素会影响干预措施在短期内是否有效”。
要想获得有关持久性的可靠数据,我们必须在特定干预结束后的很长一段时间内持续收集与个体变化相关的数据。这很难,因为这意味着我们需要与曾经的项目参与者保持密切的联系,跟进其电话号码和电子邮件地址的不断更新,并建立足够深厚的联系,以使他们有动力年复一年地反馈自己的情况。要做到这一点,我们不仅需要决心,更需要创造力。在Generation,虽然我们的项目参与者数据调查完成率在项目结束后的第一年内达到90%至100%,但在项目结束后的一到两年内却下降至60%左右,而后在两到五年后稳定在30%左右。Generation目前在全球拥有超过10万名项目参与着,即使他们长期保持较高的回复率也非常有价值,但还不够。比如,这里存在积极性偏差的问题:由于已就业的项目参与者可能比失业的项目参与者更倾向于做出回应,因此我们需要更高的回复率,才能可靠地反映我们所服务地区不同学习者的发展轨迹。
为了提高Generation的数据完整性,我们目前开始通过多个渠道跟进,依赖于电子邮件、在线调查、WhatsApp消息,或通过短信、电话进行一对一直接跟进,以及在项目聚会活动中进行面谈。我们还在探索使用交互式语音应答的方式进行有关工作留用或薪资水平的简短调查。
这种广泛的数据收集并不一定成本高昂。目前,我们有关项目持续性的评估成本仅占每名项目参与者总费用的1%。然而,鲜少有慈善机构或政府资助者鼓励对项目的持久性进行评估,更不会为此支付费用。就业项目的资助者,尤其是政府部门,始终专注于受助者的数量,这意味着资助金额很少超出项目的实施成本,并且几乎不要求或不支持在资助结束后汇报项目成果。
然而,投资于更好的长期影响力评估,难道不会提高我们改进运营的能力吗?在Generation,我们开始追踪“影响力比率”(impact ratio),即Generation在目标城市(例如瓜达拉哈拉的初级全栈开发人员)填补目标职业年度空缺的百分比。在8个国家的18个地点,我们的项目参与者填补了超过5%的入门级职位,这在招聘中占据了相当大的比例,而一年前我们在4个国家的9个地点占据了同样的比例。新方法使我们能够确定哪些职业最具增长潜力,并建立相应的雇主生态系统来实现这一目标。正如所说的那样,能被测量的才能被管理。
然而,我们需要的不仅仅是数据。为了加强更好的持久性评估与服务提供者更好的管理之间的联系,我们需要通用数据集。例如,在就业和培训领域,维持基本生活的工资水平这一黄金标准,是服务提供者用来评估毕业生长期经济流动性的最客观的标准。但是除了美国、英国、加拿大和澳大利亚之外,大多数国家都没有公开(或定期)提供坚实的基本生活工资基准,更不用说对各种家庭类型和地点的细分基本生活工资基准。因此,Generation不得不为我们开展业务的国家制定此类基准,委派当地同事收集食品、住房和公用事业等商品的价格,然后将这些数据与公开来源的数据相结合。如果存在一种可以免费获取的、可靠的全球基本生活工资来源,那么对于所有在就业领域开展业务的组织来说,这将是一个改变游戏规则的工具,帮助我们比对项目参与者结业后的表现。
非营利组织和行业利益相关者如何才能收集到更多、更好的持久性数据呢?首先,我们需要有意愿进行艰难的对话,并就我们共同认为能够更好地为我们的项目提供决策依据的通用标准达成一致。由于我们从一开始就坚持收集数据,Generation目前拥有4000万个数据点,用于追踪项目参与者的学习生命周期,从申请到项目结束后五年。但我们无法独自完成这项工作怎么把whatsapp消息移到新手机上。我们希望在领域内展开一场讨论,探讨追踪就业状况、工作质量、工资水平、职业发展、储蓄能力、基本生活工资轨迹和个人福祉的指标组合,这将构成评估我们集体努力的长期影响力最重要的基准。
政府部门和慈善机构可以通过将持久性作为优先事项来加快这一进程。当然,款项接收机构可以且应该拥有一系列交付模式和变革理论。但是,根据通用的持久性数据标准来跟踪影响力,不仅能为资助者带来启发,也能为实践者提供真知灼见。
成功不会一蹴而就,毫无疑问的是,我们需要在各个领域进行大量试验,以评估什么是可行的和有价值的。美国的特许学校运动表明,数据追踪具有可行性。数据收集最初侧重于关注入学率和成绩(相对于公立学区的同龄人),随着时间的推移,此项工作已扩展到高中毕业率、大学录取率和大学毕业率。现在,该领域的一些部门甚至正在推动把毕业后第一份工作的收入水平也纳入数据收集工作中。
无论我们在哪个领域工作,我们都在推动社会正向变化以提升个人福祉并解决大规模不平等问题,我们需要持久的社会变化。要想知道我们的项目影响力是否与我们的愿景相符,唯一可靠的方法就是卷起袖子,满怀谦卑与耐心,沿着持久发展的道路砥砺前行。
莫娜·莫什德是 Generation:You Employed的创始人。Generation是一个全球非营利性网络,通过就业培训项目和研究为世界各地的人们提供经济流动性。