河流保护类公益项目如何做自评估?| 案例复盘
精选文章
312
2020-12-16

 

项目介绍1.png


河流守望者行动网络(RWAN)是一个由遍布全国各流域的河流守望者们共建、共创、共享而成的一个河流保护志愿者网络。

聚焦中国各大流域水环境污染和生态破坏问题,借助移动互联网技术,搭建以“巡河”为标准动作的公众参与平台,动员和招募全国各地的公众关注河流、并通过便捷的互联网工具直接巡护身边的河流。

同时以“支持本地人解决本地环境问题”为核心理念,通过招募和赋能在地机构,在每个区域、每条河边都找到足够多的公众、并支持其参与护河行动——让中国每一条河流都有人守望,每一个河流问题都能被关注和解决,最终实现“有河流的地方就有守望者”。

当前阶段我们主要聚焦于城市黑臭水体、河流垃圾、水源地保护三大议题开展具体的公众动员工作,实现目标河段公众巡护的定点覆盖,为三大议题的倡导供应有效的巡护数据。


微信图片_20201216171937.jpg


评估目标2.png

通过全新升级现有互联网产品“巡河宝”,打造流域化用户运营的增长模式,实现长江流域内的重要城市的重点河段公众巡护的全覆盖。


其中,“重点河段”和“巡护的全覆盖”为关键概念,其定义如下:


  • 重点河段:以国家公开的专业数据为基础,包括城市黑臭水体、水源保护区问题、河流垃圾聚集点等常见河流问题数据,以及现有已公开的各类河流相关的数据等,作为目标河段筛选维度。
  • 巡护的全覆盖:以定位、图文、问题标签为主要内容,以2次/月/公里为巡护频次,实现目标河段的覆盖。


 
1、因果链


微信图片_20201216171952.jpg

点击可看大图



 


相关影响因子说明:


  • 巡护河段:基于政府公开的环境污染数据确认目标河段=被巡护河段;

  • 巡护频次:以职能部门的数据收集需求为基础,兼顾组织当前的执行能力和资源支撑,确认当前的最低巡护频次为2次/月/公里;

  • 巡护频次的峰值:即拐点,当巡护频次达到该峰值时,河流问题的解决效率发生变革式提升,以此验证巡护频次的设置,也是“巡护覆盖率”的终极定义;

  • 战略选择:未来策略的调整,会根据组织聚焦的议题方向、实际任务量、巡护范围/区域等的变化而调整。


2、实验设计
采用准实验设计的方法。将目标巡护河段1000+公里作为实验组,非目标河段(无巡护任务设定)作为对照组进行比较,并进行定期监测和评估。

3、抽样方案
不需要抽样,全部可测量。

4、测量方法
 具体测量步骤如下:


  • 选择长江流域沿岸11个省份的11个重点城市城区的11个重点河段、合计422.5公里,及长江经济带国家重点督办的656条黑臭水体、合计约3000+公里,2020年将从中筛选1000+公里作为年度巡护河段(已经整理完成的部分巡护河段清单,已开始通过技术后台绘制划分河块颗粒);
  • 对目标河段按照1公里长度为单位划分河块,按照两岸分开计算,总计约为2000+个需要巡护的河流颗粒;
  • 在项目周期内(一年期=2019.10-2020.10),只针对目标河段的颗粒化河块设置巡护任务,开展对应的公众动员和运营,目标河段之外的河段暂时不开放巡护任务认领相关的支持服务与功能;
  • 同时从数据后台记录所有的用户行为数据,包括目标河段和非目标河段用户的行为轨迹,对照分析其在河块巡护上行为分布情况,验证运营对于河段巡护覆盖度的影响力;
  • 通过巡护频次数据分析,直接核查河段的被覆盖率;
  • 对照分析比较:针对目标河段和非目标河段,即巡护覆盖的河段和未覆盖的河段,从用户数量、用户活跃度、用户上传的数据质量、任务完成量、发现并上传的河流问题数量、反馈率等几个核心指标进行比较分析,可评估对河段开展公众巡护覆盖的实际价值。


 


微信图片_20201216171959.jpg



测量过程中涉及以下概念,在此给出相应定义:


  • 河流:即计划要实现目标覆盖率的被巡护的河段,目前有三个选择标准,一是国家发布的重点监督城市黑臭水体名单,这是必须治理的、也最迫切需要公众参与监督的河流河段;二是长江经济带的沿岸重点城市(基本为省会城市或直辖市)的城区主河段,如长沙核心城区的湘江段,按照行政区划、结合当地城郊分割线的选取标准;三是长江流域重要饮用水源地中出现过严重问题的水源区标准选取(目前出现过问题的水源地为1256个,但具体划区还需要综合已有的专业数据库比对筛选,目前尚未完成,因此以前两个标准为主选取了目标河段3000+公里);另增加一个维度,即河流垃圾被标记过的集中区域,综合筛选前1000+公里的目标河段,及需要在一期被重点巡护的河段;

  • 守望(巡护):即具体如何巡护目标河段,目前以认领任务的方式对具体动作进行拆解,巡护即指完成一个个具体的小任务,而这些任务将通过巡河平台发布关联到不同河段呈现,如黑臭河的巡护将基于政策倡导的需求拆分为特定角度拍照、颜色记录、气味记录、有无垃圾、问题标签标记、文字记录、坐标点获取等多个小任务,由用户根据自身意愿、兴趣和能力选择认领,并完成(对应不同任务获得不同激励;根据政策倡导的需求设定新的不同任务);其次是巡河频次,目前按照一个颗粒化河块2次/月计算,这是对于一个“巡河”动作的基本设定;

  • 参与人数:按照巡护频率要求,每1公里的巡护河块全年需要24人次的行动,具体到人为1-24人,而按照目前已经积累的经验,需要至少发展10名用户才可能发展1名巡河行动者,因此每1公里巡护河块至少需要发展240名用户。(理论上1人也可以完成所有任务,而按照每次巡护需要1个人算就最多24人,但发展出愿意行动的1个人,按现有数据分析至少需要按1:10的比例发展10倍的外围用户,因此每一公里的巡护至少需要240人,计算公式如下:参与行动人次/年=颗粒化河段数(N)*2次/月/公里*12月*10(动员率));

  • 巡护覆盖的持续性和稳定度:每个颗粒化河块的被巡护时段间隔为15天,即巡护频次平均分布在每个月内,24次标准巡护平均分布在12个月内;

  • 巡护数据收集时间:目前不做严格要求,基于政策倡导方向及精细度再提升要求,比如数据采集时间在一天当中的分布,此处需要结合议题推动的要求做设定;


  • 巡护数据收集地点:目前也不做严格要求,可在1公里内自由分布,也需要根据具体议题推进的需要,设置精确点位,如黑臭水体的监督需要在规定河段内选择重要观测点位,则在该点设置巡护打卡点;

  • 巡护采集的河流数据的丰富性:即巡护任务是否包含了足够多的河流相关的特性,尤其是河流问题的个性化标签,如废水直排、河流垃圾、挖沙洗沙、农业养殖等,目前问题种类不超过10类。

案例分析3.png

1、确定评估目标
河流守望者与案例集中的另一个项目——守护海岸线,相似度很高;不仅仅都是环保项目,而且都通过对于污染数据的收集,来反映河或者海的环境状况,以引起公众和政府的关注,最终达到关注水体环境的改善。基于同样的逻辑——水体改善并非朝夕之功且不完全由项目方负责,自评估目标的设定都是围绕“是否可以收集到有效的污染数据”。

2、测量和抽样
然而,两个项目的自评估方案却有很大差别,主要原因则是两个项目不同的项目阶段以及对于污染内容的关注不同。

首先,守护海岸线主要关注的海洋污染是海滩垃圾,在现阶段,机构对于海滩垃圾的测量有比较稳定的方式。因此,守护海岸线的自评估主要关注于在稳定的定量测量方式下,减少收集数据的人为误差;也就是关注培训质量、以及培训质量和数据收集质量之间的关系。相对的,河流守望者项目处于改进升级阶段,主要关注点不是“是否收集到”有效数据,而是“什么是有效数据”,即评估目标中的关键词“全覆盖”。

“全覆盖”可以被拆成两个基本元素:“全”和“覆盖”,也就是需要定义和测量“什么是‘全’”、“什么是‘覆盖’”。评估方案呈现了讨论后的结果。“全”的可操作化定义是:对目标河段按照1公里长度为单位划分河块,每个河块的一侧岸,由志愿者每月至少巡视两次,每次相隔15天,具体地点一般可以在1公里内自由分布。

讨论“覆盖”的可操作定义则更为挑战。首先,河流守望者对于河流污染的关注不止于垃圾。其次,志愿者河流污染巡视的结果,将以文字+图片的形式,通过自己的智能设备(手机、平板电脑等)上的小程序或者app直接上传。因为初始数据的形态(文字或者图片)是定性的,所以需要上传的时候或者上传后由机构后台处理。“如何处理”则对应着机构对于“覆盖”是如何定义的。

自评估方案中,要求志愿者“特定角度拍照、颜色记录、气味记录、有无垃圾、问题标签标记(废水直排、河流垃圾、挖沙洗沙、农业养殖等)、文字记录、坐标点获取等多个小任务”,这就是对于定性数据的处理,背后就是机构对于“覆盖”的定义。

其次,守护海岸线是在海洋垃圾数据由志愿者收集完毕后,由机构人员录入到电脑中;而河流守望者的数据录入是由志愿者在收集数据的同时就完成了,就自评估的目标——河流是否被全覆盖,确实不需要抽样,可以利用互联网技术,对于全部河段采集数据。


006BDOfJly4gloogkh2ysj30u00k176x.jpg



3、因果关系验证
本项目的自评估目标并不直接包含因果关系,但是机构依然采用了准实验设计,看起来是“多此一举”。不过,细分析之下,有其道理。虽然,评估指标是“是否”做到了“全覆盖”,但是“覆盖”的内容远比“是否有污染”要多,是可以在一定程度上衡量“污染程度”的。

回头看项目因果链,河流守望者的设计简而言之是“通过对于污染的监测来减少污染”,也就是监测是一种干预,而“污染减少”是结果。自评估的目标是“监测是否做到了”,但是“监测如果做到了”,“监测结果”就是衡量项目最终成效的指标。由此,自评估的目标既是过程性评估(或者说监测)也同时可以是项目成效的评估,那么准实验设计是有意义的。

不过,如果真的要严谨地检验项目成效,还有以下两个建议给机构伙伴。第一,非巡视河段和巡视河段最好“相同”,至少也要尽量“相似”。第二,要对覆盖的内容——“颜色记录、气味记录、有无垃圾、问题标签标记(废水直排、河流垃圾、挖沙洗沙、农业养殖等)”做进一步的思考,整理出一套指标体系,可以用于干预组和对照组的对比。


小结4.png


北京守望者环保基金会认为,这是机构第一次深度经历专门针对河流守望者这个项目、或者说包含巡河宝互联网产品在内的一次全方位评估。第一次接触这种评估方式,边学习边完成自我梳理,尤其评估发生的时段,又刚好是机构互联网转型的关键期,这对机构来讲充满了挑战,但也倒逼他们直面很多必须要回应的问题。

产品的终极服务对象到底是谁?制定的解决方案到底在如何发挥作用?项目的直接或间接产出是否真的回应到了服务对象的需求?一个接一个的问题启发团队重新审视自己的产品设计,也逐步把所谓的标准化、颗粒化、规模化路径“磨”了出来,整个过程还非常受益,且此次评估的产出为后续产品迭代贡献了诸多重要观点,帮助项目团队更加坚定的开展着实践工作。


微信图片_20201216172027.jpg



(文中的图片均由北京守望者环保基金会提供)



平台动画 产品招募