地震科学数据共享项目评价制度细则

地震科学数据共享项目评价制度细则

（试行）

第一章 总 则

第一条 为加强地震科学数据共享项目（以下简称项目）的建设和管理，促进项目可持续发展，提高科技基础资源数据的集成和共享水平，根据《地震科学数据共享管理办法》制定本评价细则。

第二条 地震科学数据共享项目是一项长期性、基础性和公益性的工作，评价是项目建设和管理的重要环节。评价的主要目的是：建立责任机制与学习机制，提高平台建设与运行管理的规范性、公正性、科学性和经济合理性，确保平台建设运行目标的顺利实现，为国家科技基础条件平台建设提供支撑。

第三条 评价工作贯彻“实事求是、公正合理、规范公开”的原则，根据项目建设的特点和要求，着重评价项目的资源数据数量与质量、资源数据共享与服务、平台运行管理、数据共享管理与规范、项目的效益以及可持续发展的能力等。

第四条 评价活动将采用多种渠道、定期不定期相结合的方式，即包括平台建设运行机构自己实施的内部评价，又包括中国地震局组织实施的评价。中国地震局定期组织对项目的评价，评价对象为：地震科学数据共享项目立项资助建设的地震科学数据共享中心、分中心、省级节点及相应的项目。

第二章 评价组织

第五条 在科技部主管部门领导下，中国地震局监测预报司负责地震科学数据共享工程评价工作，主要职责是：制定评价规则、指标体系和实施办法，确定评价专家组组成和评价任务，审核评价方案和评价报告，审定并公布评价结果。国家地震科学数据共享中心作为整个数据共享项目的牵头单位协助中国地震局对各分中心、省级节点和相关项目实施评价。

第六条 成立地震科学数据共享评价专家组，评价专家组人数不少于7人，专家组成员由相关项目专家委员会成员、领域专家、计算机专家和管理专家组成。专家组的主要职责是：根据评价细则拟定评价方案，收集综合各种方式的评价所需的信息资料，在定性与定量分析的基础上，进行分析研究和综合评价，定期向中国地震局主管部门提交评价结果和评价报告。

第七条 各项目牵头单位的主要职责是：根据中国地震局的评价要求做好被评价项目评价前的各项准备工作，审核被评价项目各参与单位提交材料的真实性和准确性，为地震科学数据共享项目评价工作提供支持和保障。

第八条 各项目建设参加单位的主要职责是：认真做好其承担建设部分的各项准备工作，向项目牵头单位提交真实、准确的评价相关资料，配合项目牵头建设单位接受评价。

第三章 评价体系

第九条 建立地震科学数据共享的评价体系，指定评价指标，评价指标依据科学数据共享建设目标和项目实施方案制定。包括资源建设、系统建设、运行管理、绩效与影响、发展前景等方面。每一个部分分为优秀、良好、及格和不及格四个方面，按百分制进行评价。详细内容见附件。

第十条 项目评价结果由五项评价内容的得分经过加权平均后得出。五项评价内容的加权值为：

1.资源建设 30%

2.系统建设 25%

3.运行管理 20%

4.绩效与影响 15%

5.发展前景 10%

第十一条 中国地震局定期组织对建设和运行中的项目进行评价，评价采用现场检查、网络检查、用户调查、社会问卷等方式定期和动态进行。

第十二条 各项目建设牵头单位负责本项目接受评价的组织工作。对因故不能按时参加评估监测的项目，应由牵头单位在评估监测通知下发后7日内向中国地震局提出缓评申请并说明理由，经中国地震局同意后可暂缓评估监测。各项目需准备好项目建设情况报告，内容包括：资源建设报告、运行管理报告、财务情况报告、项目绩效报告等。各项目建设牵头单位应于项目建设年度结束后15日内向中国地震局提交上年度项目建设年度进展报告。年度进展报告将作为评估监测的重要内容

第十三条 现场评价时，项目建设负责人应报告项目进展、运行状况、项目绩效、经费支出等，提供相应材料。评价专家组应进行现场考察、观看演示、组织座谈、材料审核，同时结合网络检查、用户调查、社会问卷提交评价结果和评价报告。

第四章 评价结果

第十四条 项目评价专家组提交的评价意见和评价报告是中国地震局进行决策并确定下一评估监测周期是否继续对项目进行资助的重要依据。

第十五条 评价结果采取网上公示、接受申诉、专家复议等步骤，以保证评估监测结果的公平和公正。最终评估监测结果由中国地震局公布。

第五章 附 则

第十六条 本细则由中国地震局负责解释。

第十七条 本细则自公布之日起试行。

附1：项目评价大纲

附2：项目评价指标说明

附3：项目评价详细指标表

附1：项目评价大纲

地震科学数据共享中心及分中心项目评价大纲

一、项目建设简要情况介绍

1. 承担单位（牵头单位、参加单位、项目建设负责人情况）

2. 建设和运行时间

3. 经费投入情况（获得经费、配套经费）

4. 资源建设（已有资源数量）

5. 技术支撑（设备投入）

二、资源建设

1. 资源数据覆盖领域

2. 资源数据种类、数量（明确本项目新增数据种类和数量）

3. 资源数据质量（文字描述、图片制作）

三、系统建设

1. 系统设计

2. 项目硬件环境

3. 项目软件环境

4. 技术服务

5． 服务质量

6． 访问频度

四、运行管理

1. 运行情况（人员组织，经费支撑，年运行率）

2. 运行机制（运行制度、日志管理和协调机制、资源数据的调配机制）

3. 文档管理

五、共享绩效与影响

1. 对国家科技基础条件发展的作用

2. 对国家科技创新的作用

3. 对社会进步的作用

4. 对经济发展的作用

5. 各个具体绩效的实现程度（阶段性/最终绩效目标）

6. 用户满意度

六、发展前景

1. 平台运行管理机制（可持续发展机制建立）

2. 推广应用

3. 远景规划

附2：项目评价指标

地震科学数据共享资源数据项目评价指标

1. 资源建设：是项目建设考察的重点。主要考察资源建设的数量、领域覆盖面、资源描述的科学性、完备性等。考察时需要结合项目的具体规划统一进行评估监测。

1.1. 资源数量：考察项目已拥有的和该项目在实施结果新增的资源数据的总数量和各分类数量是否达到预计的目标。

1.2. 资源质量：考察项目建设的资源数据的质量情况，在国内、国际上有影响的资源数据比例情况。

1.3. 领域覆盖：考察项目的资源数据建设是否能够覆盖领域的大多数范围，分布情况。

1.4. 资源描述：考察项目中对资源数据的表述是否全面、正确。是否符合相应的领域国际、国内的通用规范。（根据具体领域的情况给出相应的要求）

2. 系统建设：主要考察项目的系统设计方案是否合理，环境建设是否符合要求，是否能方便、高效地提供资源数据服务、服务的时间、质量情况等。该项内容在评估监测时，要参考项目的设计规划统一考察。

2.1. 系统设计：考察项目建设的系统设计方案是否合理，是否采用了目前先进的技术体系。

2.2. 项目硬件环境：考察项目的硬环境建设是否到位，包括场地、设备、网络条件等。

表1 项目硬件环境指标表

评价指标　中心　分中心及节点　分值

工作场所（机房）面积　≧80平米　≧40平米　4

数据库服务器数量　
　
　10

WEB服务器数量　
　
　12

大容量数据存储设备数量　
　
　8

至公众信息网的出口带宽　≧10M/bps　≧2M/bps　14

是否提供必要的网络安全保障措施　
　
　10

是否具备大型数据库管理系统　
　
　6

服务器和网络能力可满足的并发用户数量　≧30　≧10　14

工作场所是否具备必要的防火、防水条件　
　
　6

固定岗位工作人员　≧3人　≧2人　8

共享平台技术系统及网站年正常运行率　≧98％　≧98％　8

2.3. 项目软件环境：考察项目的软件环境建设是否到位，包括体系架构是否合理、软件易用性等。

表2 项目软件环境指标表

评价指标　总中心　分中心及节点　分 值

体系结构是否合理　
　
　15

基本功能是否全部完成　
　
　15

软件易用性　
　
　10

操作灵活性　
　
　6

界面友好性　
　
　12

用户安全性　
　
　8

数据安全性　
　
　10

软件健壮性(稳定性)　
　
　10

系统兼容性　
　
　8

可扩展性　
　
　6

各种性的参考标准：

软件易用性：易用性可以细化为易理解性、易学习性和易操作性等

功能名称(菜单、按钮)和图标应该直接、明了，没有歧义，容易理解，让用户一看就知道是干什么的，而不是猜测其作用。

操作灵活性：快捷键设置是否合理、是否同时支持鼠标及键盘操作

界面友好性：帮助提示信息灵活显示、含义准确，能够让用户进行选择的是否不是让用户通过键盘输入，对非法输入或操作是否能有效识别并给用户提示，对用户输入容错性是否好，用户输入时是否具备自动完成特性。

用户安全性：是否对用户分级别，认证过程是否严谨有效，是否采用安全的加密算法

数据安全性：是否根据保密程度对数据分类，不同级别用户只能访问相应的数据；数据存储是否安全，是否有冷热备份及灾难恢复机制，对有加密存储需求的数据是否用非明文的方式保存（比如各用户自己的密码信息）

软件稳定性：可由可用度、故障率、偶然故障率、平均失效恢复时间、大用户量同时使用时系统响应速度等指标来量化评定。

可用度：指软件运行后在任一随机时刻需要执行规定任务或完成规定功能时，软件处于可使用状态的概率

故障率：单位时间的故障数（一般以每100小时的故障数为单位）

偶然故障率：单位时间的偶然故障数

平均失效恢复时间：软件失效后恢复正常工作所需的平均统计时间

大用户量同时使用时系统响应速度：

系统兼容性：是否支持多种主流浏览器比如IE，Netscape等，是否支持windows及linux主流操作系统

可扩展性：软件结构合理，模块化程度高，子系统之间耦合性小，能否方便快捷的扩展新的功能特性

2.4. 技术服务：考察项目的资源数据服务情况，包括服务人员的配置、服务内容是否完备、提供服务的技术方案是否合理高效，是否能够提供基于网络的信息服务。

2.5. 服务质量：考察项目提供资源数据服务的时间、提供服务时的质量是否能满足地震行业需要和社会需要，项目使用的方便性如何。如：是否提供高效的信息检索等信息服务能力等。

2.6. 访问频度：考察项目提供资源数据被访问情况，了解资源数据被科研利用和共享程度。

3. 运行管理：考察项目建设是否按照《地震科学数据共享管理方法》的要求进行管理。主要对项目的人员组织、人员到位、经费使用、资源调配、配套到位、多单位间的协调机制、项目建设进度安排、文档管理等进行多方面考察。项目管理模式和运行机制是否有利于促进项目建设的顺利实施。

3.1. 人员组织：考察项目的人员组织是否根据管理方法的要求进行配置，人员的到位情况，工作内容安排是否合理、充分等。

3.2. 经费使用：考察项目建设的经费使用是否符合预算，是否存在不合理的支出，多单位协作项目的经费转拨是否及时等。

3.3. 资源调配：考察项目必需的工作条件、场所以及科技基础资源的到位情况等。

3.4. 配套到位：考察项目的承担单位配套经费是否到位。

3.5. 运行质量：主要依据运行状态检测报告、运行月报、用户代表监督报告和网上评议意见等。

3.6. 进度安排：考察项目建设的进度安排是否合理，执行是否到位。

3.7. 多单位协调机制：多单位协作的项目，考察其是否制定有效的协作机制，相互配合情况，资源数据的整合情况。

3.8. 文档管理：项目建设管理的阶段性文档是否齐全，内容更新是否及时。

4.共享绩效与影响：考查项目建设所取得的成效及产生的影响，主要通过用户群体的反馈获得。

表3 共享绩效与影响指标表

指标框架体系　平台对国家科技基础条件发展的作用：
1.对目前国家科技基础条件平台的补充与整合作用
2.平台标准及与国内协同和国际接轨程度

平台对国家科技创新的作用
1.平台对国家科技计划实施的支撑程度（973计划、863计划、攻关计划、重大专项等）
2.平台对科技人才培养的支撑程度（中青年科学家及其项目获得平台服务的情况、人才流动等）
3.平台对科技成果产出的支撑程度（如国家科技进步二等奖以上的成果、国际领先水平成果、发明专利、技术标准等）
4.平台对科技创新体系的支撑程度（创新条件、创新能力等）
5.平台对科技创新机制的支撑程度（合作研究项目和跨地区项目获得平台服务的程度、科技管理体制等）

平台对社会进步的作用
1.对社会可持续发展的作用（如保障国家资源安全等）
2.科技发展机会和条件的公平性
3.对社会进步其他方面的作用

对经济发展的作用
1.对我国科技基础条件相关产业的带动作用（如对科学仪器产业的作用）
2.对高新技术企业发展的促进作用
3.对高新技术产品发展的促进作用
4.对经济发展其它方面的作用

各个具体绩效目标的实现程度（阶段性/最终绩效目标）
l 阶段绩效目标1的实现程度
l 阶段绩效目标2的实现程度

用户满意度
l 目标用户中实际用户的满意程度
l 目标用户中潜在用户的满意程度
l 非目标用户中实际用户的满意程度

4. 发展前景：考察项目可持续发展的规划和推广应用现状。相关的处理机制是否完备、具体的应用推广情况如何。

4.1. 项目运作：考察项目是否有运作、维护的计划，运作机制是否合理、合法。

4.2. 推广应用：考察项目资源数据的应用情况，包括：用户数、用户使用资源数据的情况统计分析。可从各分中心的地震科学数据共享网站获取用户反馈信息。

4.3. 远景规划：考察项目资源数据建设是否有切合实际的长期发展规划，可行性如何。

附3：项目评价详细指标表

地震科学数据共享中心及分中心项目评价指标表

内容　指标　得分　不足和建议

资源
建设
（A）　资源数量25　
　

资源质量25　
　

领域覆盖25　
　

资源描述25　
　

小计　
　

系统
建设
（B）　系统设计20　
　

项目硬件环境10　
　

项目软件环境10　
　

技术服务20　
　

服务质量20　
　

访问频度20　
　

小计　
　

运行
管理
（C）　人员组织10　
　

经费使用15　
　

资源调配10　
　

配套到位10　
　

运行质量10　
　

进度安排15　
　

协调机制10　
　

文档管理20　
　

小计　
　

共享绩效与影响（D）　对国家科技基础条件发展的作用20　
　

对国家科技创新的作用20　
　

对社会进步的作用10　
　

对经济发展的作用20　
　

绩效目标的实现程度10　
　

用户满意度20　
　

发展
前景
（E）　运作机制30　
　

推广应用50　
　

远景规划20　
　

小计　
　

总计　
　A*30%+B*25%+C*20%+D*15%+E*10%