本文对应原文件第15、16部分
点击蓝色字体查看并下载原文文件：CAPA Root Cause Investigation
【翻译 PⅠ】CAPA Root Cause Investigation
【翻译 Ⅱ&Ⅲ】CAPA Root Cause Investigation
【翻译 Ⅳ&Ⅴ】CAPA Root Cause Investigation
【翻译 Ⅵ&Ⅶ】CAPA Root Cause Investigation
【翻译 Ⅷ】CAPA Root Cause Investigation
【翻译Ⅸ&Ⅹ】CAPA Root Cause Investigation
【翻译 11&12 】CAPA Root Cause Investigation
【翻译 13&14 】CAPA Root Cause Investigation
15纠正措施评估和有效性检查
如果你已经确定了根本原因，并制定了适当的纠正措施，下一步就是对纠正措施成功实施有信心。评估和有效性检查是产生自信心的一种办法。而且，即使评估表明这些努力没有产生预期的积极影响，你也可以利用这个机会获得信息和知识。
有几种不同的方法来培养对解决方案有效性的信心。这些可以在不同的时间进行。
有一个全面的计划来检查有效性的最好方法之一是遵循诗人T.S.艾略特的建议：“终点就是我们的起点。”换句话说，在你开始执行CAPA时考虑你的策略是可取的。
过程性和结论性评价
评价有两个不同的阶段：过程性和结论性。在项目仍在开发期间进行过程性评价。例如，如果您在笔记本应用程序上尝试不同的数据收集表或用户界面设计，在过程性评估阶段，您正在收集反馈以进行工具改进。这可以通过从用户和客户那里获得反馈来实现，或者如果错误或成功可以计算，则可以使用更定量的方法来实现-例如，使用旧样式和新样式的批处理记录通常会看到多少文档错误。过程性评价可以在具体的解决方案被广泛实施之前向利益攸关方提供信心。
结论性评价通常用于决策：我们是否要将这种新的格式或新的接口实现到所有部门和所有地点？总结性评价是在工具、过程、项目改进，或过程性评价之后才使用的。
备注：1967年,Scriven提出过程性和结论性评价(formative and summative evaluation),1971年,Bloom和他的同事将过程性评价界定为学习过程的进步性评价,而结论性评价则指教学结束时的成就性评价(转引自Stern,1983).
有效性检查的时机和方法
何时以及如何进行有效性检查？虽然对此没有明确的规则，但以下是一些您可以考虑和应用的一般指南。
影响你的有效性检查计划的一个考虑因素是不必要事件的临界性和纠正措施。范围越大，动作越复杂，失效影响越显著，有效性检查应越正式，越稳健。
对于更重要或更复杂的检查，一个计划可能是有用的。这包括：
•什么（What）会被测量？问题的症状（如果发生，可能是由于不同的根本原因）还是根本原因被确定？
•它将在哪里（Where）测量？这可以包括进程或活动的具体地点以及地点或部门的地点)。
•什么时候（When）测量？这样做是在实现新解决方案完成之后，还是在人们熟悉使用新解决方案之后，还是两者兼而有之？它将如何测量？将采用什么方法？调查？面试？客观的，可量化的（例如，可数的）证据？是否有一个标准的、适当的工具来测量特定的属性？抽样类型的样本，如随机或方便，以及抽样点的数量呢？
•如何（How）分析测量？什么样的统计处理、趋势分析、比较等将是有效的，并提供更多的信息？谁来做分析？
•谁（Who）来进行测量？可能存在一些无意的偏见，如果存在，这是个问题吗？
•结果将传达给谁（Who）？管理层、供应商、其他利益相关者（包括人员）还是卫生当局？
资质确认和验证
正如前一章所提到的，资质确认和验证实际上不是纠正措施。相反，它们让你相信解决方案是有效的。在某些情况下，这可能表明，一个新的，改进的，或改变的设备或设置工程-例如，改变一个小瓶清洗过程，因为更高水平的粒子污染进入玻璃容器。
医疗器械行业使用的纠正措施指南(GHTF，2010)将有效性检查分为两部分，确认和验证：
确认：通过提供客观证据证实已达到规定要求。
注1：“已确认”一词用于指定相应的状态。
注2：确认可包括以下活动：
·执行替代算法。
·将新的设计规范与类似的经过验证的设计规范进行比较，进行测试，进行演示，并在发布之前审查和批准文件。
验证：通过提供客观证据来确认对特定预期用途或应用的要求已经满足。
注1：“已验证”一词用于指定相应的状态。
注2：验证的使用条件可以是真实的，也可以是模拟的。
在大多数质量体系下，上述验证步骤将与变更控制一起进行。在验证中，您更关心的是，结果是一致实现的，验证将与此有效性检查相一致。
评价和有效性检查方法的例子
如前所述，所选择的具体方法或方法需要考虑地与不必要事件的临界性、范围和影响以及解决方案的复杂性和时间（即纠正行动）保持一致；然而，以下是可能有用的例子。其中一些方法可以结合起来，以提供更稳健的评估。
•前/后或前/后：如果您在实施新方法之前有描述情况的数据，则可以将其与在解决方案到位后收集的数据进行比较。应该在实现和数据收集之间给出时间，让那些使用新解决方案的人有时间适应它。虽然由于潜在的偏见而不那么可靠，但那些做任务或过程的人的自我报告可以描述他们在新方法中看到的好处。
•重复：这是看待有效性的最典型的方法-纠正措施是否“关闭”了问题？ 如果你有一个非常具体的根本原因和一个紧密一致的纠正措施，如果不必要的事件频繁发生，足以在合理的时间内测量，这将是一种有用的方法。如果寻找复发，你需要区分你正在寻找的-根或近端原因，或者，或者，观察问题的症状。
•间接措施：间接措施虽然不是证据，但可以提供有关纠正行动成功的证据。
•审计：这将包括在审计承包商、主要供应商和其他设施时，寻求继续有效实施纠正行动。
•抽查：定期随机检查，以确保符合纠正措施。例如，每个季度检查一个部门5-10名人员的培训记录，以确保区域符合他们的培训要求。
•趋势分析：随着时间的推移，观察大量的结果或者一个给定的范围来寻找漂移或模式。
•投诉：内部或外部的“顾客”的具体反馈。
•未遂：如果你有一个情况，在伤害发生之前有一个高水平的检测，检测事件可能是有用的。有时这些被称为“未遂”。
如果不必要的事件确实发生，这并不一定意味着所采取的纠正行动无效。这可能意味着同样的症状出现（事件），但归咎于另一个根本原因和失败序列-它们没有被发现或更早地解决。 例如，我的车上个月由于电池问题没有启动（症状)，我更换了电池(有效的根本原因）。现在我的车不会启动，但这是因为我试图用错误的钥匙启动它：相同的症状，但不同的根本原因。
时机
当考虑纠正措施是否能解决问题时，您可以决定一次性有效性检查是否足够，或在定义的时间段内进行多次检查更为合适，那么做更多的定期检查将是很重要的，至少在一段时间内是如此。您可以选择确定和设置这些频率。在设定时间点时，一定不要过于乐观。
记录有效性检查
你希望能够有证据表明你的行动已经采取，（希望）它们是有效的。如果纠正和纠正措施是通过您的变更管理质量体系元素处理的，它应该有这些检查的规定。您用于记录和跟踪更正的方法（例如，基于纸张的、电子的）需要具有记录检查的能力。
在这样做时考虑的是，在进行有效性检查时，不应使调查处于“未完成”状态。 如果审计师或检查员审查了偏差清单，这可能会使公司在完成所需行动方面花费了过多的时间。
培训和操作有关的评估和有效性检查
如果调查指出人员知识和技能的真正缺乏，有两种特殊的方法可以加以审查。在培训课程结束时，可以对学习进行评估，有时称为二级评估(Kirkpatrick，1994年；Kurt，2016年)。 你想得到回答的问题是，“学习者学到了什么？ 学习者没有学到什么？“这种类型的评估通常是在培训结束时进行的，评估使用的方法尽可能接近人如何使用信息或技能。如果如第14章所讨论的，使用结构化在职培训(S-OJT)提供培训，则该方法将包括操作演示。当这个人正在执行任务时，讲师可以提出S-OJT工作表上列出的问题，如：
•为什么这个任务很重要？
•在执行此操作时，哪些事情会出错？
•是什么让你知道事情开始了出错了？
•如果事情开始出错，你会怎么做？
如果任务更像是一项认知类型的任务（例如复习实验室笔记本或写调查报告），让人正确地完成这项任务将使你有一定的信心，相信他们已经获得了所需的知识和技能。
第2级评估为您提供了关于培训活动结束时该人是否具备知识和技能的信息。 然而，你不知道的是，在实际使用条件下，他们是否真的能在工作中完成这项任务。第三级评估(Kirkpatrick，1994年；Kurt，2016年)在培训活动提供这一信息后4至16周进行。 在这里，想得到回答的问题是，“这个人在执行任务时是否有效/正确地运用了知识和技能？”这就是许多其他因素会影响绩效的地方：工作领域的其他人员（也许是那些经验更丰富的人员)，他们可能违反程序，采取捷径，没有适当的工具，监督的反馈不足，工作条件(高噪音、分心和压力）干扰良好的表现，以及其他因素。 这些评估应该在没有预先宣布的情况下进行-你想尽可能多地了解现实生活中的情况。
如果有学习（成功的2级评估），但没有适当地转移到工作场所，应使用操作清单或考虑第14章中讨论的TWIN错误前体。
提醒
当考虑衡量标准时，你需要考虑它们可能产生哪些不适当的行为。例如，作为他的主要目标之一，一家制造公司的负责人“减少了偏差。 你能想出几种方法来实现这一点吗？其中一个方法是报告偏差的人可能更少。在30天内结束调查的指标可能导致调查不充分，无法找到真正的根本原因，而且往往有“重新培训人员”作为原则纠正措施。
结论
有效性检查使人们相信所采取的行动在纠正根本问题和防止再次发生方面是有效的。有许多方法可以做到这一点，取决于不想要的事件的意义和事件可能对产品和病人产生的潜在影响。有效性检查失败往往意味着没有查明实际的根本原因，或者所采取的行动不够充分。当在纠正措施之后的不同时间点使用几种不同的方法时，一个组织可以对所应用的修复有很高的信心。
参考资料
Kirkpatrick, D.L. (1994)Evaluating Training Programs: The Four Levels.
San Francisco, CA: Berrett-Koehler.
Kurt, S. (2016) Kirkpatrick model: Four levels of learning
evaluation.Educational Technology,https://
educationaltechnology.net/kirkpatrick-model-four-levels-learningevaluation/.
Accessed 5 Mar 2020.
16 写报告
如果你问一个制药商或生物制药商的人他们生产什么，他们会很快说，“药品”或“药片”，或者他们可能给出他们最畅销产品的名称。 只有在更多的刺激之后，才能有人说“数据”、“信息”或“文档”。他们和我们这个行业的许多人不了解的是，调查所获得的信息对改进过程、产品和系统的价值，不仅在当下，而且在未来。
国际药品质量体系协调会议(ICH)Q 10准则（2008年）描述了一个现代质量管理体系(QMS)，质量风险管理和知识管理是QMS的推动者或基础（图1）。 问题10将知识管理定义为“获取、分析、储存和传播与产品、制造过程和部件有关的信息的系统方法”（第14页）。 如果在失败中可以有一个“光明的一面”或积极的元素，那就是你现在已经获得了关于产品或过程的新的和额外的信息。 这可能包括识别新的故障模式或未按预期执行的控件。 重要的是要收集这些信息；报告是这样做的一种方式。
在这一章中，我们将在编写报告时研究一些一般考虑因素，介绍信息的方式，以及缩写和扩展报告中的主题。
图1。 根据Q10的药品质量体系的组成部分(ICH，2008年)
调查报告的一般考虑
表格
报告的样子没有单一的标准。它们可以也确实在许多方面有所不同，包括调查的复杂性和用于记录的系统类型(纸质或电子。 例如，一些公司（通常是规模较小的早期初创公司）使用基于纸张的形式进行简单的调查，并对更复杂的公司使用叙述报告。 其他公司使用一个电子系统(Track Wise®经常被看到；其他数据库选项也存在)，它指定了一个填写的字段。 其他组织使用组合-将摘要输入来自书面报告的字段；报告的PDF版本被上传到应用程序中。
报告的类型、复杂性和长度应根据事件或事件的意义而定。与前面讨论的调查一样，不存在“一刀切”的情况。有些情况可能只需要在批处理记录或笔记本上注明，另一些情况可能有一页的事件报告，而另一些情况（希望有一小部分）则需要一份更广泛、更正式的报告。
纳入理由和决策过程
你的报告的读者，无论是简短和简单，还是冗长和复杂，都有一个关键的问题：“你怎么知道？”你怎么知道材料不受偏差的影响？ 你怎么知道事件的范围仅限于三批？ 能够为你的结论提供基于信息的理由都是至关重要的。
使用名称或不使用
在写报告时，你是否包括那些参与不必要事件的人的名字？在这里，行业实践差异很大。国家法律，特别是欧洲的法律，以及劳动合同可能会阐明什么是可以做的，什么是不能做的。以下是可以看出的选项范围：
·不使用名称：只包括角色（例如，生产主管、实验室分析员、材料搬运工）。在某些情况下，公司将有一个机密的注释副本，确实有名称，可用于将事件与培训记录、资格和纠正措施的审查联系起来。
·使用唯一标识符：这可以从个人的唯一首字母(例如GAB)或整个或部分员工号码(例如X-1140)。
·全名：使用这种方法的公司说，这是为了让人们对他们的行为负责。然而，这似乎将责任归咎于事件的结局(使用诸如全名之类的识别资料可受国家劳动法或合同的约束。
措辞选择
写报告时，需要注意使用什么词。不准确或模糊的词（“可能”或“通常”）不应该被使用，或者如果需要使用的话，应该有证据来支持它们。例如，说“最可能的根本原因”为什么需要得到被考虑和排除（以及为什么），以及为什么这个可能的原因应该被认为是最可能的原因的证据。
当在写报告的时候，不仅仅是在讲述故事和提供事实；还需要管理读者的焦虑或恐惧。例如，不要说“大规模污染”，而是定量描述污染：“30%至40%的批次显示可见颗粒物。”请注意，一些审查员有自己的“触发词”列表，这是要避免的。
有一个清晰和简单的写作风格是很重要的。如果你能在没有很多复杂语言的情况下传达信息，那对你有利。有流程图和照片也很有帮助。
有一个用于一致性的标准化单词列表也是有用的。例如，使用“可见颗粒物质”或“颗粒”可以使搜索更容易，结果更具可比性。
相信自己
有时，作者并没有具体地为自己（或他们的公司)所做的事情提供信用：例如，没有具体说明哪些项目被检查了，没有产生任何积极的信息-“日志被审查，所有条目都按照程序适当地完成了。”当描述某件事时，如果你能合法地(即可以用证据来支持）加强一种好的或所需的做法，它可能是有用的。 不要说“分析平衡”，说“校准的分析平衡”，或者不仅仅是“技术人员”，而是“完全合格的技术人员”。同样，你需要准备好为你这样的索赔提供证据。
拼写很重要
正确的拼写、适当的语法、良好的句子结构和组织等小细节是很重要的，因为它们让读者感觉到公司对细节的关注。(如果报告是由不以英语为母语的人用英语写的，我个人对此无异议。) 不要长段落，考虑使用要点来减少陈述事实所需的词语。
搜索过去的事件
重要的是包括搜索以前的类似事件。拥有一个数据库或在线搜索报告的能力对这一点来说是非常宝贵的-你想做的不仅仅是询问人员他们记得什么。 寻找症状（如“温度漂移”)和根本原因(如“恒温器故障”)都是有用的”）。
报告应描述所使用的搜索术语（例如，“温度漂移”、“冷藏室故障”或其他单词或短语）和搜索的时间框架。 卫生当局希望看到至少一年为期的搜索；在某些情况下，当失败的机会很少时，应包括多年。有必要说明选择一个时间段的理由：例如，“对过去发生的事件进行了一次搜索，覆盖了马萨诸塞州剑桥市的所有冷藏室，为期整整两年，因为这是该网站开始运作的时候。
附件
通常，附件提供大部分文档。其中可包括分析结果、特别重要的程序和培训记录。如果流程或系统是复杂的或唯一的，那么附上流程图和说明系统如何工作可能是有用的。把这个作为附件不会打断故事的讲述；如果有人需要背景信息，他们可以在这里找到它。(一家公司有一个文件夹，有标准化流程图和不同单位业务的详细说明，从文件夹中提取，并酌情列入报告。
低影响力事件
这些事件的文档可以在现场进行-也就是说，在与事件一起生成的记录上进行，例如批处理记录、日志簿和数据收集表。 这些记录的事件，使用基于风险的决策树分类，需要包括发生了什么，在哪里，如何，以及立即采取的行动和纠正。一般来说，对于一次性（即不经常）、低级事件，除了立即采取行动或纠正外，不需要采取纠正或预防行动。然而，这些必须作为文件和/或批量审查和发布过程的一部分进行审查和批准。
如上所述，使用的语言应该标准化，来支持有效的跟踪和趋势。
虽然这些事件不影响产品的安全、特性、强度、纯度、质量和可用性(SISPQ-A)，但防止它们可能支持持续的改进努力。
中度影响力事件
使用基于风险的方法可能影响SISPQ-A或符合要求或业务要求的影响的事件的调查，但不包括低级事件。这些事件需要更认真的调查和彻底的文件。
高影响力事件
这些事件可能会或不会对过程、产品、患者或依从性产生实际的重大影响，但需要彻底了解以防止复发。这些调查报告是最长的，往往是正式报告。
简短的例子
对于那些被归类为具有中等影响力和（或）容易知道原因的调查，可能需要一页或两页的表格(纸张或电子。 图2显示了一个这种形式的例子，整合了质量风险管理原则。
图2.使用基于风险的标题进行调查的“简短形式
简要示例-事件调查
长并且正式的报告
如果调查具有高度的意义或调查本身是广泛的，则可能适当的是较长的正式报告。
表2列出了应考虑列入的标题。
表2。 正式调查报告中发现的主题大纲
对于长报告，考虑有一个一页的独立的执行摘要，让读者“消化”所有相关事实的概述。 这将作为报告编写过程中的最后一步，包括问题描述；根源、最近和促成原因；范围和影响；以及立即行动、纠正和纠正措施。
提供摘要的理由是，它将使读者（特别是审计师或卫生当局检查员）快速了解发生的情况和采取的行动。
检查员可以对总结感到满意，避免阅读整个报告的时间-这对所有相关人员都有好处。
在写报告时，请记住，读者会想确定你有什么证据支持特定的根源或近端原因。这将包括可证实的“积极”事实，以及所看到的不支持所指称的事实。 例如，如果一个房间由于恒温器故障而超出了温度规格，你可能会说测试表明恒温器失败了，但是暖通空调系统中的其他部件（你会说）正常工作。
如果使用鱼骨图或因果因素图等工具，它们可以是提出调查结果的有效模型，包括正面和负面。例如，报告可以说明按主要鱼骨类别（即人员、设备、方法、环境、设施和材料）审查的情况，以及发现或发现的情况。提供被检查内容的细节，即使没有任何“积极”的结果，让读者了解调查人员彻底并努力的调查。
问答格式
一个组织的一种独特办法是使用报告中将回答的标准问题。结果是一份易于阅读、清晰的报告。表3显示了如何编写该文件的示例。
表3。 例题一问一答调查报告格式
结论
调查报告，无论是批记录中的简短笔记还是更长的正式文件，都需要提供足够的细节，以便人们能够重建事件和调查，并看到事件与纠正之间的一致性以及所采取的行动。报告不仅仅是一份要归档的文件；相反，它有助于向他人提供知识。对一份报告的一个很好的测试是问，在没有作者帮助的情况下，从现在起三四年后，读者是否会不言自明。
参考资料
ICH (2008) Pharmaceutical quality system –Q10. International
Conference on Harmonisation.https://database.ich.org/sites/
default/files/Q10_Guideline.pdf.
