山东医疗器械咨询网医疗器械注册生产许可-鲁械咨询

肺结核 X 射线图像辅助评估软件医疗器械产品注册技术审评报告

 二维码 20
发表时间:2022-12-25 15:16
文章附图

技术审评概述

一、产品概述

(一)产品结构及组成

软件交付内容包括软件安装程序和授权文件。本软件由客户端和服务端构成,其中客户端包含数据采集模块,可以访问患者信息管理模块、结果显示模块、二维影像处理模块;服务器端由云质控模块、云存储模块和基于深度学习技术的肺结核图像处理模块组成。

(二)产品适用范围

本产品适用于胸部正位 DR 医学影像的存储、传输、显示和处理,可用于辅助提示患者是否存在非免疫缺陷的活动性肺结核。供经培训合格的医师使用,不能单独用作临床诊疗决策证据。

(三)型号/规格

JF CXR-1,发布版本 2

(四)工作原理

产品基于 X 射线设备提供的胸部正位胸片图像,采用深度学习技术,辅助医生进行肺结核图像评估。

— 5 —

二、临床前研究概述

(一)产品性能研究

该产品性能指标包括处理对象、最大并发数、数据接口、特定软硬件、临床功能、使用限制、用户访问控制、版权保护、用户界面、消息、可靠性、维护性、效率、运行环境等。申请人针对上述性能指标提交了产品性能研究资料,并提交了产品技术要求与产品检测报告,检测结果与产品技术要求相符。

(二)产品有效期和包装

该产品的有效期为 10 年,申请人提交了包装验证资料,证实包装性能满足设计要求。

(三)软件研究

该产品软件安全级别为 C 级,发布版本 2,完整版本 2.0.0;申请人提交了相应软件描述文档和软件版本命名规则真实性声明,证实该产品软件设计开发过程规范可控,综合剩余风险均可接受。

申请人提交了网络安全描述文档,证实该产品现有网络安全风险可控,并制定了网络安全事件应急响应预案。

申请人根据《深度学习辅助决策医疗器械软件审评要点》提交了深度学习算法的研究资料,包括数据多样性分析、数据标注质控、训练数据量-评估指标曲线、算法性能评估等研究资

料,证实软件算法性能能够满足设计要求。

三、临床评价概述

申报产品采用临床试验路径进行临床评价。临床试验采用前瞻性、多中心设计。试验组为软件阅片,以独立的中心阅片小组为对照。临床试验在 6 个中心进行,共收集 1165 例病例,其中 FAS 集 1161 例,PPS 集 1150 例,SS 集 1161 例。主要有效性评价指标:试验产品诊断为肺结核的阳性符合率和阴性符合率(以独立的中心阅片小组为对照)。次要安全性评价指标:试验产品的诊断效能、试验产品与阅片结果的一致性、试验产品与临床诊断结果的一致性、软件稳定性。安全性评价指标:不良事件和严重不良事件发生率。临床试验结果中主要有效性终点,试验产品结果与中心阅片结果的一致性:在 FAS 集中,阳性符合率为 94.19%

(95%CI:91.99%-95.81%) , 阴 性 符 合 率 为 91.17%(95%CI:88.54%-93.24%) , 总 体 符 合 率 为 92.70%(95%CI:91.05%-94.07%)。将统计结果与预设目标值进行比较,阳性符合率 95%CI 下限为 91.99%,大于阳性符合率的目标值85%;阴性符合率 95%CI 下限为 88.54%,大于阴性符合率的目标值 70%,满足临床方案要求。Kappa 值为 0.854,表明试验产品结果与中心阅片结果一致。在 PPS 集中,对符合要求的 1150例受试者进行统计分析,试验产品结果与中心阅片结果对比,阳性符合率为 94.18% (95%CI:91.97%-95.80%),阴性符合率为91.17% (95%CI:88.54%-93.24%) , 总 体 符 合 率 为 92.70%(95%CI:91.05%-94.06%)。将统计结果与预设目标值进行比较,阳性符合率 95%CI 下限为 91.97%,大于阳性符合率的目标值85%;阴性符合率 95%CI 下限为 88.54%,大于阴性符合率的目标值 70%,满足临床方案要求。Kappa 值为 0.854,表明试验产品结果与中心阅片结果一致。根据 FAS 集和 PPS 集的分析结果均表明,试验产品的阳性符合率和阴性符合率达到目标值以上,且试验产品结果与中心阅片结果一致。试验产品的诊断效能:在 PPS 集中,以阳性符合率为纵坐标,1-阴性符合率为横坐标绘制试验产品的 ROC 曲线,曲线下面积(AUC)为 0.980。试验产品与各医师阅片结果的一致性:在 PPS 集中,对符合要求的 1150 例受试者进行统计分析,试验产品结果与各中心影 像 科 医 师 结 果 对 比 , 阳 性 符 合 率 为 85.07%(95%CI:82.11%-87.62%) ,阴性符合率为 86.58%(95%CI:78.76%-91.92%) , 总 体 符 合 率 为 87.04%(95%CI:84.98%-88.86%)。对符合要求的 1150 例受试者进行统计分析,分别比较试验产品结果与第三方高年资影像科医师结果。

试 验 产 品 结 果 与 医 师 1 相 比 , 阳 性 符 合 率 为 91.80%(95%CI:89.21%-93.82%) , 阴 性 符 合 率 为 84.03%(95%CI:80.88%-86.74%) , 总 体 符 合 率 为 87.74%(95%CI:85.72%-89.51%);试验产品结果与医师 2 相比,阳性符合率为 92.87% (95%CI:90.29%-94.81%),阴性符合率为 79.69%

(95%CI:76.41%-82.61%) , 总 体 符 合 率 为 85.48%(95%CI:83.32%-87.40%);试验产品结果与医师 3 相比,阳性符合率为 91.71% (95%CI:89.21%-93.67%),阴性符合率为 89.62%(95%CI:86.82%-91.89%) , 总 体 符 合 率 为 90.70%(95%CI:88.88%-92.24%);试验产品结果与医师 4 相比,阳性符合率为 94.67% (95%CI:92.40%-96.28%),阴性符合率为 83.52%

(95%CI:80.41%-86.22%) , 总 体 符 合 率 为 88.61%(95%CI:86.64%-90.32%);试验产品结果与医师 5 相比,阳性符合率为 94.38% (95%CI:92.05%-96.06%),阴性符合率为 82.18%

(95%CI:79.01%-84.96%) , 总 体 符 合 率 为 87.65%(95%CI:85.62%-89.43%)。共有 133 例受试者的 DR 影像图片因中心阅片时存在分歧,接受了仲裁医师的复判,分析这些受试者试验产品与仲裁医师阅片结果的一致性。对符合要求的 133例受试者进行统计分析,试验产品结果与仲裁医师结果对比,阳性符合率为 75.68% (95%CI:66.92%-82.71%),阴性符合率为68.18% (95%CI:47.32%-83.64%) , 总 体 符 合 率 为 74.44%(95%CI:66.41%-81.09%)。有 29 例受试者经两周随访后仍无法确诊。对具有明确临床诊断结果的 1121 例受试者进行统计分析,试验产品结果与临床诊断结果对比,灵敏度为 79.30%(95%CI:76.09%-82.17%) , 特 异 度 为 90.45%(95%CI:87.35%-92.86%) , 准 确 度 为 83.68%(95%CI:81.40%-85.72%)。软件稳定性:在 FAS 集和 PPS 集中,试验过程中未发生任何障碍。综合评估,软件故障发生率为0.00%。

安全性评价指标:在 SS 集中,共 3 例受试者发生不良事件,不良事件发生率为 0.26%;经判定,3 例不良事件发生与试验产品均无关。严重不良事件发生率为 0.00%。经技术审评,临床评价资料符合审评要求。

四、产品受益风险判定

(一)产品受益

受益:本产品适用于胸部正位 DR 医学影像的存储、传输、显示和处理,可用于辅助提示患者是否存在非免疫缺陷的活动性肺结核。供经培训合格的医师使用,不能单独用作临床诊疗决策证据。

(二)产品风险


该产品风险主要包括:(1)假阳性辅助提示结果导致不必要提前检查的风险。(2)假阴性辅助提示结果可能会延误患者的诊治等。产品禁忌证为对于陈旧性肺结核、中性粒细胞缺陷症等免疫缺陷患者不适用。以上风险通过设计、防护等措施进行控制,相关警示、注意事项等均已在说明书中进行相关提示。

(三)受益-风险的确定

综上,申请人对目前已知及可预测风险采取了风险控制措施,经分析,用户按照使用说明书使用产品,在正常使用条件下本产品可达到预期性能。经综合评价,在目前认知水平上,认为该产品上市带来的受益大于风险,综合剩余风险可接受。

综合评价意见

申请人申请境内第三类医疗器械产品注册,该产品属于优先审评医疗器械。申请人的注册申报资料齐全,符合现行要求。依据《医疗器械监督管理条例》(国务院令第 739 号)、《医

疗器械注册管理办法》(国家食品药品监督管理总局令第 4 号)等相关医疗器械法规与配套规章,技术审评经系统评价产品安全性和有效性后,基于当前认知水平,认为该产品临床使用受

益大于风险,注册申报资料符合现行技术审评要求,建议予以注册。考虑到该产品远期安全性、有效性尚需进一步追踪,建议申请人上市后继续开展以下研究:1、深度学习算法泛化能力;2、每年度总结分析产品使用情况。

2022 年 10 月 18 日

当前位置