生成式人工智能近年来受到广泛关注, 作为人工智能的一个分支, 其能够模拟人类思维创造出新的内容, 而不仅仅是分析或处理现有数据。近日, 商汤科技联合行业合作伙伴, 结合生成式人工智能和医疗图像数据的多中心联邦学习发表的最新研究成果《通过分布式合成学习挖掘多中心异构医疗数据》(Mining Multi-Center Heterogeneous Medical Data with Distributed Synthetic Learning), 登上国际顶级学术期刊《自然》(Nature) 子刊《自然-通讯》(Nature Communications)。《自然-通讯》是一本完全开放获取的综合性期刊, 发表自然科学各个领域的高质量研究成果, 影响因子为 16.6。

论文收录结果公布

论文提出一个基于分布式合成对抗网络的联邦学习框架 DSL(Distributed Synthetic Learning), 可利用多中心的多样性医疗图像数据来联合学习图像数据的生成。该分布式框架通过学习得到一个图像数据生成器, 它可以更灵活地生成数据, 这些生成数据可以替代多中心的真实数据, 用于下游具体机器学习任务的训练, 并具备较强的可扩展性。

伴随大模型的快速发展,Model as a Service(MaaS, 模型即服务) 概念也日渐兴起。MaaS 的大模型需要从海量的、多类型的数据中学习通用特征和规则, 从而具备较强的泛化能力。DSL 框架能够在保护数据隐私的同时巧妙解决医疗大模型训练中常见的数据量不足的瓶颈, 可有效赋能 MaaS 的大模型训练, 为医疗大模型的开发迭代带来重大突破。在这一技术的支撑下, 商汤的「医疗大模型工厂」能够帮助医疗机构更高效、高质量地训练针对不同临床问题的医疗大模型, 使大模型在医疗领域的应用半径得到进一步延伸。

兼顾隐私保护和数据共享

创新联邦学习模式打造「数据生产工厂」

深度学习模型需要大量且多样性的数据「喂养」, 但医疗领域对用户个人隐私保护有着极高的要求, 这使得用于模型训练的医疗数据, 在多样性和标注质量上都受到限制, 也使多中心的医疗数据收集和医疗 AI 模型的开发迭代面临较大的挑战。

如何调和隐私保护和数据共享协作的矛盾? 近几年兴起的「联邦学习」提供了全新的解题思路。联邦学习是一种分布式的机器学习方法, 可以在不共享数据的情况下对多中心的数据进行联合建模, 在保证数据安全的同时联合学习某一特定应用模型。

与主流的联邦学习模式不同的是,DSL 框架的学习目标是数据生成器, 而非具体应用的任务模型。该分布式架构由一个位于中央服务器的数据生成器和多个位于不同数据中心的数据鉴别器组成。在学习过程中, 中央生成器负责生成「假」的图像数据, 并发送给各个数据中心, 各个数据中心用本地的真实数据和收到的「假」数据进行对比后将结果回传给中央服务器, 并基于反馈结果训练中央生成器生成更仿真的图像数据。分布式的合成学习结束之后, 中央生成器可以作为「数据生产工厂」, 根据给定的约束条件 (标注) 生成高质量仿真图像数据, 从而得到一个由生成数据组成的数据库。

该数据库可以替代真实数据, 用于下游具体任务的学习, 使下游模型的更新迭代不再受到真实数据可访问性的制约。同时, 该方法通过分布式架构和联邦学习方式保证中央服务器无需接触数据中心的真实数据, 也不需要同步各中心的鉴别器模型, 有效保障了数据安全和隐私保护。

DSL 框架包含一个中央生成器和多个分布式鉴别器, 每个鉴别器位于一个医疗实体中

经过训练的生成器可以作为「数据生产工厂」, 为下游具体任务的学习构建数据库

赋能 MaaS 新生态发展

为医疗大模型开发迭代按下加速键

DSL 框架已通过多个具体应用的验证, 包括大脑多序列 MRI 图像生成及下游的大脑肿瘤分割任务, 心脏 CTA 图像生成及下游的全心脏结构分割任务, 多种器官的病理图像生成及细胞核实例分割任务等。在可扩展性方面, 该方法还可支持多模态数据中缺失模态数据的生成、持续学习等不同场景。

在瑞金医院的展区,SenseCare®肝脏手术智能规划系统凭借高效精准的病灶检出、三维重建、手术规划等功能, 吸引不少观众驻足。从二维的肝脏 CT 影像, 变为一目了然的三维立体模型, 只需短短几分钟。轻轻拖动鼠标, 就可在模型上自定义切面、角度、血管离断位置等, 帮助医生几分钟内完成精准的肝脏手术规划。

不同应用中生成数据示例:(a) 心脏 CTA,(b) 大脑多模态 MRI,(c) 病理图像

生成的数据构成大数据库可用于下游具体任务模型的学习, 例如:(d) 全心分割,(e) 脑肿瘤分割,(f) 细胞核分割

DSL 框架的构建, 也有利于推动 MaaS 服务模式的发展。MaaS 的医疗大模型在数据学习过程中, 同样会遇到医疗数据隐私安全保护的问题, 而基于 DSL 框架, 可以有效地从多中心多样性数据中建立数据集仓库, 通过生成数据, 在保障数据安全和隐私的同时为大模型的开发迭代提供创新思路。

细化到具体应用场景,DSL 框架可助力医疗机构高效开展跨中心、跨地域模型训练工作。不同区域医疗机构在疾病数据多样性方面存在明显的地域性差异, 过去受限于数据安全和隐私保护的要求, 使用跨中心医疗数据联合训练医疗模型难度较大。而借助 DSL 框架, 有望帮助医疗机构更加高效便捷地开展跨中心医疗模型训练。

在此前的世界人工智能大会 (WAIC) 上, 商汤科技与行业伙伴合作, 推出了医疗大语言模型、医疗影像大模型、生信大模型等多种垂类基础模型群, 覆盖 CT、MRI、超声、内镜、病理、医学文本、生信数据等不同医疗数据模态。并展示了融入医疗大模型的升级版「SenseCare®智慧医院」综合解决方案, 以及多个医疗大模型落地案例。借助商汤大装置的超大算力和医疗基础模型群的坚实基础, 商汤科技得以化身「医疗大模型工厂」, 帮助医疗机构针对不同临床问题高效训练模型, 甚至辅助机构实现模型自主训练。

WAIC 期间商汤科技展示了大模型在医疗领域的多个落地应用案例

随着 DSL 框架的推出, 医疗大模型的训练将有望突破「数据孤岛」的桎梏, 一定程度上降低了医疗大模型的训练门槛, 有助于加速模型开发迭代, 使医疗大模型的应用范围得以进一步延伸, 覆盖更多临床医疗问题。未来, 商汤科技将持续聚焦医疗机构的多样化需求, 推动医疗大模型在更多医疗场景的落地, 更好地助力医院智慧化转型及高质量发展, 助力普惠医疗的实现。