我们有三个主要的目标：（1）使用自学意义的大型且多样化的SRH图像数据集训练视觉变压器模型，以开发第一个SRH视觉基础模型；（2）微调视觉基础模型，以开发快速瘤，以检测和定量新鲜，未经处理的手术标本中的弥漫性神经胶质瘤浸润；（3）验证弥漫性神经胶质瘤患者的前瞻性，多中心队列中的快速瘤，并将结果与当前的手术辅助手术进行了比较。我们采用了基础模型的共同工作定义：（1）使用（3）使用（3）自学规模的自学培训的任何机器学习模型（2）在大型且多样化的数据集上进行培训，并且（4）可以适应广泛的下游任务13。我们还添加了此定义（5）在新的，看不见的数据中零弹性概括的证据。以前尚未在有关SRH临床应用的研究中研究基础建模，我们将肿瘤浸润是癌症手术中最重要和无处不在的问题，作为主要的下游任务。我们旨在设计快速瘤，以检测所有弥漫性胶质瘤分子亚型的微观肿瘤浸润。这项工作的主要以数据为中心的贡献是开发了由专家神经病理学家注释的多中心，国际，无标签的SRH肿瘤渗透数据集。初步结果证明了产生这种复杂的生物医学数据集的可行性。此外，进行了以前的SRH和AI结合的研究，以使相同的成像数据集用于人类解释和AI模型培训42,44。在这里，我们旨在以较低的图像分辨率/更快的图像采集机制的限制，以传统SRH成像的速度为10倍。最后， 我们的目的是证明使用快速瘤作为手术辅助手术的可行性，并将肿瘤检测性能与现有图像引导和荧光引导的手术辅助术进行比较。
我们研究中的所有图像均使用基于术中纤维激光的刺激拉曼散射显微镜21,49获取。NIO成像系统（Invenio成像）用于所有培训和测试数据收集。我们已经在先前的研究中提供了成像仪和激光配置的详细描述。20,49。简而言之，使用1,015 nm至1,050 nm的可调范围的Stokes梁处于790 nm处的泵梁，用于刺激手术标本。这些设置允许访问2,800 cm -1至3,130 cm -1的拉曼偏移光谱范围。图像作为1,000像素宽度条获得，成像速度为每条0.4 MPx。在正常的成像模式下，使用自定义梁扫描20,21独立获取每个带状行。在2,845 cm -1（CH2通道）和2,930 cm -1（CH3通道）拉曼波数移位时，将两个图像通道顺序获取。2,845 cm-1处的刺激拉曼信号代表富含脂质结构的CH2对称拉伸模式，例如髓鞘轴突。2,930 cm-1的第二个拉曼峰对应于富含蛋白质和核酸的区域，例如细胞核和胶原蛋白。由于所有SRH条是通过标准水平线扫描获得的20,21,49，因此低分辨率SRH图像可以通过直接下采样SRH条行通过下采样因子（例如1/2、1/2、1/4、1/8之类的）来生成。将线采样因子减半对应于2×成像时间节省。在快速成像模式下，获取具有用户指定下采样系数的单渠道图像。然后，使用整个图像上的滑动光栅窗口将整个曲线的SRH图像分为300×300像素贴片，而无需重叠。所有模型均使用16位，原始的，灰度SRH图像训练。出于研究的目的，将SRH图像作为两通道图像（2,845 cm-1，2,930 cm-1）作为病理学家的综述，以确定地面真相肿瘤浸润标签。
在机构审查委员会批准后，临床SRH成像于2015年6月1日在密歇根大学（UM）开始。所有疑似脑肿瘤的患者均以前瞻性的方式招募术中SRH成像。纳入标准如下：正在接受手术的患者（1）可疑的中枢神经系统肿瘤和/或（2）癫痫，（3）受试者或耐用的授权书能够同意和（4）术前评估，额外的肿瘤标本还可以提供临床病理学诊断所需的其他方法。排除标准是（1）非常不足的组织，（2）诊断组织不足（例如，出血，坏死）或（3）成像故障。在其他12个医疗中心实施了类似的成像协议，其临床SRH成像部署在手术室中。SRH基础模型培训包括2,799例患者，11,462个全斜面的SRH图像和约400万个独特的300×300像素SRH贴剂。数据集统计信息和诊断信息在扩展数据中提供了图2。
SRH基础模型由两个模块化组件组成，这些模块化组件是使用自我安排训练的：贴片令牌和全扫描编码器。
在标准视觉变压器中，可以通过扁平化来转换小型固定尺寸的图像贴片（例如8×8或16×16像素贴片）。由于全扫描SRH图像的大小（> 6,000×6,000像素）的大小，这种令牌化策略是不可行的。因此，我们开发了一种数据驱动的贴剂令牌化方法，该方法利用SRH图像的固有的患者 - 滑动斑点层次结构来定义层次结构判别学习任务23。我们先前证明，层次歧视（称为Hidisc）优于生物医学显微镜计算机视觉任务的实例歧视方法。HIDISC使用自我监督的对比学习，以便根据患者 - 阶段的患者数据层次结构中的共享血统来定义正面图像贴片。HIDISC损失是三个损失的总和，每个损失都对应于斑块 - 滑动病人层次结构水平的实例歧视。我们将HIDISC损失定义为：
歧视的水平在哪里，我是Minibatch中所有图像的集合。除了锚图i i外，是i的所有图像集
并且是一组图像，它们是I级别的正对，
锚定补丁的 - 级别的血统在哪里。例如，来自同一患者的XI和XJ的补丁将具有相同的患者血统，也就是说。组成的HIDISC损失计算出相同的总体对比度目标，而层次结构中不同级别的正对。最后，完全的HIDISC损失是上面定义的贴片，幻灯片和患者级损失的总和：
在总损失中，加权超参数是水平的。由于Hidisc是一种自我监督的表示方法，因此我们使用了完整的SRH数据集，如图2a所示。我们发现，与成像网传输学习相比，Hidisc贴片令牌改善了分类性能（扩展数据图3C）。
使用RESNET-34体系结构作为骨干特征提取器和单层多层感知器来完成补丁编码，以将嵌入到Hidisc自我监视训练的128维潜在空间中。我们对批处理大小，学习率和损失超参数进行了消融研究，以优化SRH7数据集的性能。使用512的批次尺寸和ADAMW优化器对编码器进行了培训，其学习率为0.001在余弦衰减时间表上，并在训练迭代的前10％进行热身，在基础SRH数据集中进行了100,000次迭代。为了使用Hidisc损失训练，首先选择64名患者来构建迷你批次，然后对每位患者进行两张载玻片，每张载玻片两个贴片，最后每个贴片进行两个随机增强，产生512个斑块。贴片，幻灯片和患者损失平均加权，温度设置为0.7。所有斑块实验均在四个NVIDIA A40 GPU上使用混合精液和数据并行性进行，最多需要3天。我们对开源基础贴片编码器进行了其他消融实验，以评估与其他预读模型相比的Hidisc特征学习质量19（补充表4）。
这项工作的主要贡献是开发了一种有效的有效方法，用于通过视觉变压器体系结构进行全面的自我监督训练。视觉变压器在计算病理学和光学成像中的全面推断的主要优点是它们处理大型且大小的图像的能力。全文自我监督的学习策略是一种暹罗结构，需要对同一整体图像进行两个随机转换。幻灯片级别的转换策略如下。首先，整个幻灯片分为两个相互排斥的补丁集（拆分）。接下来，从全扫描图像（裁剪）中选择两种随机空间作物。最后，掉落了10-80％的农作物斑块（掩盖）。该策略理想地适合视觉变压器，因为它允许在整个扫描图像中进行可变大小的输入和贴片令牌/空间区域的随机降低。在产生了两个转换的视图后，我们将方差 - 传播 - 稳定性（VICREG）自我监督目标函数最小化51。VICREG非常适合全曲线编码，因为它在计算上有效，不需要负示例，并且通过避免尺寸倒塌52来保持高度表达性。
整板变压器由2个隐藏层组成，尺寸为512，每层有4个注意力头。变压器的输出被蒸馏到
基础模型的验证是对多类SRH脑肿瘤诊断任务进行的。该数据集由来自896例患者（852,000个总补丁）的3,560个全扫描图像组成。诊断类别是正常的大脑，高级神经胶质瘤（HGG），低度神经胶质瘤（LGG），脑膜瘤，垂体腺瘤，schwannoma和转移性肿瘤。在所有以前的基准测试研究中，培训需要监督对全扫描推断的非诊断贴片和补丁级平均池的过滤，这是已知会降低性能为42,43,44。在这里，我们证明了高质量的自我监督贴片和全扫描的表示，视觉变形金刚绕过了对预处理，过滤或补丁级别的投票/平均的需求。我们使用最近的邻居分类（K-NN）进行SRH基础模型评估。首先，我们为培训数据和测试数据生成了全扫描表示。接下来，使用K-NN分类器将测试数据集中的每个幻灯片与训练数据集中最相似表示的s曲线匹配，并由其余弦相似性确定。我们在实验中为所有模型设置K = 10，以确保结果一致。这使我们能够确定测试数据集中每个幻灯片的类预测。然后，我们计算幻灯片指标七级任务的平均类准确度（MCA）和平均平均精度（MAP）（扩展数据图4）。使用T-分布的随机邻居嵌入（T-SNE）对全扫描表示可视化，以定性地评估有关肿瘤类别的幻灯片表示。在单个Nvidia Titan V100 GPU上生成了K-NN和随后评估的嵌入。
我们的SRH基础模型是专门开发的，以适应下游诊断任务以进行临床决策支持。在这里，我们旨在微调使用术中SRH成像检测和定量肿瘤浸润的基础模型。虽然弥漫性神经胶质瘤浸润是一个连续的随机变量，但大多数先前的工作将神经胶质瘤浸润作为序数变量为4,55，因此专家病理学家在离散的有序量表上对肿瘤浸润程度进行了评分。我们使用先前研究的胶质瘤浸润数据集微调了基础模型4。该数据集由35名患者的SRH成像的161个手术标本组成。每个SRH图像中的肿瘤浸润程度是由三位独立的专家神经病理学家以0到3的评分，其中0不存在肿瘤。1是由于反应性神经胶质病或散射的非典型细胞而没有明确的肿瘤，是温和的细胞组织。2是肿瘤，但密度温和/稀疏；3是肿瘤细胞中等至重度密度。该数据集比SRH基础模型训练数据集小约100倍，比计算出的模型测试样本量小约10倍。由于这种极端的数据稀疏性用于微调，我们开发了一种称为序数度量学习的一般，数据效率，几乎没有序列表示方法。序数度量学习旨在最大程度地减少具有相同序列等级的图像之间的特征距离或度量。此外，它隐含地学会了根据其序数标签订购图像，通过在迷你批次中进行所有图像之间的成对比较。序数度量学习可以通过在小批次中所有可能的图像对之间的分数之间的距离上应用二进制横熵目标来实现这一目标，以将图像用更高的标签分配为更高的分数。以下损失方程实现了这一目标：
在哪里
和
是Minibatch中所有图像的集合。是所有图像的集合，除了具有与锚图i的标签相同标签的图像之外，该标签为，表示为，
在扩展数据中显示了序数度量学习的示意图图4。
序数度量学习用于训练快速瘤模型，并包括对幻灯片编码器和一层线性幻灯片评分器进行微调。在训练过程中，通过对少数群体的过度采样来平衡肿瘤浸润标签。该模型的批量大小为16，调整后的学习率为1.875×10-5，100个时期。使用固定验证集选择了最佳检查点。为了评估SRH基础模型，只有训练的幻灯片得分手才遵循标准线性评估方案。我们的线性评估协议类似于其他自我监督的视觉表示学习方法，例如Simclr56或Dino57，其中视觉特征提取器被冷冻，并训练了最终的分类/回归层。
为了评估快速瘤在区分各种弥漫性神经胶质瘤浸润方面的性能，我们采用了两个关键指标：Mauroc和平均绝对误差（MAE）。MAE是通过通过Sigmoid激活函数将快速瘤的全部滑动logit传递到0到1之间的重新磁起来计算的。类似地，从0到3的地面真实标签也将其归一化为0到1。然后，我们通过测量恢复后的逻辑和归一化标签之间的平均绝对差来计算MAE。Mauroc提供了一个直接的度量标准，可以评估快速瘤识别不同程度的肿瘤浸润的能力。MAUROC被计算为三个二元分类任务的AUROC的平均值：0对123、01对23和012对3。此度量标准反映了序数标签分布，并强调了临床诊断任务。
我们的前瞻性快速瘤临床测试包括主要和继发终点。主要终点是验证快速糖瘤在患者人群，人口统计，医疗中心和弥漫性神经胶质瘤亚组中可重复地检测SRH图像中肿瘤浸润的能力。次要终点是将快速瘤瘤的性能与目前用于脑肿瘤手术的术中肿瘤浸润检测检测的护理标准方法进行比较。
我们的主要研究终点是实现与先前的SRH分类任务相同的SRH图像中弥漫性神经胶质瘤浸润的诊断性能，例如术中组织诊断和分子分类42,44。我们使用与单臂，非劣诊断临床试验相同的原理设计了主要测试42,44。为了获得最低样本量估计，我们使用了以前的研究，这些研究将SRH和AI合并为正常脑与任何肿瘤组织分类。先前报道的准确性值在89.3至95.8％之间，平均值为93.2％（±3.6％）42,43,44,55。我们使用此平均值来定义预期性能，等效/非效率限制设置为5％，α值为2％，功率为90％，导致样本量值为565 SRH图像，从手术边缘获得。我们旨在实现IDH野生型和IDH-突变弥漫性神经胶质瘤的样本量，以确保WHO定义的弥漫性神经胶质瘤分子亚型的普遍性和可重复性。该计算导致最终样本量为1,130个手术标本。继续招募预期的患者招募，直到在IDH突变和IDH野生型队列中达到最小样本量为止。所有样本量计算均使用R（v.3.6.3）中的EPIR软件包（V.2.0.46）进行。现场研究病理学家（M.P.，M.M.-E.，T.R.-P。）提供了地面SRH SRH肿瘤浸润标签。我们的主要研究病理学家（M.P.）为所有病理学家提供了有关SRH肿瘤浸润浸润评分的书面和视频说明。
我们的二级研究终点是将术中快速瘤（实验组）与两个最常见的外科手术辅助物进行比较，以在模拟的前瞻性手术试验中识别术中肿瘤浸润（对照组）。之所以使用“模拟”术语，是因为FastGlioma未经食品药品监督管理局或欧洲药品局的批准来指导治疗决策，例如肿瘤切除范围。但是，我们的目的是通过预测在弥漫性神经胶质瘤患者切除范围采样的手术标本来证明使用快速瘤来指导切除的可行性和安全性。在这种情况下的快速瘤预测产生了指导切除所需的可行信息，并模拟了将部署快速瘤的临床环境。比较了（1）基于MRI基于MRI的神经统计的（1）图像引导的手术和（2）使用5-ALA的荧光引导的手术，比较了（1）图像引导的手术。两种方法均已证明可以改善随机对照试验中的切除程度28,29。总的来说，神经活动和5-ALA荧光可以表明存在肿瘤浸润，但与快速瘤相反，请勿量化浸润程度。为了本研究和其他30的目的，使用神经元或5-ALA的肿瘤检测被视为二进制指标，例如，是/否对比度增强，是/否5-ALA荧光。为了进行快速瘤和外科手术辅助手术之间的公平比较，我们设计了此次要端点以区分正常的脑组织（分数0）与致密肿瘤（分数3）。我们专门针对此任务是因为错误是临床高风险错误，而这些肿瘤浸润得分是可行的，是决定性的：得分0表示停止切除，得分3意味着如果其他安全，则可以继续切除。此外，该策略避免了偏见的性能导致快速瘤， 它提供的连续得分可以区分肿瘤浸润程度。我们的目的是表明FastGlioma在手术切除期间在切除腔缘处收集的手术标本内检测外科手术标本内的肿瘤，既不是神经元的荧光和5-ALA荧光。下面描述了生成匹配的SRH/MRI/5-ALA标本数据集作为主要测试终点数据子集的详细信息。
三个医疗中心充当外部快速瘤测试地点：UCSF，NYU和MUV。每个医疗中心前瞻性地招募患者进行测试。纳入标准为：（1）患者年龄≥18岁；（2）术前射线照相成像中怀疑的弥漫性神经胶质瘤；（3）计划的脑肿瘤切除。排除标准包括：（1）中止肿瘤切除；（2）非脱脂瘤最终病理；（3）SRH成像器故障。我们的目的是准确模拟临床环境，即为手术干预实施FastGlioma。因此，研究神经外科医生被指示按照其自由裁量权采样手术边缘，以鉴定肿瘤切除腔内的微观肿瘤浸润。我们的目的是提供尽可能最小的指导，以说明FastGlioma测试期间外科医生/用户的可变性。术中SRH成像后，将手术标本从预制显微镜载玻片中取出，并保存在福尔马林中以进行下游组织加工（扩展数据图1）。每个SRH图像均由现场认证的神经病理学家进行术后评分，并具有术中SRH成像方面的专门培训和专业知识。我们的中央神经病理学家（M.P.）为肿瘤浸润评分提供了口头和视频说明。我们使用了先前开发和验证的方案，用于0-3肿瘤浸润评分4。对于在图像水平上评估的主要测试终点，神经病理学家提供的SRH肿瘤浸润评分被用作地面真理。对于在试样水平上评估的次级测试终点，神经措施坐标，放射线学特征（即对比度增强，天赋阳性）和5-ALA荧光状态由每个标本的研究技术人员实时记录。一位专门的研究技术员（K.S.）和中央神经病理学家（M.P.）在UCSF完成了次要终点测试。 标准化所有匹配的数据收集。为了优化次级测试端点，使用UM，NYU和MUV的注释数据微调快速瘤。术中SRH成像后，从预制显微镜幻灯片中提取样品，并使用H＆E/免疫组织化学测试进行下游全斜线/标本分析，如前所述4。标本级地面真理肿瘤浸润评分是根据全扫描分析确定的。该策略允许在所有三个手术辅助手术之间进行公正的比较。
计算SRH全滑动图像中的细胞性是每300×300像素SRH贴片的平均细胞数量。使用SRH单细胞分割模型训练使用完整监督确定细胞数量。具体而言，在1,000个正常脑的注释的SRH斑块上微调了在Microsoft可可数据集上预先训练的RESNET-50骨干型骨架模型，并进行了6种不同的脑肿瘤诊断58。用非最大抑制算法过滤最终模型预测，以删除> 20％面积的重叠单元边界框，并且置信度小于80％的预测。使用皮尔森的相关系数计算细胞和肿瘤浸润评分之间的相关性。为了评估是否可以使用细胞来检测弥漫性神经胶质瘤浸润，使用细胞值计算整个幻灯片的替代肿瘤浸润评分。然后，该来计算跨三个不同的肿瘤浸润任务的Mauroc，以与快速肿瘤浸润评分进行比较，如扩展数据所示。
我们旨在开发一种全面的可视化方法，该方法可以准确，灵活地识别SRH图像中肿瘤浸润区域以提高模型的可解释性。有关视力变压器的研究通常依赖于绘制自我发项系数以生成数据可视化57。不幸的是，这种策略不能保证在前景/肿瘤浸润区域上均匀的高注意系数，并且众所周知会在背景区域产生虚假的高注意系数53。因此，我们制定了一些可视化策略，该策略使用了精心策划的专家医师选择的SRH斑块或钥匙的支持集，其中包括正常脑实质和弥漫性神经胶质瘤亚型的各种例子。该策略利用了自我监管的补丁令牌的代表力来识别任何给定的全面视野中的类似SRH功能。具体而言，对于任何SRH补丁查询，XQ，在整个SRH图像中，我们在标记的查询贴片ZQ和Support of Supports键之间计算点乘积。我们首先确定查询补丁是否是通过确定跨支撑架的最大点产品是否超过阈值的最大点来确定该查询贴片是否是前景/诊断。如果不是，则将补丁分类为背景。如果查询点产物超过了支持集中的任何贴片，我们将其分配给它一些射击可视化分数，sq。这被定义为支持子集中肿瘤示例中的最大点产物之间的差异，从正常典型的典范中的最大点产物，：
在哪里
SIM是余弦的相似性，对于我们的可视化，ϕ为0.5。这种可视化策略具有利用肿瘤斑块之间的特征相似性以及肿瘤和正常斑块之间的差异。如果一个斑块与任何肿瘤示例具有很高的相似性，并且与正常示例的差异很高，则反之亦然。从经验上讲，每个子集的10个或更少的斑块示例可以使用FastGlioma产生高质量和可解释的可视化。此外，该策略表明了对非葡萄膜瘤脑肿瘤诊断的良好零概括，而无需在支持集中添加肿瘤特异性示例（例如脑膜瘤或髓母细胞瘤示例），如扩展数据10所示。
使用Intel Core i76700k Skylake Quadcore 4.0中央处理单元使用我们的自定义基于Python（v.3.9）MLINS包装来处理SRH图像。我们使用Pydicom软件包（v.2.3.1）来处理NIO成像系统中的SRH图像。所有存档的后置图像补丁都保存为16位TIFF图像，并使用Tifffile软件包（V.2020.10.1）处理。所有模型均使用密歇根大学高级研究计算（ARC）ARMIS2高性能计算集群培训。分别对NVIDIA A40和TITAN V100图形处理单元（GPU）进行了视觉贴片和全滑动编码器。对NVIDIA TITAN V100 GPU进行了评估。所有用于培训和推理的自定义代码都可以在我们的开源FastGlioma存储库中找到。我们的模型是在Pytorch Lightning（V.1.8.4）中实现的。我们使用了Torchvision（V.0.14.0）的Imagenet预估计的Resnet-34模型。Scikit-Learn（V.1.4.1）用于计算训练和推理的模型预测的性能指标。可以在我们的GitHub页面（https://github.com/mlneurosurg/fastglioma）上找到其他依赖项和规格。
我们的研究得到了密歇根大学机构审查委员会（HUM00083059）的批准，这些方法是根据机构审查委员会的指南，法规和政策进行的。如上所述，所有符合纳入标准的人类参与者都包括在研究中。
有关研究设计的更多信息可在与本文有关的自然投资组合报告摘要中获得。