2022年，腾讯AI实验室发布了scBERT（Single-Cell BERT）模型，这是首个将BERT架构应用于单细胞转录组数据的深度学习模型。BERT（Bidirectional Encoder Representations from Transformers）是由谷歌于2018年提出的预训练语言模型，其核心创新在于利用Transformer编码器实现双向上下文理解——模型在处理每个词时，能同时关注序列中所有其他词的信息，从而建立词与词间的深层依赖关系。该模型通过在大规模单细胞数据上进行预训练，能够精准完成细胞类型注释等下游任务。
单细胞RNA测序技术已经被广泛应用于复杂组织器官的解析之中。在分析单细胞RNA测序数据时，精准的细胞类型注释是进行研究的关键步骤。目前，细胞类型注释有三种类型的方法，但都因其缺点而不够准确或普适。其一是利用过往研究验证的Marker Gene进行人工或自动注释。但marker genes的选择、最后的注释决定都引入了人为的误差。另外，这种方法没有办法发现数据中的新细胞类型。其二是以Correlation为基础，计算已经注释好的细胞与待注释细胞的基因表达相关性，从而给细胞注释与其高度相关的细胞类型。但这种方法受批次效应影响很大，且不能有效地量化细胞间的相似性。其三是监督/半监督机器学习模型，识别基因表达模式从而给细胞注释与其高度相关的细胞类型。但受限于模型的容量大小，这类方法往往需要首先对数据进行降维，比如采用主成分分析，或者只保留部分基因，但会丢失一些稀有细胞类型的特征或丢失高维信息。
传统单细胞测序数据分析严重依赖人工注释和经验判断，细胞类型识别效率低、主观性强。不同实验室间缺乏统一标准，导致分析结果可重复性差。scBERT将单细胞表达谱类比为“语言”，通过自监督预训练学习细胞表达谱的内在规律，实现了细胞类型识别的自动化和标准化，准确率得到了显著的提升。
scBERT开创了“预训练-微调”范式在单细胞数据分析中的应用，为海量单细胞数据的标准化处理提供了新框架。该模型可快速适配不同的组织和疾病场景，极大地降低了单细胞数据分析的技术门槛，推动了单细胞技术在临床诊断和精准医疗中的应用。更重要的是，它证明了自然语言处理技术可成功迁移到生物组学数据分析，为AI与生命科学的深度融合提供了重要范例。
参考文献：
- Yang F, Wang W, Wang F, et al. scBERT as a large-scale pretrained deep language model for cell type annotation of single-cell RNA-seq data[J]. Nature machine intelligence, 2022, 4(10): 852-866.