过去的三五年，我们在单细胞数据分析的方方面面都写了很多笔记，而且已经形成了一套成熟的降维聚类分群代码。

但是因为偏向于数据处理的教学，所以仍然是有不少的小伙伴们在后台问写作的事情，这个其实主要是靠海量的文献阅读，博采众家之长。文字版教程写起来很累很累，我们也确实是有一个专辑，在推文小鼠糖尿病肾病(DKD)的单细胞转录组图谱-1中可以看到100个常见的单细胞文献图表解读。这里推荐一个b站免费视频，相信对大家的单细胞数据发文章会很有帮助。链接：https://www.bilibili.com/video/BV1py4y1K7bZ/

以下是整理好的课程目录，包括各讲的主题和持续时间：

1. 第1讲 单细胞技术的现状及未来 - 45:57
2. 第2讲 拆解单细胞技术在肿瘤异质性研究中的研究思路 - 25:19
3. 第3讲 单细胞视角下的肿瘤发生发展机制探索 - 43:44
4. 第4讲 单细胞技术挖掘下一个肿瘤临床诊疗的里程碑 - 30:39
5. 第5讲 单细胞分辨率下的肿瘤微环境探索 - 28:35
6. 第6讲 寻因生物单细胞产品及服务 - 25:04
7. 第7讲 单细胞测序取送样指南 - 25:00
8. 第8讲 如何判断细胞悬液质量优劣？ - 33:35
9. 第9讲 单细胞测序之心中有数-全程质控 - 24:12
10. 第10讲 单细胞悬液优化处理解决方案 - 33:02
11. 第11讲 如何解离出高质量的单细胞悬液？ - 20:07
12. 第12讲 疑难样本解离之手到擒来 - 37:27
13. 第13讲 单细胞数据结构梳理与基本分析逻辑 - 42:52
14. 第14讲 单细胞测序数据及文库结果的质量控制 - 37:08
15. 第15讲 细胞注释方法介绍和要点解析 - 41:08
16. 第16讲 基因表达与功能分析 - 1:01:25
17. 第17讲 单细胞高级分析-看懂轨迹分析结果 - 27:25
18. 第18讲 单细胞高级分析-看懂细胞间相互作用结果 - 26:23
19. 第19讲 单细胞高级分析-看懂转录因子调控结果 - 13:18
20. 第20讲 单细胞多组学联合与后续验证实验设计思路 - 36:23
21. 第21讲 那些你必须了解的单细胞公共数据库 - 22:44
22. 第22讲 单细胞研究热门期刊投稿攻略国自然基金查询、标书写作全攻略 - 1:02:44
23. 第23讲 如何高效完成单细胞文献调研-讲师苏翠珠 - 32:24
24. 第24讲 网络绘图软件-Cytoscape操作指南 - 1:34:29
25. 第25讲 科研绘图软件-AI操作指南 - 1:51:35

这个目录涵盖了单细胞技术从基础知识、研究思路、实验操作、数据分析到科研绘图等多个方面的讲座内容。

一个2021的糖尿病转录组文章：《Altered human alveolar bone gene expression in type 2 diabetes—A cross-sectional study》，在线链接是：https://onlinelibrary.wiley.com/doi/abs/10.1111/jre.12947

研究者们在GEO数据库是有数据分享：https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE182923

• RNA samples were further purified using ribosomal RNA depletion technique and processed for RNA sequencing and analysis.
• Expression levels for mRNAs were performed by calculating FPKM ([total_exon_fragments/mapped reads (millions) × exon length (kB)]),
• 最后是差异分析后确定统计学阈值： differentially expressed mRNAs were selected with log2 (fold change) >1 or log2 (fold change) ≤1 and with a parametric F test comparing nested linear models.

可以看到的是作者给出来的是57.5 Mb 的矩阵文件 ：

GSE182923_genes_fpkm_expression.txt.gz

转录组测序数据的表达量矩阵可以有多种格式，每种格式都有其特定的用途和优势。以下是一些常见的格式：

1. 计数矩阵（Count Matrix）：
   • 这是最基本的格式，通常由比对到参考基因组的读段生成。
   • 每一行代表一个基因或转录本，每一列代表一个样本。
   • 单元格中的值表示该基因在该样本中的读段计数。
2. FPKM/FPKM-UQ（每千个碱基每百万片段的比率/未量化的FPKM）：
   • FPKM是标准化的表达量指标，考虑了基因长度和测序深度。
   • FPKM-UQ是未量化的FPKM，它没有经过标准化处理，通常用于避免引入人为的表达量变化。
3. TPM（每千个转录本每百万片段的比率）：
   • TPM是另一种标准化的表达量指标，它考虑了样本中的总转录本数。
   • TPM使得不同样本间的基因表达量可比。
4. CPM（每百万计数的比率）：
   • CPM是一种简单的标准化方法，将计数除以样本的总计数乘以百万。
   • 它用于归一化数据，使得不同样本间的表达量可比。
5. RSEM/Cufflinks输出：
   • RSEM（RNA-Seq by Expectation-Maximization）和Cufflinks是两种软件工具，它们提供了一种估计基因和转录本表达量的方法。
   • 输出通常包括每个基因的估计表达量（如FPKM）、表达量的不确定性和统计评估。
6. Salmon输出：
   • Salmon是一种用于RNA-Seq数据的无需比对的定量工具，它使用轻量级比对和EM算法来估计表达量。
   • 输出通常包括每个转录本的TPM和预期计数（expected count）。

我们通常是针对转录组测序使用DESeq2/edgeR进行差异分析，而DESeq2/edgeR要求的输入数据是计数矩阵（raw Count Matrix）格式，作者并没有提供，而且我们不可能依据作者提供的FPKM矩阵去反推出来原始的计数矩阵（raw Count Matrix）。

这里我们推荐：https://www.ncbi.nlm.nih.gov/geo/geo2r/?acc=GSE182923

而且这个geo2r网页工具还贴心的给出来了代码，如下所示：

# Version info: R 4.2.2, Biobase 2.58.0, GEOquery 2.66.0, limma 3.54.0
################################################################
# Data plots for selected GEO samples

# load counts table from GEO
urld <- "https://www.ncbi.nlm.nih.gov/geo/download/?format=file&type=rnaseq_counts"
path <- paste(urld, "acc=GSE182923", "file=GSE182923_raw_counts_GRCh38.p13_NCBI.tsv.gz", sep="&");
tbl <- as.matrix(data.table::fread(path, header=T, colClasses="integer"), rownames=1)

# pre-filter low count genes
# keep genes with at least 2 counts > 10
keep <- rowSums( tbl >= 10 ) >= 2
tbl <- tbl[keep, ]

# log transform raw counts
# instead of raw counts can display vst(as.matrix(tbl)) i.e. variance stabilized counts
dat <- log10(tbl + 1)

# box-and-whisker plot
par(mar=c(7,4,2,1))
boxplot(dat, boxwex=0.7, notch=T, main="GSE182923", ylab="lg(cnt + 1)", outline=F, las=2)

# UMAP plot (dimensionality reduction)
library(umap)
dat <- dat[!duplicated(dat), ] # first remove duplicates
ump <- umap(t(dat), n_neighbors = 5, random_state = 123)
plot(ump$layout, main="GSE182923 UMAP plot, nbrs =5", xlab="", ylab="", pch=20, cex=1.5)
library(car)
pointLabel(ump$layout, labels = rownames(ump$layout), method="SANN", cex=0.6)

值得注意的是表达量矩阵并不是每个样品会被纳入

可以看到的是作者虽然是 Cross-sectional, no replicates, 10 healthy, 8 diabetic，但是geo2r仅仅是纳入了4个疾病和7个对照哦，我推测应该是这个数据集的测序质量很差，有一些样品不满足前面的转录组定量要求就被暴力删除了，其实也是合理的选择样品 ：

当然了，就算是我们拿到了DESeq2/edgeR要求的输入数据是计数矩阵（raw Count Matrix）格式的文件，做后面的差异分析也很难，因为文章自己就一个很垃圾的差异分析结果，如下所示：

GEO数据库的任意转录组测序数据集均可获得count矩阵

虽然说上面的案例（糖尿病数据集GSE182923）是因为作者自己的原因导致我们虽然是获得count矩阵但是差异分析结果也丑爆了。但是这个解决方案是 通用的， 理论上GEO数据库的任意转录组测序数据集均可获得count矩阵。比如这个GSE148241-先兆子痫-数据集，是 placentae from 9 patients with early-onset severe preeclampsia (EOSPE) and 32 normal controls, 同样的方式获取count矩阵和分组信息 ：

# load counts table from GEO
urld <- "https://www.ncbi.nlm.nih.gov/geo/download/?format=file&type=rnaseq_counts"
path <- paste(urld, "acc=GSE148241", "file=GSE148241_raw_counts_GRCh38.p13_NCBI.tsv.gz", sep="&");
path
tbl <- as.matrix(data.table::fread(path, header=T, colClasses="integer"), rownames=1)

# data<-data.table::fread("matrix.txt",
# data.table = F)
dim(tbl)
mat=as.data.frame(tbl) 
library(AnnoProbe)
library(GEOquery) 
gset = getGEO("GSE148241", destdir = '.', getGPL = F) 
pd = pData(gset[[1]]) 
table(group_list)
group_list=ifelse(grepl('Normal',pd$source_name_ch1),
 'control','case' )

就可以常规的差异分析，如下所示的火山图和热图：

可以看到有两个样品是离群点， 其实这个GSE148241-先兆子痫-数据集页面也指出来了，但是数据集配套的文献并没有关心这个差异分析结果，反而是做了一个wgcna分析。如果你恰好是先兆子痫研究方向， 就可以把这个数据集更加细致的解读和挖掘一下，未必不是一个课题哦！

经常下载过ngs项目公共数据集的小伙伴们都是知道fastq文件非常大而且不同数据库访问情况都不太稳定。

详见：aspera的高速下载确实很快吗，需要自己在服务器上面配置好conda，然后执行conda的安装两个软件（kingfisher和aspera），我们一般来说会推荐极简下载代码，就是一个循环而已；

首先自己制作文件名字（fq.txt ）内容如下所示：：

fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/083/SRR17418283/SRR17418283_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/083/SRR17418283/SRR17418283_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/086/SRR17418286/SRR17418286_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/086/SRR17418286/SRR17418286_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/087/SRR17418287/SRR17418287_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/087/SRR17418287/SRR17418287_2.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/090/SRR17418290/SRR17418290_1.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR174/090/SRR17418290/SRR17418290_2.fastq.gz

有了上面的文件（fq.txt ），接下来就只需要一个脚本即可：step1-aspera.sh

cat fq.txt |while read id
do
ascp -QT -l 300m -P33001 -k 1 \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh \
era-fasp@$id .
done
# mamba activate download 
# nohup bash step1-aspera.sh 1>step1-aspera.log 2>&1 &
# which ascp 
## 一定要搞清楚你的软件被conda安装在哪，以及它配套的asperaweb_id_dsa.openssh 文件的路径

但是因为aspera对应的ebi数据库经常是访问有问题，会导致如下所示的下载失败；

ls -lh |cut -d" " -f5-

770 7月 19 10:03 fq.txt
 19M 7月 19 10:07 SRR17656233_1.fastq.gz
 64 7月 19 10:07 SRR17656233_1.fastq.gz.aspx
 18M 7月 19 10:07 SRR17656233_2.fastq.gz
 64 7月 19 10:07 SRR17656233_2.fastq.gz.aspx
 0 7月 19 10:07 SRR17656234_1.fastq.gz
 64 7月 19 10:08 SRR17656234_1.fastq.gz.aspx
 67M 7月 19 10:10 SRR17656234_2.fastq.gz
 64 7月 19 10:10 SRR17656234_2.fastq.gz.aspx
 0 7月 19 10:02 SRR17656237_1.fastq.gz
 0 7月 19 10:02 SRR17656237_2.fastq.gz
 0 7月 19 10:02 SRR17656238_1.fastq.gz
 0 7月 19 10:02 SRR17656238_2.fastq.gz
 0 7月 19 10:02 SRR17656241_1.fastq.gz
1.3M 7月 19 10:05 SRR17656241_2.fastq.gz
 64 7月 19 10:06 SRR17656241_2.fastq.gz.aspx

如果一次性下载好几百个文件，很容易失败几十个，然后挑出来继续下载然后继续失败，反反复复很浪费时间。这个时候可以借助于人工智能大模型写一个自动化校验文件的md5信息自动删除失败的文件然后重新下载。

如果是文件下载成功而且md5校验成功

会有如下所示的日志信息；

Completed: 268115K bytes transferred in 89 seconds
 (24415K bits/sec), in 1 file.
文件 SRR17656258_1.fastq.gz 下载成功，并且MD5校验和正确。
处理文件: SRR17656258_2.fastq.gz
尝试下载文件 (尝试次数: 1 / 10)...
Completed: 269769K bytes transferred in 74 seconds
 (29520K bits/sec), in 1 file.
文件 SRR17656258_2.fastq.gz 下载成功，并且MD5校验和正确。
处理文件: SRR17656262_1.fastq.gz
尝试下载文件 (尝试次数: 1 / 10)...
Completed: 231723K bytes transferred in 64 seconds
 (29363K bits/sec), in 1 file.
文件 SRR17656262_1.fastq.gz 下载成功，并且MD5校验和正确。
处理文件: SRR17656262_2.fastq.gz
尝试下载文件 (尝试次数: 1 / 10)...
Completed: 234184K bytes transferred in 217 seconds
 (8809K bits/sec), in 1 file.
文件 SRR17656262_2.fastq.gz 下载成功，并且MD5校验和正确。
处理文件: SRR17656229_1.fastq.gz

如果是文件下载成功但是md5校验失败

就需要代码自动化判断，然后继续尝试下载，直到md5校验成功，比如下面的两个样品，都是下载了两三次才md5校验成功。其实每次重新尝试都是可以下载成功但是校验失败。

处理文件: SRR17656233_1.fastq.gz
尝试下载文件 (尝试次数: 1 / 10)...
Completed: 554541K bytes transferred in 645 seconds
 (7032K bits/sec), in 1 file.
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 2 / 10)...
Completed: 554541K bytes transferred in 942 seconds
 (4819K bits/sec), in 1 file.
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 3 / 10)...
Completed: 554541K bytes transferred in 544 seconds
 (8345K bits/sec), in 1 file.
文件 SRR17656233_1.fastq.gz 下载成功，并且MD5校验和正确。

处理文件: SRR17656233_2.fastq.gz
尝试下载文件 (尝试次数: 1 / 10)...
Completed: 556271K bytes transferred in 850 seconds
 (5357K bits/sec), in 1 file.
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 2 / 10)...
Completed: 556271K bytes transferred in 707 seconds
 (6437K bits/sec), in 1 file.
文件 SRR17656233_2.fastq.gz 下载成功，并且MD5校验和正确。

如果是网络失败

就不会下载到fq文件，就没办法校验，会出现下面的日志：

Startup failed, exit
md5sum: SRR17656242_1.fastq.gz: No such file or directory
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 8 / 10)...
ascp: Target address not available 
Startup failed, exit
md5sum: SRR17656242_1.fastq.gz: No such file or directory
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 9 / 10)...
ascp: Target address not available 
Startup failed, exit
md5sum: SRR17656242_1.fastq.gz: No such file or directory
文件校验失败，正在重试...
尝试下载文件 (尝试次数: 10 / 10)...
ascp: Target address not available 
Startup failed, exit
md5sum: SRR17656242_1.fastq.gz: No such file or directory

让我们看看人工智能大模型给出来的代码吧

我仅仅是把aspera的高速下载确实很快吗里面的基础代码发给人工智能大模型，然后给出来自己的需求，它就可以完成了：

#!/bin/bash

# 定义文件列表的文本文件路径
FILE_LIST="input.txt"

# 定义最大重试次数
MAX_RETRIES=10

# 检查文件列表文件是否存在
if [ ! -f "$FILE_LIST" ]; then
 echo "文件列表文件 $FILE_LIST 不存在。"
 exit 1
fi

# 读取文件列表文件
while read -r filename md5sum download_url; do
 echo "处理文件: $filename"

# 定义下载的文件路径
 download_path="$filename"

# 初始化重试次数
 retries=0

# 循环直到文件校验成功或达到最大重试次数
 while [ $retries -lt $MAX_RETRIES ]; do
 echo "尝试下载文件 (尝试次数: $((retries + 1)) / $MAX_RETRIES)..."

# 使用curl下载文件
 #curl -o "$download_path" -L "$download_url"
 # 使用 ascp 下载文件
ascp -QT -l 300m -P33001 -k 1 \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh \
era-fasp@$download_url .

# 计算下载文件的MD5校验和
 actual_md5=$(md5sum "$download_path" | awk '{print $1}')

# 校验文件
 if [ "$actual_md5" = "$md5sum" ]; then
 echo "文件 $filename 下载成功，并且MD5校验和正确。"
 break
 else
 echo "文件校验失败，正在重试..."
 rm "$download_path" 
 retries=$((retries + 1))
 fi
 done

# 检查是否达到最大重试次数
 if [ $retries -eq $MAX_RETRIES ]; then
 echo "文件 $filename 下载和校验失败，已达到最大重试次数。"
 # exit 1
 fi
done < "$FILE_LIST"

上面的shell脚本需要读取一个文本文件input.txt，它的内容节选如下所示：

SRR17656233_1.fastq.gz 14f36c82df316bfcda3070db182461e6 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/033/SRR17656233/SRR17656233_1.fastq.gz
SRR17656233_2.fastq.gz 1fdad0e3c4d17c35721d4f4fe7518f18 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/033/SRR17656233/SRR17656233_2.fastq.gz
SRR17656234_1.fastq.gz eaf46f1d519bb050ab654d5975f4706e fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/034/SRR17656234/SRR17656234_1.fastq.gz
SRR17656234_2.fastq.gz f68099418142c70d7abae1728c4562ef fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/034/SRR17656234/SRR17656234_2.fastq.gz
SRR17656237_1.fastq.gz b30ab3b951086cef51ac545c9b06cea7 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/037/SRR17656237/SRR17656237_1.fastq.gz
SRR17656237_2.fastq.gz 8aee6152c6c3bc280e5b120d008d9a73 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/037/SRR17656237/SRR17656237_2.fastq.gz
SRR17656238_1.fastq.gz 2a24527bcbd9cc8faa87af1c2cd129e1 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/038/SRR17656238/SRR17656238_1.fastq.gz
SRR17656238_2.fastq.gz 56802f4f4c0202ea72506e46720575e2 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/038/SRR17656238/SRR17656238_2.fastq.gz
SRR17656241_1.fastq.gz ccdad148ae44ca4d7be4ba95a5c383c0 fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/041/SRR17656241/SRR17656241_1.fastq.gz
SRR17656241_2.fastq.gz 25533fed6cba16c073ef26080cc948cc fasp.sra.ebi.ac.uk:/vol1/fastq/SRR176/041/SRR17656241/SRR17656241_2.fastq.gz

大家在网络上看得到的生物信息学教程，一半都是转录组方面的数据处理心得体会，包括表达量芯片和转录组测序。而且其中一波都是集中在基因的表达量差异分析而已，实际上生命科学领域可以探索的东西非常多！

从分子生物学的角度来看，基因的表达量高低变化只是中心法则中的一个方面。中心法则描述了遗传信息的流动方向，主要包括以下几个过程：

1. DNA复制：遗传信息从DNA传递到DNA，确保遗传信息在细胞分裂时能够传递给子代细胞 。
2. 转录：遗传信息从DNA流动到RNA，RNA聚合酶以DNA为模板合成RNA 。
3. 翻译：遗传信息从RNA传递到蛋白质，核糖体根据mRNA上的遗传密码合成具有特定功能的蛋白质 。
4. RNA复制和逆转录：在某些病毒中，遗传信息可以由RNA复制到RNA（RNA自我复制），或由RNA逆转录成DNA（见于逆转录病毒） 。

除了上述基本过程，一些其他的分子机制也广为人知，例如：

• 表观遗传调控：DNA的甲基化和组蛋白修饰可以影响基因的表达，但不改变DNA序列 。
• 可变剪接：一个基因可以通过不同的剪接方式产生多种mRNA剪接异构体，进而翻译成不同的蛋白质，增加了蛋白质的多样性 。
• RNA编辑：在某些情况下，RNA分子在转录后会经过编辑，改变其序列，从而影响蛋白质的合成 。

而且每种机制都有其对应的技术手段进行研究，例如：

• DNA测序：用于分析DNA序列和拷贝数变化。
• RNA测序（RNA-seq）：用于分析基因表达量、可变剪接事件、RNA编辑等。
• ChIP-seq：专注于表观调控，用于研究蛋白质与DNA相互作用，如转录因子结合位点或组蛋白修饰。

这些技术和方法为我们提供了深入理解基因表达调控和中心法则在分子层面上如何运作的途径。

其中RNA测序（RNA-seq）是大家耳熟能详的技术手段，如果是二十年前做一个转录组样品可能会过万的费用，十年前就千把块钱了，五年前就五六百块钱，现在就三百多块钱了。详见：转录组价格腰斩哈！（优化升级后单个样本仅399元）

但是因为网络上最方便的教程就是差异分析：常规的表达量矩阵只需要实验设计合理，比如两分组的，就可以不管三七二十一，差异分析走起，上下调基因判断ok了，就火山图热图画出来了。这些常规的分析相信大家都不陌生了，基本上看我10年前的表达芯片的公共数据库挖掘系列推文即可；

• 解读GEO数据存放规律及下载，一文就够
• 解读SRA数据库规律一文就够
• 从GEO数据库下载得到表达矩阵 一文就够
• GSEA分析一文就够（单机版+R语言版）
• 根据分组信息做差异分析- 这个一文不够的
• 差异分析得到的结果注释一文就够

导致转录组测序发展这么多年了仍然是基因表达量差异分析而已，实际上如果我们问一下人工智能大模型就可以看到比较详细的分析要点：

1. 基因表达量的分析：
   • 可以通过比较不同样本或条件下的基因表达水平，来识别表达差异显著的基因。这有助于识别在特定生物学过程或疾病中起关键作用的基因。
2. 基因的可变剪接分析：
   • 可变剪接是指从单一基因中通过不同的剪接方式产生多种mRNA变体。差异可变剪接分析可以揭示不同条件下剪接模式的变化，这对于理解基因功能和疾病机制至关重要。
3. 全新长非编码RNA鉴定：
   • 长非编码RNA是一类长度超过200个核苷酸的RNA分子，它们不编码蛋白质，但在调控基因表达、细胞分化和疾病发生中发挥重要作用。
4. 融合基因：
   • 融合基因通常是由染色体重排产生的，两个不同的基因部分连接在一起形成一个新的基因。这种融合可能在癌症等病理状态下发生，比如肿瘤的发生发展，是可以作为治疗的靶点。
5. 编码区的SNP和RNA editing：
   • 单核苷酸多态性（SNP）是基因组中单个核苷酸的变化，可能影响基因表达和功能。RNA editing是指RNA分子在转录后发生的变化，如腺苷到肌苷的转换，这可以改变蛋白质的编码信息。
6. APA（Alternative Polyadenylation）：
   • 替代性聚腺苷酸化是指在mRNA 3’末端添加不同长度的聚腺苷酸尾的过程。这种变化可以影响mRNA的稳定性、翻译效率和细胞定位。

如果是链特异性RNA-seq技术还可以分析更多

可以区分来自同一基因座上的两个等位基因的表达情况，即等位基因特异表达（Allele-Specific Expression, ASE）。这种技术特别适用于研究遗传多样性和基因表达调控，尤其是在杂合个体中。ASE分析有助于揭示顺式作用因子（cis-regulatory elements）和反式作用因子（trans-acting factors）对基因表达的影响，以及它们在不同组织和生物学过程中的作用。

Antisense转录本，即与正义链转录本方向相反的RNA分子，也可以通过链特异性RNA-seq技术进行检测。这些转录本可能参与基因表达的调控，影响mRNA的稳定性和翻译效率，甚至参与非编码RNA的功能。

进行ASE和Antisense转录本分析时，需要特别注意的是，链特异性RNA-seq建库方法可能影响测序数据的解读。例如，使用dUTP代替dTTP的方法可以产生链特异性的cDNA，从而在测序过程中保留RNA的原始方向信息。在分析时，需要根据所使用的链特异性测序方法设置正确的参数，以确保结果的准确性。

最新science研究有3个转录组数据

最近在朋友圈刷到了2024年8月2日的Science期刊上的论文标题为“Modeling late-onset Alzheimer’s disease neuropathology via direct neuronal reprogramming”的皮肤细胞变神经元的研究，没有意思的，居然是直接重编程技术再现阿尔茨海默病特征！是来自美国圣路易斯华盛顿大学医学院的资深发育生物学教授Andrew Yoo团队的研究成果。

文章里面就是3个转录组数据：(GSE267613, GSE252932, and GSE253174)，很容易在文章里面看到3个平平无奇的差异分析后的火山图以及富集分析后的生物学功能数据库注释信息条形图：

这3个转录组数据的其它层面的分析能加强这个science文章的研究吗

当然了，既然是已经在Science期刊上的论文，我们肯定是没办法去苛责他们对转录组数据的浪费。不过我还是比较好奇，其它层面的数据分析真的是没有什么必要性吗？

众所周知，转录组测序后拿到的表达量矩阵通常是基因在样品的reads的数量，就是最原始的整数的counts矩阵啦。它有两个归一化方向，首先是样品方向的就是抹去各个样品的文库大小这个变量，然后是基因方向的就是抹去基因长度对表达量的影响。

如果是使用deseq2这样的包进行转录组测序的表达量的差异分析需要的是最原始的整数的counts矩阵即可，如果是做表达量热图，通常是使用归一化后的矩阵，可以是两个方向都做。如果仅仅是考虑文库大小就是cpm和rpm，如果同时考虑基因长度就是 FPKM（Fragments Per Kilobase of transcript per Million mapped reads），以及tpm，让我们来理解一下：

cpm和rpm是同一个概念

CPM和RPM是同一种基因表达量标准化方法，它们用于调整测序深度的差异，以便在不同样本之间进行比较，英文全称是：

1. CPM (Counts Per Million)：
2. RPM (Reads Per Million)：

其实就是就是最原始的整数的counts矩阵除以每个样品的文库大小（以1M为单位），但是目前转录组测序非常标准化了其实文库大小统一是20M附近，如果不做这个cpm或者rpm，问题也不大，但是就怕碰到极端值情况。

tpm不一定是转录本定量

本来呢，应该是先理解 FPKM（Fragments Per Kilobase of transcript per Million mapped reads），就是上面的cpm或者rpm矩阵再除以每个基因的长度（以1kb为单位）情况。但是这样的FPKM表达量有一个弊端就是每个样品的所有的基因的FPKM加和并不是固定的，所以就引入了tpm概念，就是继续除以FPKM表达量的文库（以1M为单位）大小，这个时候就不一定是20M附近，因为每个样品的FPKM加和并不是固定的。但是TPM（Transcripts Per Million）看起来很容易让人误解是针对转录本的定量。

最原始的整数的counts矩阵的差异分析

只需要在你的r里面加载两个包，就可以完成下面的分析啦：

# 魔幻操作，一键清空
rm(list = ls()) 
options(stringsAsFactors = F)
# BiocManager::install('airway')
# 加载airway数据集并转换为表达矩阵
library(airway,quietly = T) 
data(airway)
rawcount <- assay(airway) 
group_list <- colData(airway)$dex 
# 过滤在至少在75%的样本中都有表达的基因 （可选步骤，也可以修改）
keep <- rowSums(rawcount>0) >= floor(0.75*ncol(rawcount))
table(keep) 
filter_count <- rawcount[keep,]
filter_count[1:4,1:4]
dim(filter_count)

run_deseq2 <- function(exprSet,group_list){
 library(DESeq2) 
 # 第一步，构建DESeq2的DESeq对象
 colData <- data.frame(row.names=colnames(exprSet),group_list=group_list)
 dds <- DESeqDataSetFromMatrix(countData = exprSet,colData = colData,design = ~ group_list)
 # 第二步，进行差异表达分析
 dds2 <- DESeq(dds)
 # 提取差异分析结果，trt组对untrt组的差异分析结果
 tmp <- results(dds2,contrast=c("group_list","trt","untrt"))
 DEG_DESeq2 <- as.data.frame(tmp[order(tmp$padj),])
 head(DEG_DESeq2) 
 # 去除差异分析结果中包含NA值的行
 DEG_DESeq2 = na.omit(DEG_DESeq2)
}

deg_raw = run_deseq2(filter_count,group_list)

上面的代码里面，我定义了一个 run_deseq2 函数，方便后续调用：

针对cpm或者rpm矩阵的差异分析

假如极端情况下，你拿到了的转录组测序的表达量矩阵就是cpm或者rpm，你可以直接把矩阵乘以20后向上取整，如下所示的代码：

ct2 = floor(20*edgeR::cpm(filter_count))
deg_cpm = run_deseq2(ct2,group_list)

save(deg_raw,deg_cpm,file = 'deg.Rdata')

可以看到之前的整数的counts矩阵里面每个样品的文库大小确实是不一样的，但是都是在20M附近，而如果你拿到了的转录组测序的表达量矩阵就是cpm或者rpm意味着你没办法知道每个样品的真实文库大小，因为被抹除了 。直接把矩阵乘以20后向上取整的后果就是每个样品很整齐，就是20M的文库大小；

> colSums(filter_count)/1e6
SRR1039508 SRR1039509 SRR1039512 SRR1039513 SRR1039516 SRR1039517 
 20.63292 18.80417 25.34134 15.16004 24.44175 30.81030 
SRR1039520 SRR1039521 
 19.11741 21.15675 
> colSums(ct2)/1e6
SRR1039508 SRR1039509 SRR1039512 SRR1039513 SRR1039516 SRR1039517 
 19.98724 19.99079 19.98892 19.98928 19.98938 19.98891 
SRR1039520 SRR1039521 
 19.99101 19.98787

比较两次差异分析结果：

两次都是同样的 run_deseq2 函数，所以结果矩阵的格式是一致的：

rm(list = ls())
library(data.table)
load('deg.Rdata') 
ids=intersect(rownames(deg_cpm),
 rownames(deg_raw))
df= data.frame(
 deg_cpm = deg_cpm[ids,'log2FoldChange'],
 deg_raw = deg_raw[ids,'log2FoldChange']
)
library(ggpubr)
ggscatter(df, x = "deg_cpm", y = "deg_raw",
 color = "black", shape = 21, size = 3, # Points color, shape and size
 add = "reg.line", # Add regressin line
 add.params = list(color = "blue", fill = "lightgray"), # Customize reg. line
 conf.int = TRUE, # Add confidence interval
 cor.coef = TRUE, # Add correlation coefficient. see ?stat_cor
 cor.coeff.args = list(method = "pearson", label.sep = "\n")
)

可以看到虽然是两次计算的logFC略微有差异，但是相关性几乎是完美的：

也可以看看，两次差异分析后的统计学显著的上下调基因的一致性情况，代码如下所示：

modify_deg<-function(DEG_DESeq2){

 # 筛选上下调，设定阈值
 fc_cutoff <- 1
 fdr <- 0.05

 DEG_DESeq2$regulated <- "normal"

 loc_up <- intersect(which(DEG_DESeq2$log2FoldChange>log2(fc_cutoff)),
 which(DEG_DESeq2$padj<fdr))
 loc_down <- intersect(which(DEG_DESeq2$log2FoldChange< (-log2(fc_cutoff))),
 which(DEG_DESeq2$padj<fdr))

 DEG_DESeq2$regulated[loc_up] <- "up"
 DEG_DESeq2$regulated[loc_down] <- "down"

 table(DEG_DESeq2$regulated)

 head(DEG_DESeq2)
 library(AnnoProbe)
 ag=annoGene(rownames(DEG_DESeq2),
 ID_type = 'ENSEMBL',species = 'human'
 )
 head(ag)
 DEG_DESeq2$ENSEMBL=rownames(DEG_DESeq2)

 deg_anno=merge(ag,DEG_DESeq2,by='ENSEMBL')
 deg_anno=deg_anno[!duplicated(deg_anno$SYMBOL),]
 rownames(deg_anno)=deg_anno$SYMBOL
 return(deg_anno)
}
deg_cpm=modify_deg(deg_cpm)
deg_raw=modify_deg(deg_raw)
colnames(deg_cpm)

ids=intersect(rownames(deg_cpm),
 rownames(deg_raw))
df= data.frame(
 deg_cpm = deg_cpm[ids,'regulated'],
 deg_raw = deg_raw[ids,'regulated']
)
table(df)
gplots::balloonplot(table(df))

可以看到的是两次的差异分析误差几乎是可以忽略不计的 ：

> table(df)
 deg_raw
deg_cpm down normal up
 down 1111 14 0
 normal 32 14683 13
 up 0 8 1511

也可以进一步的看看两次差异分析的冲突的基因列表的功能情况：

symbols_list = split(ids,paste(df[,1],df[,2]))
library(clusterProfiler)
library(org.Hs.eg.db)
library(ReactomePA)
library(ggplot2)
library(stringr) 
# 首先全部的symbol 需要转为 entrezID
gcSample = lapply(symbols_list, function(y){ 
 y=as.character(na.omit(AnnotationDbi::select(org.Hs.eg.db,
 keys = y,
 columns = 'ENTREZID',
 keytype = 'SYMBOL')[,2])
 )
 y
})
gcSample
pro='test'
# 第1个注释是 KEGG 
xx <- compareCluster(gcSample, fun="enrichKEGG",
 organism="hsa", pvalueCutoff=0.3)
dotplot(xx) + theme(axis.text.x=element_text(angle=45,hjust = 1)) + 
 scale_y_discrete(labels=function(x) str_wrap(x, width=50)) 
ggsave(paste0(pro,'_kegg.pdf'),width = 10,height = 8)

蛮有意思的， 这些基因都是代谢相关的：

其实是可以深入探索一下：

$`down normal`
 [1] "HDAC9" "NFYC" "NBN" "ALMS1" "MTHFD1L" "ACSBG2" 
 [7] "YIPF2" "PI4KB" "LIMS1" "INSIG1" "ZSCAN23" "PLPP4" 
[13] "SP5" "GUSBP16"

$`normal down`
 [1] "ABCB5" "CDH10" "SLC6A16" "PTGS2" "MOK" 
 [6] "PITPNM3" "C14orf93" "ISYNA1" "TBC1D30" "MCEE" 
[11] "ZNF436" "RSAD2" "MDH1B" "DEPTOR" "LRRC56" 
[16] "STOX2" "PODN" "RIN1" "GUSBP1" "CDNF" 
[21] "SAMD11" "ZNF682" "FANK1" "EIF2AK3-DT" "H3P6" 
[26] "AC108488.1" "ZNF512" "ZNF286B" "KLRA1P" "AL355102.1"

为什么看起来基本上没有修改表达量矩阵的操作，也会有一些冲突的基因呢？作为学徒作业给大家吧！

下一期我们说一下如果你的矩阵被fpkm了或者tpm了，该如何最佳差异分析呢？

前面我们介绍了：专注于多组学数据处理的生物信息学书籍推荐，大家纷纷留言表示没想到生物信息学的系统性资料居然可以这么早，2011年那个时候国内基本上成规模的测序相关科研服务公司都没有。。。。
当然了也有人推荐了一个同款2011的书籍：《Bioinformatics for High Throughput Sequencing》，这本书籍的目录表明它专注于高通量测序（High-Throughput Sequencing, HTS）技术及其在生物信息学中的应用。以下是对书籍内容的整理和介绍：

1. 引言（Introduction）
   • 由Naiara Rodríguez-Ezpeleta和Ana M. Aransay撰写，可能涉及书籍的总体目标、重点和高通量测序技术的基本概述。
2. 测序技术平台概览（Overview of Sequencing Technology Platforms）
   • Samuel Myllykangas, Jason Buenrostro, 和Hanlee P. Ji介绍不同的测序技术平台，可能包括它们的工作原理、优缺点和应用场景。
3. 高通量测序的应用（Applications of High-Throughput Sequencing）
   • Rodrigo Goya, Irmtraud M. Meyer, 和Marco A. Marra探讨高通量测序技术在研究和临床上的应用。
4. 高通量测序的计算基础设施和基础数据分析（Computational Infrastructure and Basic Data Analysis for High-Throughput Sequencing）
   • David Sexton讨论了处理高通量测序数据所需的计算资源和基础分析方法。
5. 生物信息学家的碱基呼叫（Base-Calling for Bioinformaticians）
   • Mona A. Sheikh和Yaniv Erlich解释碱基呼叫的概念，这是测序数据分析的关键步骤。
6. 短读序列的去 novo 组装（De Novo Short-Read Assembly）
   • Douglas W. Bryant Jr. 和Todd C. Mockler讨论如何从短读序列数据中创建新的序列组装。
7. 短读序列比对（Short-Read Mapping）
   • Paolo Ribeca介绍将短读序列数据映射到参考基因组的方法。
8. DNA-蛋白质相互作用分析（ChIP-Seq）
   • Geetu Tuteja解释如何使用ChIP-Seq技术研究DNA-蛋白质相互作用。
9. 全基因组DNA甲基化图谱的生成和分析
   • Martin Kerick, Axel Fischer, 和Michal-Ruth Schweiger讨论DNA甲基化图谱的生成和分析方法。
10. RNA测序（RNA-Seq）数据的差异表达分析
    • Matthew D. Young等人介绍RNA-Seq数据的映射、汇总、统计分析和实验设计。
11. MicroRNA表达谱分析和发现
    • Michael Hackenberg讨论MicroRNA的表达谱分析和新MicroRNA的发现。
12. 通过CLIP-Seq数据的综合分析剖析剪接调控网络
    • Michael Q. Zhang探讨如何使用CLIP-Seq数据来研究剪接调控网络。
13. 宏基因组数据的分析（Metagenomics Data Analysis）
    • Elizabeth M. Glass和Folker Meyer介绍宏基因组学数据的分析方法。
14. 高通量测序数据分析软件：当前状态和未来发展
    • 讨论当前高通量测序数据分析软件的状态和未来的发展方向。
      这本书籍为读者提供了高通量测序技术的全面介绍，从基本概念到复杂的数据分析方法，适合生物信息学、基因组学和相关领域的研究人员和学生阅读。书籍内容可能包括最新的测序技术、数据分析工具和软件，以及如何设计和执行高通量测序实验。
      大家可能是注意到了上面的2011的书籍：《Bioinformatics for High Throughput Sequencing》其实是有一个章节是咱们中国人负责的，就是Michael Q. Zhang教授！

      关于Michael Q. Zhang

      Michael Q. Zhang教授是国际权威的计算生物学和基因组学研究专家，他是最早致力于利用计算生物学方法解码基因组信息的科学家之一。他早期的成就包括开发了第一个人类基因和启动子的预测算法。他利用DNA芯片分析酵母动态基因表达和细胞周期调控的工作开创了计算功能基因组学的新时代。2013年，Michael Q. Zhang教授和汤超教授共同作为Editors-in-Chief创办了Quantitative Biology期刊。Michael Q. Zhang教授目前任职于德克萨斯大学达拉斯分校，是该校教授和Cecil H. and Ida Green Distinguished Chair of Systems Biology Science。在此之前，他曾在冷泉港实验室(CSHL)的沃森生物科学学院担任教授多年，还担任清华大学兼职教授、杰出客座教授及北京大学定量生物学中心的学术委员会主任。
      谷歌学术主页是：https://scholar.google.com/citations?hl=en&user=W1Ytj3QAAAAJ&view_op=list_works
      
      Michael Q. Zhang教授于1977年考入中国科学技术大学学习机械工程。1981年，在李政道先生发起和组织的CUSPEA项目资助下，他到美国罗格斯大学师从Joel Lebowitz教授研究非平衡统计物理学。在此期间，他访问了哈佛大学的Author Jaffe教授，并学习了SUSY（Supersymmetry）场论。1987年，他在Jerry Percus教授的指导下进行非均匀流体模型的密度或熵泛函的博士后研究，随后在纽约大学Courant研究所与Peter Lax教授进行可积系统研究。
      目前是德克萨斯大学达拉斯分校的系统生物学中心主任：https://profiles.utdallas.edu/michael.zhang

生物信息学是一个交叉学科，结合了生物学、计算机科学和信息技术，用于处理和分析生物数据，特别是大规模的组学数据。

这里给大家推荐一下一本关于生物信息学（Bioinformatics）的专著，专注于组学（Omics）技术及其数据分析，标题也是朴实无华哦：《Bioinformatics for Omics Data》，另外就是非常值得强调的是书籍居然是2011年的！

以下是对书籍内容的整理和介绍：

第一部分：组学生物信息学基础

1. 组学技术、数据和生物信息学原理 - 介绍组学技术的基础知识和生物信息学的核心原理。
2. 组学数据的数据标准 - 讨论数据标准在数据共享和重用中的重要性。
3. 组学数据管理和注释 - 描述如何管理和注释组学数据。
4. 跨组学研究项目中的数据和知识管理 - 探讨跨学科研究项目中数据管理的策略。
5. 组学数据的统计分析原理 - 介绍适用于组学数据的统计分析基础。
6. 连接组学数据级别的统计方法和模型 - 讨论如何通过统计方法整合不同级别的组学数据。
7. 时间序列组学数据集的分析 - 分析时间序列数据集以揭示生物过程。
8. -Omes的使用和滥用 - 讨论“-Omes”术语的使用，如基因组学、蛋白质组学等。

第二部分：组学数据和分析轨迹

1. 高通量测序数据的计算分析 - 介绍高通量测序技术及其数据分析方法。
2. 病例对照研究中单核苷酸多态性的分析 - 研究遗传变异与疾病之间的关系。
3. 拷贝数变异数据的生物信息学 - 探讨拷贝数变异的检测和分析。
4. 从扫描仪到浏览器的ChIP-Chip数据处理 - 描述ChIP-Chip实验的数据流程。
5. 基因表达分析揭示全局机制和疾病 - 利用基因表达数据来理解生物学机制和疾病。
6. RNomics的生物信息学 - 研究RNA层面的生物信息学，包括非编码RNA。
7. 定性和定量蛋白质组学的生物信息学 - 探讨蛋白质组学数据分析。
8. 基于质谱的代谢组学的生物信息学 - 描述代谢物的鉴定和定量。

第三部分：应用组学生物信息学

1. 组学数据解释的计算分析工作流程 - 介绍组学数据分析的工作流程。
2. 组学数据的整合、仓储和分析策略 - 讨论如何整合和分析大规模组学数据。
3. 信号通路、互作组重建和功能分析的组学数据整合 - 整合不同组学数据以研究信号通路和功能。
4. 来自时间依赖组学数据的网络推断 - 从时间序列数据推断生物网络。
5. 组学与文献挖掘 - 结合组学数据和文献信息来提取生物学知识。
6. 临床数据背景下的组学-生物信息学 - 讨论组学数据在临床医学中的应用。
7. 基于组学的病理生理过程识别 - 利用组学数据来识别疾病相关的生物学过程。
8. 基于组学的生物标记物发现的数据挖掘方法 - 应用数据挖掘技术来发现生物标记物。
9. 癌症靶标识别的集成生物信息学分析 - 集成分析用于癌症治疗靶标的发现。
10. 基于组学的分子靶标和生物标记物识别 - 识别新的药物靶标和生物标记物。

这本书籍为读者提供了从基础理论到高级应用的全面介绍，涵盖了组学数据分析的多个方面，适合生物信息学、系统生物学和相关领域的研究人员和学生阅读。

组学技术其实已经更新换代

上面的书籍其实是2011的了，那个时候我都还没有开始学习生物信息学。等我掌握了这些ngs技术的时候，我在生信技能树自媒体矩阵整理和分享了自己擅长的几乎全部的ngs组学数据处理，有文字版内容，以及视频在b站。

因为个人时间精力问题，我自己的b站课程仅仅是ngs多组学以及单细胞技术的教程。而且很多都是五六年前的了，比如下面这些：

• 免费视频课程《RNA-seq数据分析》
• 免费视频课程《WES数据分析》
• 免费视频课程《ChIP-seq数据分析》
• 免费视频课程《ATAC-seq数据分析》
• 免费视频课程《TCGA数据库分析实战》
• 免费视频课程《甲基化芯片数据分析》
• 免费视频课程《影像组学教学》
• 免费视频课程《LncRNA-seq数据》
• 免费视频课程《GEO数据挖掘》

现如今到2024，组学又更进一步了，比如：《Multi-scale signaling and tumor evolution in high- grade gliomas》，如下所示的 (B) Features quantified on 14 data platforms (excluding single-nuclei sequencing and multiplex imaging).

而且文章里面的数据也是公开可以获取的，分门别类整理好了 ：

1. Genomic Data Commons (GDC): CPTAC WES, WGS, DNA-methylation

   • 内容: 该链接指向国家癌症研究所（NCI）的基因组数据共享（GDC）项目，特别是针对临床蛋白质组学技术评估（CPTAC）计划的数据。这里包含了全外显子测序（WES）、全基因组测序（WGS）和DNA甲基化数据。
   • 目的: 这些数据用于研究癌症基因组的变异、基因表达调控以及疾病相关基因的甲基化状态。

2. Proteomic Data Commons (PDC): CPTAC proteome, phosphoproteome, acetylome, glycoproteome, metabolome, and lipidome data

   • 内容: 蛋白质组数据共享（PDC）项目包含了CPTAC计划中的蛋白质组、磷酸化蛋白质组、乙酰化蛋白质组、糖蛋白质组、代谢组和脂质组数据。
   • 目的: 这些数据有助于理解蛋白质表达、翻译后修饰、代谢途径以及细胞信号传导在癌症中的作用。

3. Cancer Data Service (CDS): CPTAC multiome snATAC seq data

   • 内容: 癌症数据服务（CDS）提供了CPTAC计划中的多组学，以及单细胞水平的ATAC测序数据。
   • 目的: 这些数据用于研究染色质可及性、转录因子结合位点以及基因调控网络。

4. The Cancer Imaging Archive (TCIA): CODEX and histopathology images

   • 内容: 癌症影像档案库（TCIA）包含了癌症相关的医学影像数据，如CODEX（癌症数字切片档案库）和组织病理学图像。
   • 目的: 这些图像数据用于癌症的影像学研究、计算机辅助诊断和病理学分析。

这些数据链接提供了丰富的生物医学信息资源，对癌症生物学、精准医疗和转化研究具有重要价值。研究人员可以利用这些数据进行多维度的分析，以发现新的生物标记物、理解疾病机制和开发新的治疗方法。需要注意的是，访问和使用这些数据可能需要遵循特定的数据使用协议和隐私保护规定。

为了处理这些数据，涉及到的软件工具已经是高达几十个，一般来说只有比较大的课题组才能有足够数量的生信工程师能hold住这样的规模的复杂的数据：

学员在微信交流群分享了一个2024年5月的单细胞数据挖掘文章，标题是：《Single-cell combined with transcriptome sequencing to explore the molecular mechanism of cell communication in idiopathic pulmonary fibrosis》，研究者们重新分析了 GSE122960 这个单细胞转录组数据集，第一层次降维聚类分群后简单的统计了一下每个单细胞亚群的数量，绘制条形图如下所示：

就很迷惑，8个单细胞亚群为什么就使用了4个颜色呢？

R语言配色大全

我比较喜欢下面的4个r包，简单快捷：

1. RColorBrewer
   • 由Cynthia A. Brewer开发的RColorBrewer包提供了一套精心挑选的颜色方案，特别适合制作地图和数据可视化。
   • 它允许用户根据色盲友好性、颜色数量和颜色类型（如序列、发散和定性）选择颜色方案。
2. ggsci
   • ggsci（ggplot2 scientific）包允许用户在ggplot2的绘图中使用科学期刊的颜色方案，如《Nature》、《Science》等。
   • 它提供了一个简单的接口来访问这些颜色方案，使得科研论文和报告的图表颜色更加专业和一致。
3. randomcoloR
   • randomcoloR包提供了一个函数，用于生成随机颜色方案，这对于需要快速创建颜色方案的用户来说非常有用。
   • 它可以生成单色或多色方案，支持用户自定义颜色的数量和亮度。
4. paletteer
   • paletteer是一个统一的接口，用于访问多个颜色方案包，包括RColorBrewer、ggsci等。
   • https://emilhvitfeldt.github.io/paletteer/
   • 它提供了一个简单的方式来搜索和选择颜色方案，支持多种参数来定制颜色方案，如颜色的明暗、饱和度等。
     使用这些R包，你可以轻松地为你的数据可视化添加专业和吸引人的颜色方案。例如，使用RColorBrewer包时，你可以这样选择颜色方案：

     library(RColorBrewer)
     myPalette <- brewer.pal(name = "BuPu", n = 7) # 选择名为"BuPu"的颜色方案，获取7种颜色
     

     使用ggsci包时，可以这样使用期刊的颜色方案：

     library(ggsci)
     ggplot(data, aes(x = x, y = y, color = group)) +
     geom_point() +
     scale_color_nejm() # 使用《新英格兰医学杂志》的颜色方案
     

     randomcoloR和paletteer的使用方式类似，都提供了直观的函数来生成和应用颜色方案。 randomcoloR 包可以生成随机的颜色方案，非常适合当你需要快速创建一个颜色方案时使用。

     # 安装randomcoloR包
     install.packages("randomcoloR")
     # 加载randomcoloR包
     library(randomcoloR) 
     # 生成一组随机颜色
     random_colors <- randomColor(5) # 生成5种随机颜色
     # 打印这些颜色
     print(random_colors)
     

     randomColor 函数还可以接受参数来控制颜色的亮度和饱和度：

     random_colors_light <- randomColor(5, luminosity = "light") # 生成亮度较高的颜色
     random_colors_dark <- randomColor(5, luminosity = "dark") # 生成亮度较低的颜色
     

     paletteer 包提供了一个统一的接口来访问多个颜色方案，包括 RColorBrewer、ggsci 等。详见：https://pmassicotte.github.io/paletteer_gallery/
     当然可以。以下是使用R语言和ggplot2包绘制一个简单的条形图的示例代码，并测试上面提到的四个R包（RColorBrewer、ggsci、randomcoloR 和 paletteer）的配色功能。

     模拟数据进行条形图可视化并且配色

     首先，我们需要安装和加载必要的包：

     install.packages(c("ggplot2", "RColorBrewer", "ggsci", "randomcoloR", "paletteer"))
     library(ggplot2)
     library(RColorBrewer)
     library(ggsci)
     library(randomcoloR)
     library(paletteer)
     

     然后，我们模拟一些数据来绘制条形图：

     # 模拟数据
     df <- data.frame(
     Category = rep(c("A", "B", "C", "D"), each = 2),
     Value = c(23, 45, 32, 50, 18, 27, 42, 55)
     )
     

     接下来，我们将使用不同的颜色方案来绘制条形图。

     使用 RColorBrewer 的颜色方案：

     # 选择颜色方案
     brewer_colors <- brewer.pal(name = "Set1", n = 4)
     # 绘制条形图
     ggplot(df, aes(x = Category, y = Value, fill = Category)) +
     geom_bar(stat = "identity", color = "white") +
     scale_fill_manual(values = brewer_colors) +
     theme_minimal() +
     labs(title = "Simple Bar Plot with RColorBrewer Colors",
     x = "Category",
     y = "Value")
     

     使用 ggsci 的颜色方案：

     # 选择颜色方案 
     ggsci_colors <- ggsci::pal_npg("nrc")(4)
     # 绘制条形图
     ggplot(df, aes(x = Category, y = Value, fill = Category)) +
     geom_bar(stat = "identity", color = "white") +
     scale_fill_manual(values = ggsci_colors) +
     theme_minimal() +
     labs(title = "Simple Bar Plot with ggsci Colors")
     

     使用 randomcoloR 的颜色方案：

     # 生成随机颜色方案
     random_colors <- randomColor(4)
     # 绘制条形图
     ggplot(df, aes(x = Category, y = Value, fill = Category)) +
     geom_bar(stat = "identity", color = "white") +
     scale_fill_manual(values = random_colors) +
     theme_minimal() +
     labs(title = "Simple Bar Plot with Random Colors")
     

     使用 paletteer 的颜色方案：

     # 选择颜色方案
     paletteer_colors <- paletteer::paletteer_d("rcartocolor::Geyser")
     # 绘制条形图
     ggplot(df, aes(x = Category, y = Value, fill = Category)) +
     geom_bar(stat = "identity", color = "white") +
     scale_fill_manual(values = paletteer_colors) +
     theme_minimal() +
     labs(title = "Simple Bar Plot with paletteer Colors")
     

     运行上述代码后，你将得到四个不同的条形图，每个都使用了不同的颜色方案。这些示例展示了如何轻松地在ggplot2中应用不同的颜色方案来增强数据可视化的视觉效果。

马拉松授课的表达量芯片环节结束后，学员们都迫不及待的处理自己感兴趣的数据集了，其中一个小伙伴表示发现了一个稀奇的表达量芯片平台，是 GPL19833，[HG-U219] Affymetrix Human Genome U219 Array (ENSG Brainarray CDF Version 18.0.0)，如下所示 ：

Data table
ID ORF Description
ENSG00000000003_at ENSG00000000003 tetraspanin 6 [Source:HGNC Symbol;Acc:11858]
ENSG00000000005_at ENSG00000000005 tenomodulin [Source:HGNC Symbol;Acc:17757]

可以看到，它：https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GPL19833 对应的就一个数据集：GSE66407 Gut biopsies from patients with Crohn’s Disease and Ulcerative Colitis and healthy controls

其实说明了它并不是一个独立的表达量芯片平台，就是 [HG-U219] Affymetrix Human Genome U219 Array 本身，它有很多变形，拿到了的表达量矩阵就是简简单单进行ID转换即可。

需要有数据库的基因的id基础认知

RefSeq、Entrez和Ensembl是生物信息学领域中三个重要的id体系，它们各自拥有独特的基因和蛋白质的标识符（ID）体系：

1. RefSeq IDs:

   • RefSeq（Reference Sequences）是美国国立生物技术信息中心（NCBI）提供的一组非冗余、经过注释的序列数据库。
   • RefSeq IDs通常以字母开头，后跟数字，例如：NM_000123.4（mRNA序列）或NP_000132.2（蛋白质序列）。
   • 这些ID代表了基因的特定参考序列，可用于准确引用特定的基因或蛋白质。

2. Entrez IDs:

   • Entrez是NCBI开发的一个综合性生物信息学数据库检索系统，它包括多个数据库，如基因（Genome）、蛋白质（Protein）、核酸序列（Nucleotide）等。
   • Entrez Gene ID是用于唯一标识数据库中每个基因的数字ID，例如：100010（人类基因）。
   • 除了Gene ID，Entrez系统还使用Protein ID来标识特定的蛋白质序列。

3. Ensembl IDs:

   • Ensembl是一个开放的生物信息学项目，由欧洲生物信息学研究所（EBI）和威康信托桑格研究所（Wellcome Sanger Institute）共同维护。
   • Ensembl使用一系列ID来标识基因、转录本和蛋白质。这些ID通常以字母前缀开头，后跟数字，例如：ENSG00000223972（基因）、ENST00000456328（转录本）、ENSP00000359063（蛋白质）。
   • 前缀表示序列的类型，例如：ENSG代表基因，ENST代表转录本，ENSP代表蛋白质。

每个数据库的ID体系都有其特定的命名规则和结构，以确保每个基因、转录本或蛋白质都有一个唯一的标识符。这些ID在生物信息学分析、文献和数据库查询中广泛使用，以确保信息的准确传递和检索。

在实际使用中，研究者可能需要在不同的数据库之间转换ID，例如，将一个数据库中的基因ID转换为另一个数据库的ID。这可以通过使用各种在线工具和资源来实现，如NCBI的Entrez系统、Ensembl的BioMart工具，或者通过编程方式使用API进行转换。

很多id转换方式

上面的表达量矩阵的探针其实只需要去除那个 _at 的后缀，就是Ensembl数据库的ID了，然后就可以如下所示简单的转换：

library(AnnoProbe)
head(rownames(ensembl_matrix))
ids=annoGene(rownames(ensembl_matrix),'ENSEMBL','human')
head(ids)
tail(sort(table(ids$biotypes)))
ids=ids[ids$biotypes=='protein_coding',]
ids=ids[!duplicated(ids$SYMBOL),]
ids=ids[!duplicated(ids$ENSEMBL),]
symbol_matrix= ensembl_matrix[match(ids$ENSEMBL,rownames(ensembl_matrix)),]
rownames(symbol_matrix) = ids$SYMBOL

假如你拿到了的是RefSeq或者Entrez的id体系的表达量矩阵，也是可以进行下面的转换啦：

library(AnnoProbe)
library(org.Hs.eg.db)
k<-AnnotationDbi::keys(org.Hs.eg.db,keytype = "ENTREZID")
e2s<-AnnotationDbi::select(org.Hs.eg.db,
 keys= rownames(ENTREZID_matrix),
 columns="SYMBOL",
 keytype = "ENTREZID")
head(e2s)
ids = na.omit(e2s)
ids=ids[!duplicated(ids$SYMBOL),]
ids=ids[!duplicated(ids$ENTREZID),]
head(ids)
symbol_matrix= ENTREZID_matrix[match(ids$ENTREZID,rownames(ENTREZID_matrix)),]
rownames(symbol_matrix) = ids$SYMBOL
symbol_matrix[1:4,1:4]

最后都是以基因的symbol矩阵做后面的分析，因为我们人类只能说是看基因的symbol来进行沟通和交流。

学徒作业

处理上面的GSE66407数据集， 是 Gut biopsies from patients with Crohn’s Disease and Ulcerative Colitis and healthy controls ，是应该是有三分组，然后就可以做两次差异分析，做Crohn’s Disease and Ulcerative Colitis分别去跟healthy controls的差异。看看这个差异跟https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE77013里面的 UC (n=8) and control (n=7) 的差异是否有一致性；

Crohn’s Disease（克罗恩病）和Ulcerative Colitis（溃疡性结肠炎）是两种主要的炎症性肠病（Inflammatory Bowel Disease, IBD）。它们都会引起消化道的长期炎症，但它们在炎症的位置、特征和治疗方法上存在差异 。

克罗恩病（Crohn’s Disease）：

• 可以影响消化道的任何部位，但最常涉及小肠和近端结肠 。
• 症状可能包括腹泻、腹痛、恶心或呕吐，体重减轻、发热和疲劳等全身表现 。
• 病因不明，但可能涉及遗传、环境和免疫因素 。
• 治疗方法包括药物治疗（如5-氨基水杨酸类药物、皮质类固醇、免疫抑制剂、生物制剂）和手术治疗，但手术通常不是治愈性的 。

溃疡性结肠炎（Ulcerative Colitis）：

• 主要影响结肠，通常从直肠开始，并向近端连续扩散 。
• 症状包括血性腹泻（可能伴有黏液）、腹痛、急迫感或排便不尽感、体重减轻和发热 。
• 病因同样不明，可能与遗传、环境因素、肠道菌群的改变和免疫反应有关 。
• 治疗方法包括药物治疗（如5-氨基水杨酸类药物、皮质类固醇、免疫抑制剂、生物制剂）和手术治疗，手术可能治愈性，如全结肠切除术 。

两者的诊断通常基于临床症状、内镜检查、组织病理学检查和排除其他消化道疾病 。治疗的目标是控制炎症、缓解症状、维持缓解期，并改善生活质量 。

值得注意的是，克罗恩病和溃疡性结肠炎都可能伴有肠外表现，如关节炎、皮肤病变、眼部炎症等 。此外，两者都增加了患者患结直肠癌的风险，特别是当疾病影响广泛且长期时 。定期的结肠镜检查对于监测和早期发现癌症至关重要 。

总的来说，克罗恩病和溃疡性结肠炎虽然都属于IBD，但它们在影响的消化道部位、炎症的连续性、可能的并发症以及治疗策略上存在差异。患者需要与医疗团队紧密合作，制定个性化的治疗计划，以管理病情并提高生活质量 。

Affymetrix、Illumina和Agilent三家芯片公司

我让人工智能大模型整理一下，Affymetrix、Illumina和Agilent三家公司的基因表达芯片平台在研究和临床领域都有广泛的应用。以下是它们各自的一些高占比平台：

1. Affymetrix:
   • GeneChip: 作为Affymetrix的核心技术，GeneChip平台包括多种不同的芯片，用于基因表达分析、基因分型、拷贝数变异检测等。
   • GeneTitan: 专为高通量研究设计，GeneTitan平台能够处理多达96个样品，适合大规模基因表达研究。
2. Illumina:
   • BeadChip技术: Illumina的BeadChip平台包括多种产品，如HumanHT-12 Expression BeadChip，用于研究人类基因表达。
   • Infinium甲基化芯片: 这些芯片专门用于研究DNA甲基化，包括Infinium MethylationEPIC BeadChip等。
3. Agilent:
   • SurePrint G3: Agilent的SurePrint G3系列提供高灵敏度和特异性的基因表达分析。
   • Custom Array Design Service: Agilent还提供定制芯片服务，允许研究者根据特定需求设计芯片。

感觉它整理的并不好，大家还不如去GEO数据库的官网看看这些不同公司的不同芯片平台的使用情况。

前面的推文：离大谱了，生信转湿实验？，不知道怎么就又莫名其妙的戳到了一些“黑粉”的G点，都关注我们生信技能树这么多年了还是如此的顽固不化，拒绝进入人工智能时代拒绝高通量测序数据分析。

更让人费解的是我的推文：离大谱了，生信转湿实验？完完全全就没有提到我们的生物信息学马拉松授课啊，怎么就让这几百人不爽了？

如何正确的辩论

大家对一个观点的批判的方式应该是拿出来论据说明：这个观点是不成立的；而广大网友的留言往往是试图说明：某某人的这个观点是不成立的。无力对一个观点本身进行逻辑分析，而是热衷于＂把一个人搞臭＂是一种思维的无能，也是争论之源。如果广大网友一直保持在一种普遍的低水平的逻辑能力上，那么＂把人搞臭＂就会永远成为大家不得不选择的“证伪工具”。我卖课怎么了，我不是在试图用商业方案解决咱们中国大陆地区的生命科学领域的生物信息学数据分析能力短缺的现象吗？你可以不参加，为什么要诋毁呢？

我的观点很简单的：传统的生命科学湿实验工作者，比如在读本科生研究生或者打零工的科研助理，他们类似于建筑业里面的水泥工不可或缺但是任务繁重而且报酬很低，重复性工作很容易被人工智能替代。不如多学一点生物信息学数据处理，有点类似于建筑工学一点设计提高自己的职业发展可能性。

分享给大家一个故事

三个工人在砌一面墙。有一个好管闲事的人过来问:“你们在干什么？”
第一个工人爱搭不理地说:“没看见吗？我在砌墙。”
第二个工人抬头看了一眼好管闲事的人，说:“我们在盖一栋楼房。” 
第三个工人真诚而自信地说:“我们在建一座城市。”
十年后，第一个人在另一个工地上砌墙；第二个人坐在办公室中画图纸，他成了工程师；第三个人呢，成了一家房地产公司的总裁，是前两个人的老板。
态度决定高度，仅仅十年的时间，三个人的命运就产生了截然不同的变化，是什么原因造成这样的结果？是态度！
一个人有什么样的心态，就会有什么样的追求和目标。有努力必有回报。
第一个工人总在抱怨生活的不公，心情必然是低沉的，每天想的都是一些消极情绪的事情，对待别人也是爱搭不理的。
第二个人相比第一个人心态会好一点，虽然也是一样在砌墙，但是他会把手上的动作当成建造楼房，心里也是想着如何把房子建得更好。
第三个人的心态是最好的，他虽然和前两个做的事情是一样的，工作虽然很辛苦，但是还是那样自信和专注。

生物信息学确实是值得学

反正是在前面的推文：离大谱了，生信转湿实验？，大放厥词的黑粉我都直接拉黑名单了。永远不可能叫得醒一个装睡的人，既然是有人拒绝那就让他与世隔绝吧。我们生信技能树要做的是几百万的生命科学领域湿实验转行数据分析，这个大事业肯定是会有很多阻力，虽千万人吾往矣！！！

文末就送给大家张泽民主任在北京大学2024年研究生毕业典礼上的发言，院士喊你来学习生物信息呢，你不会拒绝吧？人家院士早在三十年前就从分子与细胞生物学专业方向转到了生物信息学，那个时候我甚至还没有出生！！！