10X的单细胞转录组原始数据也可以在EBI下载

众所周知,测序数据单端测序就是一个fq文件,双端测序就2个。但是呢,10X的单细胞转录组原始数据的话, 比较特殊,它的测序文库中包括index、barcode、UMI和测序reads。

  • 首先,1-26个cycle就是测序得到了26个碱基,先是16个Barcode碱基,然后是10个UMI碱基;
  • 然后,27-34这8个cycle得到了8个碱基,就是i7的sample index;
  • 最后35-132个cycle得到了98个碱基,就是转录本reads,需要拿去做比对的!

然后呢,我们《生信技能树》目前出NGS数据处理教程,通常是会建议大家在EBI下载,这样的话,速度有保障!

比如文章Single-Cell RNA Sequencing of Lymph Node Stromal Cells Reveals Niche-Associated Heterogeneity. Immunity 2018 May 15;48(5):1014-1028.e6. PMID: 29752062 的表达矩阵在https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE112903 ,如果我们想从头到尾下载10X的单细胞转录组原始数据自己走cellranger流程,就需要注意数据库地址了。

在NCBI的SRA数据库如下,是两个样品的10X的单细胞转录组原始数据:

image-20201030114329336

每个样品的10X的单细胞转录组原始数据都是3个文件,如下 :

image-20201030114400291

大家如果是从这个NCBI的SRA数据库下载,就会遇到速度超级慢的情况;

但是EBI就不一样

首先,ebi链接是:https://www.ebi.ac.uk/ena/browser/view/PRJNA449452 ,可以参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好,然后去EBI里面搜索到的 fq.txt 路径文件。

很容易拿到全部的aspera链接:

image-20201030114935997

脚本如下:

# conda activate download 
# 自己搭建好 download 这个 conda 的小环境哦。
cat fq.txt |while read id
do
ascp -QT -l 300m -P33001 \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh \
era-fasp@$id .
done
# nohup bash step1-aspera.sh 1>step1-aspera.log 2>&1 &

这个脚本会根据你在EBI里面搜索到的 fq.txt 路径文件,来批量下载fastq测序数据文件。

这个fq.txt 路径文件内容如下:

fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/008/SRR6976738/SRR6976738.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/009/SRR6976739/SRR6976739.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/000/SRR6976740/SRR6976740.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/001/SRR6976741/SRR6976741.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/002/SRR6976742/SRR6976742.fastq.gz
fasp.sra.ebi.ac.uk:/vol1/fastq/SRR697/003/SRR6976743/SRR6976743.fastq.gz

基本上一两个小时就下载了这100G的全部文件,如下所示:

2.2G 10月 31 19:59 SRR6976738.fastq.gz
6.1G 10月 31 19:59 SRR6976739.fastq.gz
 21G 10月 31 19:59 SRR6976740.fastq.gz
2.2G 10月 31 19:59 SRR6976741.fastq.gz
6.1G 10月 31 19:59 SRR6976742.fastq.gz
 21G 10月 31 19:59 SRR6976743.fastq.gz

全部下载成功后,需要 gzip -t 命令检查文件完整性。

然后需要文件重新命名哦!这个非常这样,官网给出的文件重新命名指南:https://support.10xgenomics.com/single-cell-gene-expression/software/pipelines/2.0/using/fastq-input#wrongname , 文件名不合格,程序肯定是失败的!

最后走我们的流程即可,参考我在《生信技能树》的教程:cellranger更新到4啦(全新使用教程)

目前单细胞转录组以10X公司为主流,我们也是在单细胞天地公众号详细介绍了cellranger流程,大家可以自行前往学习,如下:

但是这个两年前的系列笔记是基于V2,V3版本的cellranger,目前呢它更新到了版本4,建议以我的最新版教程为准,在《生信技能树》的教程:cellranger更新到4啦(全新使用教程)

作为一个学徒作业吧

走完这个10X的单细胞转录组原始数据全部分析流程,拿到聚类分群图表,如下:

image-20201030115642523

公共数据库下载的10X原始数据通常是有问题的

如果是一个SRA文件,解压成为3个文件

 2.6G 9月 19 13:21 SRR7722937.sra
 593M 9月 19 13:21 SRR7722938_S1_L001_I1_001.fastq.gz
 1.3G 9月 19 13:19 SRR7722938_S1_L001_R1_001.fastq.gz
 3.4G 9月 19 13:22 SRR7722938_S1_L001_R2_001.fastq.gz
 3.7G 9月 19 13:22 SRR7722938.sra
 288M 9月 19 13:22 SRR7722939_S1_L001_I1_001.fastq.gz
 606M 9月 19 13:22 SRR7722939_S1_L001_R1_001.fastq.gz
 1.7G 9月 19 13:21 SRR7722939_S1_L001_R2_001.fastq.gz
 1.8G 9月 19 13:22 SRR7722939.sra
 329M 9月 19 13:22 SRR7722940_S1_L001_I1_001.fastq.gz
 688M 9月 19 13:23 SRR7722940_S1_L001_R1_001.fastq.gz
 1.7G 9月 19 13:20 SRR7722940_S1_L001_R2_001.fastq.gz
 2.0G 9月 19 13:20 SRR7722940.sra
 168M 9月 19 13:19 SRR7722941_S1_L001_I1_001.fastq.gz
 350M 9月 19 13:20 SRR7722941_S1_L001_R1_001.fastq.gz
 947M 9月 19 13:21 SRR7722941_S1_L001_R2_001.fastq.gz
1016M 9月 19 13:20 SRR7722941.sra
 306M 9月 19 13:20 SRR7722942_S1_L001_I1_001.fastq.gz
 646M 9月 19 13:20 SRR7722942_S1_L001_R1_001.fastq.gz
 1.7G 9月 19 13:23 SRR7722942_S1_L001_R2_001.fastq.gz

这样的文件改名成功后就可以直接运行cellranger流程啦,通常是没有问题的。

但是,如果是EBI数据库下载3个文件:

2.2G 10月 31 19:59 SRR6976741.fastq.gz
6.1G 10月 31 19:59 SRR6976742.fastq.gz
 21G 10月 31 19:59 SRR6976743.fastq.gz

它们的内容分别如下:

zcat SRR6976741_S1_L001_I1_001.fastq.gz |head
@SRR6976741.1 1/1
AGTGGAAC
+
AAA-<<JF
@SRR6976741.2 2/1
AGTGGAAC
+
AAAFFJJJ

以及

zcat SRR6976741_S1_L001_R1_001.fastq.gz |head
@SRR6976742.1 1/1
CTCGTCACAAATTGCCTGAACTGTCA
+
AAFF<JJJJJFJJJJJJFA-<FJFFJ
@SRR6976742.2 2/1
GTACGTACAATCACACTATTCCATCG
+
A-<<A<AAAAAF7<-FFJ<-F-<F<A

以及

zcat SRR6976741_S1_L001_R2_001.fastq.gz |head
@SRR6976743.1 1/2
AACNNNNCCNANACCCNTGGAGNNNGAGNCNANNTNNNNCNNANNNNTNTNGNTCNTGNGNGGATGAAGGTTGGGCTTAGTGAGGAGTGGGCGGCCGT
+
<-<####<-#A#FJ-F#--7F-###7A-#-#-##-####7##-####-#-#-#7-#7-#-#<-7---7---<A---7-<77A-<AF-----7------
@SRR6976743.2 2/2
GTCNNNNCGNANGCTGNTAGAANNNGTCNCNGNNTNNNNTNNTNNNNTNANGNTGNTANGNGTTATACGGTAGCTATCATTAAGAAGTAGGCGGAGGC
+
A<<####--#7#-A--#-7F--###7--#<#<##-####-##-####-#-#-#--#7A#-#7F77--7F--77---777-7<<-77-7----77-777
@SRR6976743.3 3/2
AATNNNNGANANANTANAATNNNNNNGTNTNTNNGNNNNTNNANNNNCNTNANTTNAGNANNCTGAACACACTATTTTGTATAAAGCCAATCTTAACG

可以看到,它们虽然是同一个样品的同一次测序,但是同一个reads被分割成为了3个文件后,reads的名字也被修改了。运行cellranger流程就会失败,需要把这3个文件内容也修改!

示例代码是:

mkdir new
nohup zcat SRR6976741_S1_L001_I1_001.fastq.gz | sed 's/SRR6976741./read/g'| \
gzip > new/SRR6976741_S1_L001_I1_001.fastq.gz &
nohup zcat SRR6976741_S1_L001_R1_001.fastq.gz | sed 's/SRR6976741./read/g'| \
gzip > new/SRR6976741_S1_L001_R1_001.fastq.gz &
nohup zcat SRR6976741_S1_L001_R2_001.fastq.gz | sed 's/SRR6976741./read/g'| \
gzip > new/SRR6976741_S1_L001_R2_001.fastq.gz &

Comments are closed.