最近打理自己的生信菜鸟团博客发现阿里云又开始搞活动了，这次虽然不是2年免费，不过也差不多，三年才五百多块钱！
https://wanwang.aliyun.com/hosting?spm=5176.200021.297964.9.3e7d4e358nFA7U

对个人博客来说，这个配置绰绰有余，而且是国内主机，加上如果域名也买在阿里云，操作起来就非常贴心了！
提醒一下，这个是虚拟主机，无法提供ssh登陆的，如果需要购买真正的云主机，需要购买阿里云ECS服务器，也有学生活动，登录阿里云官方网站，在“产品与服务”中选择云服务器ECS，选择立即购买。运气好的话还能赶上阿里的一些优惠活动。有学生机跟新用户专享的199一年的体验机。
当然，在国内，所以需要备案，遵纪守法嘛！

首先买空间买域名

空间根据自己的经济实力哦。
域名需要解析到自己的空间

然后备案

遵纪守法，按照提示一步步来即可。

最后开辟WordPress博客

基本上看看前辈们教程，很容易学会:
一键部署Wordpress 网站－ 阿里云新手学堂 - Alibaba Cloud
阿里云ECS服务器搭建wordpress个人博客网站【详细图文教程】-云栖 …
如何在阿里云服务器上搭建wordpress博客？ - 知乎

也可以使用GitHub免费博客

其实吧，说这样的话可能会被喷，毕竟是薅羊毛，不过呢，大家不一定会选择这个策略，因为GitHub免费博客各种限制，而且访问速度通常很慢，如果你确实感兴趣，三分钟就搞定，看教程：https://zhuanlan.zhihu.com/p/28321740
使用客户端玩转GitHub ，就是 modify -> conmmit -> publish -> view
中文就是：修改 -> 提交版本 -> 发布到云端 -> 在网站上查看。

• 下载地址：https://desktop.github.com/
  • html模板地址：https://html5up.net/
    

    最好是用markdown写作

    一般来说做笔记分享，需要用markdown语法，不熟悉的人可能会害怕，但是一旦你花15分钟了解了它，你会爱上写作，相信我。
    小技巧的第二节我讲的就是markdown：https://www.bilibili.com/video/av25131640
    学习markdown 可以先看看 基础语法：https://mp.weixin.qq.com/s/hZj91FWIaw4cS39_jgjl7g
    学习编辑器，推荐typora：https://vip.biotrainee.com/d/82-typora-markdown/10
    最后是关于记笔记： https://vip.biotrainee.com/d/268
    markdown效果如下：https://raw.githubusercontent.com/jmzeng1314/my_WGCNA/master/readme.md
    https://github.com/jmzeng1314/my_WGCNA/blob/master/readme.md
    类似于上面这样的，就是markdown
    其实还有rmarkdown更方便，参考我在腾讯课堂的免费视频： https://ke.qq.com/course/274681?tuin=4926c730

    拿到博客的第一个任务

    把我在生信技能树的周末班全套练习题内容复制粘贴到自己的博客，注意标记出处哦，同时也把自己完成作业后的答案写在博客。

    R语言的练习题

    初级10 个题目，尽量根据参考代码理解及完成：http://www.bio-info-trainee.com/3793.html
    中级要求是：http://www.bio-info-trainee.com/3750.html
    高级要求是完成20题： http://www.bio-info-trainee.com/3415.html
    统计专题 30题：http://www.bio-info-trainee.com/4385.html
    可视化专题30题：http://www.bio-info-trainee.com/4387.html

    LINUX的练习题：

    最低要求是完成我的 linux 20题 http://www.bio-info-trainee.com/2900.html
    其次完成生物信息学数据格式的习题(blast/blat/fa-fq/sam-bam/vcf/bed/gtf-gff)，收集这些格式的说明书。
    fasta和fastq格式文件的shell小练习 http://www.bio-info-trainee.com/3575.html
    sam和bam格式文件的shell小练习 http://www.bio-info-trainee.com/3578.html
    VCF格式文件的shell小练习 http://www.bio-info-trainee.com/3577.html

    RNA-seq只有小考核

    http://www.bio-info-trainee.com/3920.html

    第二个任务

    把我学徒培养的各种资料细节完善，代码在：
    https://www.jianshu.com/p/49d035b121b8 给学徒的WES数据分析流程
    https://www.jianshu.com/p/a84cd44bac67 原创10000+生信教程大神给你的RNA实战视频演练
    https://www.jianshu.com/p/5bce43a537fd 给学徒的ATAC-seq数据实战
    https://mp.weixin.qq.com/s/a4qAcKE1DoukpLVV_ybobA 给学徒ChIP-seq数据处理流程
    讲义都是在：
    学徒第一周：文档链接：https://mubu.com/doc/38tEycfrQg 密码：vl3q
    学徒第二周：文档链接：https://mubu.com/doc/38y7pmgzLg 密码：p6fo
    学徒第三周：文档链接：https://mubu.com/doc/1iDucLlG5g 密码：7uch
    学徒第四周：文档链接：https://mubu.com/doc/11taEb9ZYg 密码：wk29
    授课内容包括：
    

最近给学徒布置了一个作业，是一篇文章的数据图表重现，如下：

很简单，就是参考文献的28个免疫基因集拿出来，对从GEO下载的表达矩阵进行ssGSEA分析的结果热图呈现即可，比较难的应该是理解那28个免疫基因集，并且拿到每个基因集对应的基因列表，我本来以为是

• 2013的CELL文章：Spatiotemporal Dynamics of Intratumoral Immune Cells Reveal the Immune Landscape in Human Cancer
• 结果是2016的CELL reports文章：Pan-cancer Immunogenomic Analyses Reveal Genotype-Immunophenotype Relationships and Predictors of Response to Checkpoint Blockade

表现优异的学徒

但是拿到学徒提交的代码才眼前一亮，她居然是从上面文章的PDF附件里面，使用R语言的pdftools包进行自动化读取，并且格式化成为基因集列表进行后续ssGSEA分析，虽然代码很丑，但是实现了目的，PDF如下所示：

可以看到第 20到36页，是记录着基因集信息。

读取PDF并且提取信息的代码如下：

rm(list=ls())
library(pdftools)
options(stringsAsFactors = F)
b <- pdf_text('SupplementaryTables.pdf')
geneset_substract<- function(tmp){split_to_line<- gsub('\r','',strsplit(tmp,split = '\n')[[1]])
 gene_name<- apply(data.frame(split_to_line),1,function(x){ line<- strsplit(x,split=' ')[[1]]
 pos<- grep('[A-Za-z\\d+]|\\d+',line)
 res <- line[pos[1]]})
 cell_type<- apply(data.frame(split_to_line),1,function(x){ line<- strsplit(x,split=' ')[[1]]
 pos<- grep('[A-Za-z\\d+]|\\d+',line)
 res <- line[pos]
 res <- res[c(-1,-length(res))]
 s <- ''
 for (i in 1:length(res)){
 s<- paste(s,res[i])}
 return(s)})
 result<- data.frame(gene_name,cell_type)
 return(result)
 }
gene_set <- data.frame()
for(i in 20:36){
 gene_set<- rbind(gene_set,geneset_substract(b[i]))
}
gene_set <- gene_set[c(-1,-2),]
list <- list()
for(i in 1:length(unique(gene_set$cell_type))){
 list[[i]] <- gene_set$gene_name[gene_set$cell_type== (unique(gene_set$cell_type)[i])]
}
names(list)<- unique(gene_set$cell_type)

得到的基因集列表如下：

后续ssGSEA分析以及热图可视化，见生信菜鸟团的周一数据挖掘专场吧，这里留个悬念哈！

apply家族函数要活学活用

不过， 我还是觉得学徒代码太丑，修改了一下：

rm(list=ls())
library(pdftools)
options(stringsAsFactors = F)

b <- pdf_text('SupplementaryTables.pdf')

tmp = unlist(lapply(20:36, function(i){
 trimws(strsplit(b[[i]],split = '\n')[[1]])
}))
tmp=tmp[-c(1,2)]
library(stringr)
tmp=do.call(rbind,lapply(str_split(tmp,' '), function(x){
 x=x[-length(x)]
 gene_name<- x[1]
 cell_type<- trimws(paste(x[-1],collapse = ' '))
 return(c(gene_name,cell_type))
}))
immune_list <- split(tmp[,1],tmp[,2])

后记

我相信这个技巧在很多场合都蛮有用的，不仅仅是生物信息学，如果你根据我们的教程学了后用到了可以发邮件跟我们交流哦。

打开你的Rstudio，运行下面的代码：

set.seed(0.12345)
n=26
df=data.frame(LETTERS,rnorm(n),rnorm(n),
 rnorm(n),rnorm(n),rnorm(n))
a=lapply(2:ncol(df), function(i){
 x=df[,c(1,i)]
 x=x[x[,2]>0,]
 return(x)
})

很明显，开始有一个数据框如下：

然后就不小心被lapply这个循环弄成了长短不一的list，这个时候需要把长短不一的list再次还原为数据框或者矩阵，大概如下：

之前那些因为小于0所以被过滤掉的这个时候还原到数据框里面，需要补为0即可。

如果你能独立完成这个题目，恭喜你，省了 3199 培训费，可以直接参加我们的单细胞线下培训啦。

https://mp.weixin.qq.com/s/ePD7XyvDeYdKkuSMI65cbg 

一年一度的生信技能树单细胞线下培训班火热招生 

【直播】我的基因组47:测序深度和GC含量的关系 以前自己写脚本，太复杂，大家看不懂

下载hg38参考基因组

直接谷歌搜索即可：

拿到下载链接，近1G大小的文件，里面存放分类约3G的参考基因组。

http://hgdownload.cse.ucsc.edu/goldenPath/hg38/bigZips/hg38.fa.gz

拿到hg38各个染色体长度

使用python里面的pyfaidx模块的faidx命令，代码如下

pip install pyfaidx
faidx hg38.fasta -i chromsizes > sizes.genome

结果如下：

chr1 248956422
chr10 133797422
chr11 135086622
chr12 133275309
chr13 114364328
chr14 107043718
chr15 101991189
chr16 90338345
chr17 83257441
chr18 80373285
chr19 58617616
chr2 242193529
chr20 64444167
chr21 46709983
chr22 50818468
chr3 198295559
chr4 190214555
chr5 181538259
chr6 170805979
chr7 159345973
chr8 145138636
chr9 138394717
chrM 16569
chrX 156040895
chrY 57227415

生成200Kb的区间bed文件

这里需要写脚本，我使用自己擅长的perl语言，代码如下：

cat sizes.genome |perl -alne '{print "$F[0]\t",200000*$_,"\t",200000*($_+1) foreach 0..$F[1]/200000-1}' > 200k.bed

输出文件开头如下：

chr1 0 200000
chr1 200000 400000
chr1 400000 600000
chr1 600000 800000
chr1 800000 1000000
chr1 1000000 1200000

值得注意的是线粒体长度是小于200K的，所以后面会出现警告：

Feature (chrM:0-200000) beyond the length of chrM size (16569 bp). Skipping.

不过问题不大。

使用bedtools统计200Kb的区间的基因组GC含量

因为使用的是bedtools这样成熟的轮子， 所以就是一行代码而已：

bedtools nuc -fi hg38.fa -bed 200k.bed | cut -f 1-3,5 > 200k_gc.bed
# 4_pct_at 5_pct_gc 6_num_A 7_num_C 8_num_G 9_num_T 10_num_N

文件如下：

$head 200k_gc.bed
#1_usercol 2_usercol 3_usercol 5_pct_gc
chr1 0 200000 0.420110
chr1 200000 400000 0.220065
chr1 400000 600000 0.315425
chr1 600000 800000 0.427140
chr1 800000 1000000 0.534730
chr1 1000000 1200000 0.608690
chr1 1200000 1400000 0.616775
chr1 1400000 1600000 0.567760
chr1 1600000 1800000 0.550655

使用bedtools统计200Kb的区间的测序情况

用的bedtools的multicov 这个小命令 ，代码如下：

bedtools multicov -bams alignment/SRR3081110.bam -bed 200k.bed > 200K_counts.bed

输出文件如下：

$head 200K_counts.bed
chr1 0 200000 53
chr1 200000 400000 44
chr1 400000 600000 58
chr1 600000 800000 146
chr1 800000 1000000 39
chr1 1000000 1200000 16
chr1 1200000 1400000 16
chr1 1400000 1600000 33
chr1 1600000 1800000 43
chr1 1800000 2000000 63

一起学一个包吧！

一个背景

哺乳动物基因组CpG位点通常集中在称为CpG岛（CpG island，CGI）的区域中，并且已知人基因启动子~60％含有CpG岛。CpG岛上下游不超过2000个碱基对（2kb）的基因组区域称为CpG“岛岸”（shores），其中CpG shelves指位于CpG shores 上下游2kb以内的区域，open sea指CpG islands、CpG shores和CpG shelves之外的其他区域。这4种情况形成了CpG resort。CpG位点的密度从island到open sea递减。

3个技术

主要是 甲基化测序的 WGBS和RRBS，还有 芯片：

全基因组DNA甲基化测序（Whole Genome Bisulfite Sequencing，WGBS）是 DNA 甲基化研究的金标准，它通过 Bisulfite 处理和全基因组 DNA 测序结合的方式，对整个基因组上的甲基化情况进行分析，具有单碱基分辨率，可精确评估单个 C 碱基的甲基化水平，构建全基因组精细甲基化图谱。数据量非常大。

简化甲基化测序 (Reduced representation bisulfite sequencing, RRBS)是一种准确、高效、经济的DNA甲基化研究方法，通过酶切 (Msp I) 富集启动子及CpG岛区域，并进行Bisulfite测序，同时实现DNA甲基化状态检测的高分辨率和测序数据的高利用率。作为一种高性价比的甲基化研究方法，简化甲基化测序在大规模临床样本的研究中具有广泛的应用前景。

Illumina的Infinium BeadChip芯片，包括HumanMethyation450（450K）和MethylationEPIC（850K）。Infinium芯片存在染料偏差、不同探针化学和位置效应的问题，已知这些问题会影响结果，必须在数据处理过程中进行校正。Infinium 450K探针交叉反应和模糊比对到人类基因组中的多个位置影响了485,000个探测器中的约140,000个探针（29％），将可用探针的数量减少到约345,000个。这个问题在新发布850K仍然存在，其包括> 90％的450K探针。

有文章比较这3个技术：Empirical comparison of reduced representation bisulfite sequencing and Infinium BeadChip reproducibility and coverage of DNA methylation in humans

主要是分析 差异甲基化区域（DMRs）与 DMR 相关差异表达基因

数据介绍

这里选择 https://www.ncbi.nlm.nih.gov/geo/query/acc.cgi?acc=GSE52140

提供每个样本的信号值矩阵下载

下载并且了解数据:

查看压缩包内容，如下：

head GSM1084240_A3R_d6_250.cpgs.txt
CHR POS A3R_d6_250
chr1 10525 21/23
chr1 10542 21/23
chr1 10609 1/23
chr1 10617 0/24
chr1 10620 0/24
chr1 10631 0/24
chr1 10633 0/24
chr1 10636 0/24
chr1 10638 0/24

DSS包要求输入文件数据:每一行代表一个CpG site, 格式如下:

• 第一列为染色体
• 第二列为位置
• 第三列为total reads
• 第四列为甲基化的reads

所以我们下载的数据需要进行拆分，然后导入到R里面才能被DSS包使用。

DSS包介绍

主要是把上面项目的数据文件下载，然后导入到R里面，是有DSS包进行分析。

DSS (Dispersion Shrinkage for Sequencing data)，为基于高通量测序数据的差异分析而设计的Bioconductor包。主要应用于BS-seq（亚硫酸氢盐测序）中计算不同组别间差异甲基化位点（DML）和差异甲基化区域（DMR）即Call DML or DMR。

DSS包的使用主要包括：

• 输入文件的准备
• 利用DMLtest函数检验所有的位点
• 利用callDML函数挑选统计学显著的位点
• 利用callDMR函数Call DMR
• 利用showOneDMR函数对DMRs可视化

首先我们导入上面GSE52140数据集的文件：

library(data.table)
library(stringr)
library(tidyverse) 
allDat <- lapply(list.files('GSE52140_RAW/',pattern='*cpgs.txt.gz'),function(f){
 # f="GSM1251242_H2R_d0.cpgs.txt.gz";
 print(f);
 tmp=fread(file.path('GSE52140_RAW/',f))
 chr=as.character(tmp$CHR)
 pos=as.character(tmp$POS) 
 newTmp=separate(tmp,col =3,into = c("methy", "unmethy"), sep = "/")
 newTmp$all=as.numeric(newTmp$methy)+as.numeric(newTmp$unmethy)
 newTmp=as.data.frame(newTmp[,c(1,2,5,3)])
 colnames(newTmp)=c('chr', 'pos' ,'N' ,'X')
 return(newTmp)
})

## 值得注意的是每个样本的位点数量不一致哦
do.call(rbind,lapply(allDat,dim))
tmp=do.call(cbind,lapply(allDat,head))

sn=gsub('.cpgs.txt.gz','',list.files('GSE52140_RAW/',pattern='*cpgs.txt.gz'))
sn=gsub('GSM.*?_','',sn)
sn

也就是说把这17个文件读入了，样本名字是：

> sn
 [1] "A0R_d0_rep1" "A3R_d0_rep1" "A3R_d6_250" "A3R_d6_1000" 
 [5] "A3R_d13_250" "A3R_d13_1000" "H0R_d0_rep1" "H3R_d0_rep1" 
 [9] "H3R_d6_250" "H3R_d13_250" "A0R_d0_rep2" "A3R_d0_rep2" 
[13] "H0R_d0_rep2" "H3R_d0_rep2" "A1R_d0" "A2R_d0" 
[17] "H2R_d0"

这个时候，这个变量有点大，可能会考验你的计算机哦。

然后我们用下面的3个例子来说明这个DSS包的用法，需要掌握上面样本的命名：

# lung cancer cell lines A549 (A) and HTB56 (H)
# normal cell lines (0R) 
# a highly metastatic phenotype (3R)
# 5-Azacytidine treatment at low concentrations (250 nM & 1000 nM) 
# for 6 days, additional 7 days in regular medium

单样本VS单样本

代码如下，重要就是构建对象和做统计检验

library(DSS)
require(bsseq) 
if(T){
 BSobj <- makeBSseqData(allDat[1:2],
 c("A0R", "A3R") )[1:1000,]
 BSobj
 save(BSobj,file = 'single-BSobj.Rdata')
 # There is no biological replicates in at least one condition.
 dmlTest <- DMLtest(BSobj, group1=c("A0R"), group2=c("A3R"),smoothing=TRUE)
 head(dmlTest) 
}

多样本的组VS另一个组

代码如下，重要就是构建对象和做统计检验，这里比较”A0R_d0”和”A3R_d0”组别的2个样本：

if(T){
 sn[c(1,11,2,12)]
 BSobj <- makeBSseqData(allDat[c(1,11,2,12)],
 sn[c(1,11,2,12)] )[1:1000,]
 BSobj 
 save(BSobj,file = 'group-BSobj.Rdata')
 dmlTest <- DMLtest(BSobj, group1=c("A0R_d0_rep1","A0R_d0_rep2"),
 group2=c("A3R_d0_rep1","A3R_d0_rep2"),smoothing=F)
 head(dmlTest) 
}

多种比较方式

代码如下，重要仍然是构建对象和做统计检验，但是需要构建属性矩阵，而且增加了DMLfit步骤。

 sn
 sn[grep('rep',sn)]
 cellline=substring(sn[grep('rep',sn)],1,1)
 type=substring(sn[grep('rep',sn)],2,2)
 design=data.frame(cellline=cellline,type=type)
 design

得到的属性矩阵如下：

 sn
 sn[grep('rep',sn)]
 cellline=substring(sn[grep('rep',sn)],1,1)
 type=substring(sn[grep('rep',sn)],2,2)
 design=data.frame(cellline=cellline,type=type)
 design

 # 构建对象特别耗时；
 BSobj <- makeBSseqData(allDat[c(grep('rep',sn))],
 sn[grep('rep',sn)]) 
 BSobj 
 save(BSobj,file = 'multi-BSobj.Rdata')
 load(file = 'multi-BSobj.Rdata')
 DMLfit=DMLfit.multiFactor(BSobj,design,
 formula = ~cellline+type+cellline:type)

 colnames(DMLfit$X) 
 # 这里可以使用 ‘coef’, ‘term’, or ‘Contrast’我们仅仅是演示 coef
 dmlTest=DMLtest.multiFactor(DMLfit,coef=2)
 head(dmlTest)

值得注意的是DMLtest.multiFactor结果不需要callDML，只需要callDMR即可!

结果介绍

不管是哪种比较，最后都得到dmlTest变量走后面的流程，包括确定显著差异甲基化区域及基因，以及可视化展现，代码如下：

# 3.Call DML by using callDML function. The results DMLs are sorted by the significance.
dmls <- callDML(dmlTest, p.threshold=0.001)
head(dmls)
##To detect loci with difference greater than 0.1, do:
dmls2 <- callDML(dmlTest, delta=0.1, p.threshold=0.001)
head(dmls2)

# 4.Call DMR by using callDML function
##Regions with many statistically significant CpG sites are identified as DMRs.
dmrs <- callDMR(dmlTest, p.threshold=0.01)
head(dmrs)
##To detect regions with difference greater than 0.1, do:
dmrs2 <- callDMR(dmlTest, delta=0.1, p.threshold=0.05)
head(dmrs2)

# 5.The DMRs can be visualized using showOneDMR function
showOneDMR(dmrs[1,], BSobj)

很明显，参数都是可以调整的，统计学显著性的阈值自己把握。

作业

分析文章 Enduring epigenetic landmarks define the cancer microenvironment ，拿到 患者间差异甲基化区域（DMRs）与 DMR 相关差异表达基因（DE-DMRs）

最近很多人反映conda镜像挂掉的问题，所以我有必要给粉丝测试一下：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

代码正常安装即可！

万一你没有把conda添加到环境变量，也可以重新安装，或者修改bashrc咯，我这里测试的用户就是 Ubuntu用户。

no change /home/ubuntu/miniconda3/condabin/conda
no change /home/ubuntu/miniconda3/bin/conda
no change /home/ubuntu/miniconda3/bin/conda-env
no change /home/ubuntu/miniconda3/bin/activate
no change /home/ubuntu/miniconda3/bin/deactivate
no change /home/ubuntu/miniconda3/etc/profile.d/conda.sh
no change /home/ubuntu/miniconda3/etc/fish/conf.d/conda.fish
no change /home/ubuntu/miniconda3/shell/condabin/Conda.psm1
no change /home/ubuntu/miniconda3/shell/condabin/conda-hook.ps1
no change /home/ubuntu/miniconda3/lib/python3.7/site-packages/xonsh/conda.xsh
no change /home/ubuntu/miniconda3/etc/profile.d/conda.csh
modified /home/ubuntu/.bashrc

这个文件被修改的很复杂，一般人可能是看不懂的，当然，也不需要懂。

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/ubuntu/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
 eval "$__conda_setup"
else
 if [ -f "/home/ubuntu/miniconda3/etc/profile.d/conda.sh" ]; then
 . "/home/ubuntu/miniconda3/etc/profile.d/conda.sh"
 else
 export PATH="/home/ubuntu/miniconda3/bin:$PATH"
 fi
fi
unset __conda_setup

默认的镜像可以查看： conda config --show channels

conda的base环境可以被抑制

这样就不用担心conda污染我们的系统了

source /home/ubuntu/.bashrc
conda config --set auto_activate_base false

尝试下载安装

首先测试 conda install numpy 发现速度非常棒！

 blas pkgs/main/linux-64::blas-1.0-mkl
 intel-openmp pkgs/main/linux-64::intel-openmp-2019.3-199
 libgfortran-ng pkgs/main/linux-64::libgfortran-ng-7.3.0-hdf63c60_0
 mkl pkgs/main/linux-64::mkl-2019.3-199
 mkl_fft pkgs/main/linux-64::mkl_fft-1.0.12-py37ha843d7b_0
 mkl_random pkgs/main/linux-64::mkl_random-1.0.2-py37hd81dba3_0
 numpy pkgs/main/linux-64::numpy-1.16.3-py37h7e9f1db_0
 numpy-base pkgs/main/linux-64::numpy-base-1.16.3-py37hde5b4d6_0

这个 mkl-2019.3 | 203.3 MB 都是几秒钟就下载OK了。

再尝试fastqc等生物信息学软件。

conda deactivate
conda create -n qc
conda activate qc
conda info
conda install fastqc -c bioconda

速度也飞快，这个时候我的镜像是：

custom_channels:
 pkgs/main: https://repo.anaconda.com
 pkgs/free: https://repo.anaconda.com
 pkgs/r: https://repo.anaconda.com
 pkgs/pro: https://repo.anaconda.com
custom_multichannels:
 defaults:
 - https://repo.anaconda.com/pkgs/main
 - https://repo.anaconda.com/pkgs/free
 - https://repo.anaconda.com/pkgs/r
 local:
debug: False
default_channels:
 - https://repo.anaconda.com/pkgs/main
 - https://repo.anaconda.com/pkgs/free
 - https://repo.anaconda.com/pkgs/r
default_python: 3.7

尝试修改镜像

首先看看清华镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda
conda config --set show_channel_urls yes
conda config --show channels
conda deactivate
conda create -n qinghua
conda activate qinghua
conda install fastqc -c bioconda

虽然慢了一点，但实际上还是可以使用的！

值得一提的是这个时候安装的是 openjdk-11.0.1 ， 而 默认镜像安装的是：openjdk-8.0.152

再 看看腾讯的镜像：

conda config --add channels https://mirrors.cloud.tencent.com/anaconda/pkgs/free/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/msys2/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/menpo/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/peterjc123/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/pkgs/main/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.cloud.tencent.com/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
conda config --show channels
conda deactivate
conda create -n tercent -y 
conda activate tercent 
conda install fastqc -c bioconda

是不可访问的！！

删除已经添加的镜像

既然腾讯镜像错误，那么就需要删除，其实就是编辑 文件 ~/.condarc 即可

conda config --show channels

帮同学处理一下他从公司拿到的差异分析结果，当然，给我的是Excel表格，老规矩，导出csv然后读入R，然后准备顺手画个火山图，做个GO/KEGG富集分析。下意识的看了看数据结构，然后顺手按照基因名排序了一下，哈哈哈~

这是一个大坑。

就因为这个还有两篇文章；

• Mistaken Identifiers: Gene name errors can be introduced inadvertently when using Excel in bioinformatics 2004年
• Gene name errors are widespread in the scientific literature 2016年

也有人在论坛上面发问，高达2K的阅读量： https://www.biostars.org/p/211861/

Some gene names start with APR/MARC/SEPT* etc default converted into date format.

我们生信技能树论坛也有人分享过： Excel-坑你的基因名没商量！

随意篡改20%的遗传学论文!
​
可就在今年8月份，三位科学家在《Genome Biology》期刊上发表论文，称他们发现20%的遗传学论文包含了Excel软件导致的基因名转换错误。他们对论文进行的扫描显示，科学文献中的基因名错误十分普遍，在默认设置下Excel软件会将基因的名字转换成日期或浮点数。
​
举例来说，基因名字SEPT2和MARCH1会被分别转换成2-Sep和1-Mar;标识符2310009E1被转换成浮点数2.31E+13。

但是，如果你会编程的话，事情就很简单咯

a$Gene.Symbol=unlist(lapply(as.character(a$gene_assignment),function(x){trimws(strsplit(x,'//')[[1]][2])}))

找变异简单点说，就是把高通量测序得到的成千上万条序列片段比对到合适的参考基因组，找到那些成

功比对的片段与参考基因组的微小差异情况。 那么就涉及到存储测序数据的fastq数据格式，比对的工具，比对后的sam格式，找微小差异的工具，差异结果的vcf文件，每个步骤的软件选择，参数 调整。当然，最重要的是走通整个流程，明白自己在做什么。

一个模拟项目

• 首先下载X,Y染色体的fasta序列，在UCSC上面下载即可。
• 然后把X染色体构建bwa的索引
• 接着模拟一个Y染色体的测序数据，模拟的程序很简单,模拟Y染色体的测序片段（PE100，insert400）
• 然后把模拟测序数据比对到X染色体的参考，统计一下比对结果。
• 最后对比对成功的bam文件进行找变异位点。

代码如下：

## 源代码方式安装 bwa-0.7.15 
## conda安装samtools
cd tmp/chrX_Y/hg19/
wget http://hgdownload.cse.ucsc.edu/goldenPath/hg19/chromosomes/chrX.fa.gz 
wget http://hgdownload.cse.ucsc.edu/goldenPath/hg19/chromosomes/chrY.fa.gz 
gunzip chrX.fa.gz
gunzip chrY.fa.gz
~/biosoft/bwa/bwa-0.7.15/bwa index chrX.fa
perl simulate.pl chrY.fa ## 这个perl脚本在 http://www.bio-info-trainee.com/wp-content/uploads/2015/10/tmp.png 
~/biosoft/bwa/bwa-0.7.15/bwa mem -t 5 -M chrX.fa read*.fa >read.sam
samtools view -bS read.sam >read.bam
samtools flagstat read.bam
samtools sort -@ 5 -o read.sorted.bam read.bam
samtools view -h -F4 -q 5 read.sorted.bam |samtools view -bS|samtools rmdup - read.filter.rmdup.bam
samtools index read.filter.rmdup.bam
samtools mpileup -ugf ~/tmp/chrX_Y/hg19/chrX.fa read.filter.rmdup.bam |bcftools call -vmO z -o read.bcftools.vcf.gz
## 把fa/bam/vcf 载入到 IGV 进行可视化，截图其中一个变异位点
## 参考 http://www.biotrainee.com/thread-696-1-1.html

变异寻找的流程

完整的流程可以很复杂：

仅是上变异寻找流程就可以很复杂：

来自于2017年发表于BMC Bioinformatics的文章 MC-GenomeKey: a multicloud system for the detection and annotation of genomic variants

以前做的都是有参转录组分析，只需要找到参考基因组和注释文件，然后走QC-->alignment-->counts->DEG-->annotation的流程图即可。
现在开始学习新的东西了，就是无参转录组分析，这里记录一下自己的学习笔记，首先还是资料收集，这次，我就针对性的看5个 全流程化的转录组 de novo 分析 文章，如下：
http://bmcgenomics.biomedcentral.com/articles/10.1186/1471-2164-15-554  2014年栀子花的花瓣衰老的标准de novo 转录组分析，数据如下：用Trinity做组装，用NCBI non-redundant (Nr) database库做注释，做了差异分析（栀子花花期分成4个阶段），GO/KEGG注释，然后做了RT-qPCR的实验验证。
多做了一个 Clusters of Orthologus Groups (COG)的数据库注释

http://bmcgenomics.biomedcentral.com/articles/10.1186/1471-2164-15-236  2014 巴西橡胶树的研究，是一个综合多组织样本的RNA库，ployT建库，454测序，用的是est2Assembly 和gsassembler 软件做组装，用 NCBI RefSeq, Plant Protein Database 做注释，因为没有分组，所以不必做差异分析，只需要找SNV和SSR标记即可，最后也是做GO/KEGG注释

https://bmcgenomics.biomedcentral.com/articles/10.1186/s12864-016-2633-2 2015 萝卜，用illumina进行转录组测序，用Trinity组装，用RPKM值算unigene的表达量，也是用 BLASTx来对Trinity结果进行注释，注释到NR，NT,Swiss-Prot,GO，COG，kegg数据库，其中GO注释用的是Blast2GO，最后也做了RT-qPCR 实验验证，某些基因在leaf里面的表达量显著高于其它tissue，有原始数据：http://www.ncbi.nlm.nih.gov/sra/?term=SRX1671013
转录组分析结果结果：A total of 54.64 million clean reads and 111,167 contigs representing 53,642 unigenes were obtained from the radish leaf transcriptome.

http://www.nature.com/articles/srep08259 2015 芹菜 叶片发育中木质素的探究，测序的reads是A total of 32,477,416 quality reads were recorded for the leaves at Stage 1, 53,675,555 at Stage 2, and 27,158,566 at Stage 3, respectively.，也是用Trinity组装，kmer值设为25，组装结果：33,213 unigenes with an average length of 1,478 bp, a maximum length of 17,075 bp, and an N50 of 2,060 bp，然后用eggNOG/GO/KEGG数据库来注释。文章正文给了所用到的软件和数据库的详细链接
最后还用了 real-time PCR assays          来看 roots, stems, petioles, and leaf blade 这些组织的基因表达差异情况

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0128659 对 三疣梭子蟹 的卵巢和睾丸的转录组研究，，也是标准的转录组de novo 分析流程，非常值得借鉴
NCBI有上传原始数据：SRR1920180  和SRR1920180  

总结好这5篇文献的数据分析流程，就差不多明白如何做无参的转录组de novo分析了

for ((i=508;i<=523;i++)) ;do wget ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByStudy/sra/SRP/SRP033/SRP033351/SRR1039$i/SRR1039$i.sra;done
ls *sra |while read id; do ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 $id;done

需要自己看SRA里面的数据记录，上面的脚本不难写出，然后因为是Illumina的双端测序，所以我们用fastq-dump --split-3命令来把sra格式数据转换为fastq，但是因为这里有16个测序数据，所以最好是同步改名，我这里用脚本批量生成改名脚本如下：

为了节省空间，我用了--gzip压缩，该文件名，用-A参数。

nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N61311_untreated SRR1039508.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N61311_Dex SRR1039509.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N61311_Alb SRR1039510.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N61311_Alb_Dex SRR1039511.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N052611_untreated SRR1039512.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N052611_Dex SRR1039513.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N052611_Alb SRR1039514.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N052611_Alb_Dex SRR1039515.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N080611_untreated SRR1039516.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N080611_Dex SRR1039517.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N080611_Alb SRR1039518.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N080611_Alb_Dex SRR1039519.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N061011_untreated SRR1039520.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N061011_Dex SRR1039521.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N061011_Alb SRR1039522.sra &
nohup ~/biosoft/sratoolkit/sratoolkit.2.6.3-centos_linux64/bin/fastq-dump --split-3 --gzip -A N061011_Alb_Dex SRR1039523.sra &

可以看到这里的16个样本来源于同样的4个人，是HASM细胞系，处理详情如下：

1) no treatment;

2) treatment with a β2-agonist (i.e. Albuterol, 1μM for 18h);

3) treatment with a glucocorticosteroid (i.e. Dexamethasone (Dex), 1μM for 18h);

4) simultaneous treatment with a β2-agonist and glucocorticoid

下载的sra大小如下：

-rw-rw-r-- 1 jmzeng jmzeng 1.6G Aug 9 04:21 SRR1039508.sra
-rw-rw-r-- 1 jmzeng jmzeng 1.5G Aug 9 05:20 SRR1039509.sra
-rw-rw-r-- 1 jmzeng jmzeng 1.6G Aug 9 06:14 SRR1039510.sra
-rw-rw-r-- 1 jmzeng jmzeng 1.5G Aug 9 07:05 SRR1039511.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.1G Aug 9 08:07 SRR1039512.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.3G Aug 9 09:17 SRR1039513.sra
-rw-rw-r-- 1 jmzeng jmzeng 3.1G Aug 9 10:56 SRR1039514.sra
-rw-rw-r-- 1 jmzeng jmzeng 1.9G Aug 9 11:56 SRR1039515.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.1G Aug 9 13:02 SRR1039516.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.6G Aug 9 14:16 SRR1039517.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.3G Aug 9 15:17 SRR1039518.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.0G Aug 9 16:05 SRR1039519.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.1G Aug 9 16:56 SRR1039520.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.4G Aug 9 17:57 SRR1039521.sra
-rw-rw-r-- 1 jmzeng jmzeng 2.0G Aug 9 18:46 SRR1039522.sra
-rw-rw-r-- 1 jmzeng jmzeng 1.4G Aug 9 19:28 SRR1039523.sra

解压后成双端测序的fastq数据如下：

 -rw-rw-r-- 1 jmzeng jmzeng 2.5G Aug 9 20:12 N052611_Alb_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 2.5G Aug 9 20:12 N052611_Alb_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 20:44 N052611_Alb_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 20:44 N052611_Alb_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 289M Aug 9 20:44 N052611_Alb_Dex.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 951M Aug 9 20:59 N052611_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 954M Aug 9 20:59 N052611_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.7G Aug 9 20:53 N052611_untreated_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.7G Aug 9 20:53 N052611_untreated_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.5G Aug 9 20:45 N061011_Alb_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.5G Aug 9 20:45 N061011_Alb_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.9G Aug 9 20:59 N061011_Alb_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.9G Aug 9 20:59 N061011_Alb_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 16M Aug 9 20:45 N061011_Alb.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.4G Aug 9 20:48 N061011_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.4G Aug 9 20:48 N061011_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.2G Aug 9 20:00 N061011_untreated_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.2G Aug 9 20:00 N061011_untreated_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 759M Aug 9 20:00 N061011_untreated.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.9G Aug 9 20:03 N080611_Alb_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.9G Aug 9 20:03 N080611_Alb_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 19:59 N080611_Alb_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 19:59 N080611_Alb_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 535M Aug 9 19:59 N080611_Alb_Dex.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 2.1G Aug 9 20:06 N080611_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 2.1G Aug 9 20:06 N080611_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.6G Aug 9 20:01 N080611_untreated_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.6G Aug 9 20:01 N080611_untreated_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:09 N61311_Alb_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:09 N61311_Alb_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:08 N61311_Alb_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:08 N61311_Alb_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.2G Aug 9 08:07 N61311_Dex_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.2G Aug 9 08:07 N61311_Dex_2.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:09 N61311_untreated_1.fastq.gz
-rw-rw-r-- 1 jmzeng jmzeng 1.3G Aug 9 08:09 N61311_untreated_2.fastq.gz

接下来所有的分析就基于此数据啦