生信菜鸟团 » 学习 http://www.bio-info-trainee.com 欢迎去论坛biotrainee.com留言参与讨论，或者关注同名微信公众号biotrainee Sat, 28 Jun 2025 14:30:13 +0000 zh-CN hourly 1 https://wordpress.org/?v=4.1.33 生信分析人员如何系统入门perl？ http://www.bio-info-trainee.com/1667.html http://www.bio-info-trainee.com/1667.html#comments Thu, 26 May 2016 15:06:05 +0000 http://www.bio-info-trainee.com/?p=1667 Continue reading →]]> perl语言在老一辈的生物信息学分析人员中非常流行，所以因为历史遗留原因大家肯定会或多或少的接触perl，即使你再怎么推崇python或者GO。
perl是典型的脚本语言，短小精悍，非常容易上手，尤其适合处理文本，数据，以及系统管理。

简单给几个资料吧：
两个半小时入门指导：https://qntm.org/files/perl/perl.html
还有大小骆驼书，建议都看完，以囫囵吞枣的方式阅读，只看基础知识来入门，难点全部跳过。
函数如何用，都可以在http://perldoc.perl.org/perl.html 查到
在看书的同时，你必须记住和熟练使用的知识点是下面这些：
 
首先要理解perl里面的三种变量表示方式:
$ 表示单个变量  用单双引号区别，q(),qq()
@ 表示多个变量组成的数组，qw()
% 表示关系型变量-hash
变量不严格区分类型，没有int/float/double/char这样的概念

以及对这些简单变量的操作函数

# Numerical operators:  <,  >, <=, >=, ==, !=, <=>, +, *
# String operators:    lt, gt, le, ge, eq, ne, cmp, ., x
数组操作(pop/push/shift/unshift/splice/map/grep/join/split/sort/reverse)
hash操作方式(keys,values,each,delete,exists)
变量内容交换，字符型转为数值型，字符串转为字符数组，字符串变量，heredoc，字符串分割，字符串截取，
随机数生成，取整，各种概率分布数，多维矩阵如何操作，进制转换
hash翻转，数组转hash

上下文环境

就是需要理解你写的程序是如何判断你的变量的，你以为的不一定是你以为的
 
正则表达式
这也是一个非常重要的一块内容，基础用法就是m和s，一个匹配，一个替换，比较有趣的就是$1,$2等等捕获变量。
(=~ s{^https?://}{}   =~ m{///})

内建变量

就是perl语言设计的时候定义了一大堆的全局变量($_  $, $0 $> $< $! $. @ARGV @F @_ @INC %ENV %SIG
外表上看起来都是一个$/@/%符号后面加上一大堆的奇奇怪怪的字符，表示一些特殊变量，这也是perl语言饱受诟病的原因。
但是有些非常重要，懂了它之后写程序会方便
下载一个表格，里面有近100个预定义变量需要学习的
 
控制语句(循环/条件/判断)
if ... elsif ... else ...
unless/while/next/last/for/foreach

读写文件，脚本实战！

while(<>){
#do something !
}
这是我最喜欢的一个程序模板，读取文件，根据需要处理文件，然后输出。
需要实现非常多的功能，然后就可以自己总结脚本技巧，也能完全掌握perl的各种语法。
在生物信息学领域，需要实现的功能有！

perl 单行命令

我个人特别喜欢这个知识点，我也专门下载过一本书来学习，把这个教程看完就基本上能全明白：http://www.catonmat.net/blog/perl-one-liners-explained-part-one/
学习单行命令的前提是掌握非常多的奇奇怪怪的perl自定义变量，和perl的基础语法，用熟练了之后就非常方便，很多生物信息学数据处理过程我现在基本不写脚本，都是直接写一行命令，完全代替了shell脚本里面的awk、sed/grep系列命令。
(-p -a -n -a -l -i -F -M)

预定义函数

perl 是一个非常精简的语言，自定义的函数非常少，连min max这样常见的函数都没有，如果你需要使用这样的功能，要么自己写一个函数，要么使用加强版的包，perl的包非常多。
下面列出一些，我常用的包
程序必备 use/die/warn/print/open/close/<>/
数学函数sin/cos/log/abs/rand/srand/sqrt
字符串函数 uc/lc/scaler/index/rindex/length/pos/substr/sprintf/chop/chomp/hex/int/oct/ord/chr/unpack/unencode
defined/undef

系统操作相关

perl语言是跨平台的，因为它的执行靠的是perl解释器，而perl的解释器可以安装在任何机器上面。所以可以用perl来代替很多系统管理工作。
系统命令调用
文件句柄操作(STDIN,STDOUT,STDERR,ARGV,DATA,)
系统文件管理(mkdir/chdir/opendir/closedir/readdir/telldir/rmdir/)

一些高级技巧

自定义函数 sub , 参数传递，数组传递，返回值
模块操作(模块安装，加载，模块路径，模块函数引用)
引用（变量的变量）
选择一个好的编辑器-编译器,editplus,notepad++,jEdit，编程习惯的养成。
搞清楚perl版本的问题，还有程序编码的问题，中文显示的问题
程序调试
 
perl常见模块学习
perl和LWP/HTML做网络爬虫必备，重点是DOM如何解析
perl和CGI编程，做网站的神器，重点是html基础知识
DBI相关数据库，用perl来操作mysql等，当然，重点是mysql知识
GD and GD::Graph 可以用来画图，但是基本上没有人用了，除了CIRCOS画圈圈图火起来了。
TK模块，可以编写GUI界面程序，但是也几乎没有人用了。
XML/pdf/excel/Json 相关的模块可以用来读取非文本格式数据，或者输出格式化报告。
socket通信相关，高手甚至可以写出一个QQ的模仿版本
最后不得不提的就是Bioperl了，虽然我从来没有用过，但是它的确对初学者非常有用，大多数人不提倡重复造轮子，但我个人觉得，对初学者来说，重复造轮子是一个非常好的学习方式。大家可以仿造bioperl里面的各个功能，用自己的脚本来实现！

如果你感觉学的差不多了，就可以下载一些复习资料，查漏补缺:

 

]]> http://www.bio-info-trainee.com/1667.html/feed 0 生信分析人员如何系统入门linux？ http://www.bio-info-trainee.com/1661.html http://www.bio-info-trainee.com/1661.html#comments Mon, 23 May 2016 15:30:54 +0000 http://www.bio-info-trainee.com/?p=1661 Continue reading →]]>

生信分析人员如何系统入门linux？

linux系统在生物信息学数据处理中的重要性就不用我多说了，鉴于一直有学生问我一些很显而易见的问题，对系统性的学习并理解了linux系统操作的专业人士来说是显而易见的。
我在这里仅以过来人的角度给大家总结一下linux该如何学，该学什么，该花多少工夫，学习重点是什么？
就我个人这么多年处理生物信息学数据经验来看，可以把linux的学习过程分成三个阶段:
一是把linux系统玩得跟windows系统一样顺畅。
这一阶段的主要目的就是去可视化，熟悉黑白命令行界面。
如何连接服务器(xshell,putty,VNC~~~)，了解你在服务器上面有什么权限。
左右鼠标单击双击如何实现？磁盘文件浏览如何实现？文件操作如何实现？绝对路径和相对路径区别？
需要了解的命令有下面这些：
pwd/ls/cd/mv/rm/cp/mkdir/rmdir/man/locate/head/tail/less/more
cut/paste/join/sort/uniq/wc/cat/diff/cmp/alias
wget/ssh/scp/curl/ftp/lftp/mysql/
大家可以搜索(每天一个linux命令的博客)来跟着练习，或者看一些linux视频(百度云盘(http://pan.baidu.com/s/1jIvwRD8 )共享了一大堆，建议看鸟哥linux私房菜)，或者关注一些linux学习相关公众号，加入一些linux社区，论坛，当然如果你只是简单了解，搞生物信息学其实没必要那么深入理解，跟着一本像样的入门书籍，完整的学习即可！
不懂的名词，赶紧谷歌搜索，多记笔记。
需要深度理解的概念有：
软硬链接区别
文本编辑，文件权限设置
打包压缩解压操作(tar/gzip/bzip/ x-j x-c vf)
软件的快捷方式如何实现？
软件如何安装(源码软件，二进制可执行软件，perl/R/python/java软件)
软件版本如何管理，各种编程语言环境如何管理，模块如何管理？(尤其是大部分没有root权限)
这些知识需要深度理解，所以一般初学者肯定会遇到问题，自己要多看教程和视频跟着了练习，但总会有一些不是你立即就能解决的，不要纠结，继续学习，不久之后回过头来就明白了。
翻译成生物信息学语言就是：测序文件在哪里？测序文件有多大？测序文件的格式fastq/fasta是什么？
前几行怎么看，参考基因组如何下载？参考基因组如何建立比对索引？blast软件如何安装以及使用？
比对结果如何看？结果如何过滤？两次结果如何比较？
建议自己安装bio-linux系统，里面会自带很多生物信息学测试数据(fastq,fasta,sam,bam,vcf,gff,gtf,bed,MAF......),安装系统的过程也是熟悉linux的过程，熟悉这些数据格式既能加强生物信息学技巧，也能练习linux操作。
不懂的名词，赶紧谷歌搜索，多记笔记。

二是shell脚本，类似于windows的bat批处理文件

懂很多预定义变量 .bashrc/env/HOME/
学会一些控制语句 while/if/for/ 批量执行命令
开始自定义函数，避免重复造轮子。
了解 awk/sed/grep等文件操作语言，短小精悍，很多时候可以不需要编程。
正则匹配技巧,find函数使用
了解编程技巧 ()[]{} $$ 等符合如何使用，技巧有哪些，加快你数据处理能力(建议看shell 13问)
翻译成生物信息学语言就是：要深度组合这些命令，并且通过shell脚本，把它们在实际生物信息学数据处理中应用起来，需要很多的实践操作，可以借鉴EMBOSS软件套件，fastx-toolkit等基础软件，实现并且模仿该软件的功能。
尤其是SMS2/exonerate/里面的一些常见功能,还有DNA2.0 Bioinformatics Toolbox的一些工具。
不懂的名词，感觉谷歌搜索，多记笔记。
基本上要了解到这里才能勉强算是一个合格的生物信息学工程师。

三是高级运维技巧

w/last/top/qsub/condor/apache/socket/IO/ps/who/uid/
磁盘挂载/格式化/重启系统/文件清理/IP查看/网络管理/用户管理/目录结构了解/计划任务
各种库文件了解。
这个强烈建议初学者不要过于纠结，稍微了解为佳。
不懂的名词，赶紧谷歌搜索，多记笔记。
学习linux基础知识的同时，就可以开始项目实战，在实战的过程中要随时思考记录如何应用linux知识辅助生物信息数据处理？
并整理学习笔记以及经验分享。
]]> http://www.bio-info-trainee.com/1661.html/feed 0