生信菜鸟团 » 网页

mysql的table居然有最大列限制

ulwvfje — Mon, 07 Nov 2016 12:19:33 +0000

想着把TCGA的RPKM值矩阵表格写入到mysql，然后做一个查询网页给生物学家，我下载的是所有TCGA收集的mRNA表达数据集数据集-GSE62944 ，共9264个癌症样本，和741个正常组织的表达数据。当我想写入癌症表达矩阵的时候，报错了：

Error in .local(conn, statement, ...) :

could not run statement: Too many columns

简单搜索了一下，发现是mysql有最大列的限制，但是我不是很懂计算机，所以没太看明白该如何调整参数使得mysql列限制扩充：http://dev.mysql.com/doc/refman/5.7/en/column-count-limit.html 所以就把癌症表达矩阵根据癌症拆分了，癌种数量如下：

table(tumorCancerType2amples$CancerType)

ACC BLCA BRCA CESC COAD DLBC GBM HNSC KICH KIRC KIRP LAML LGG LIHC LUAD LUSC OV PRAD READ SKCM STAD THCA UCEC UCS

79 414 1119 306 483 48 170 504 66 542 291 178 532 374 541 502 430 502 167 472 420 513 554 57

分开写入mysql，下面给出解决方案及代码：

tumorRPKM=read.table('GSM1536837_06_01_15_TCGA_24.tumor_Rsubread_FPKM.txt.gz',sep = '\t',stringsAsFactors = F,header = T)

colnames(tumorRPKM)[1]='geneSymbol'

rownames(tumorRPKM)=tumorRPKM$geneSymbol

tumorRPKM=tumorRPKM[,-1]

tumorRPKM=round( as.matrix(tumorRPKM),3)

tumorRPKM=as.data.frame(tumorRPKM)

tumorRPKM$geneSymbol = rownames(tumorRPKM)

#load(file = 'tumorRPKM.rData')

tumorCancerType2amples=read.table('GSE62944_06_01_15_TCGA_24_CancerType_Samples.txt',sep = '\t',stringsAsFactors = F)

colnames(tumorCancerType2amples)=c('sampleID','CancerType')

lapply(unique((tumorCancerType2amples$CancerType)), function(x){

#x='PRAD';

sampleList=tumorCancerType2amples[tumorCancerType2amples$CancerType==x,1]

sampleList=gsub("-",".", sampleList)

tmpMatrix=tumorRPKM[,c('geneSymbol',sampleList)]

dbWriteTable(con, paste('tumor',x,'RPKM',sep='_'), tmpMatrix, append=F,row.names=F)

})

dbWriteTable这个函数，需要加载RMySQL，而且还需要连接好mysql数据库，不然你根本就看不懂的！

写入数据库如下：

安装自己的shiny服务器-实战指南

ulwvfje — Sat, 04 Jun 2016 01:07:29 +0000

个人比较欣赏R shiny制作的网页，入门简单，上手极快，多看点例子，制作复杂逻辑的网页也不是问题。这篇实战指南有四个步骤：

至少需要root权限的linux系统（我测试了阿里云）
安装R   （一般安装最新版，）
在R中安装shiny模块   （一般还可以多安装一些模块）
下载并且安装shiny server安装包    （根据系统选择）

前面三个步骤没有什么好说的了，如果你需要继续看这篇指南，我就默认你已经会了。

那么重点，就是安装shiny server本身咯：

这里http://www.rstudio.com/products/shiny/download-server/ 提供了下载链接，需要提供邮箱才会出现下载页面，选择对应Linux发行版的Shiny Server进行下载。我这里是CentOS 6.5.

64bit
Size: 44.6 MB
MD5: 45160b08eed65c89e0a9d03c58eba595
Version: 1.4.2.786
Released: 2016-02-19

#直接下载安装包，所以非常简单，我的命令是：

sudo yum install R

$ wget https://download3.rstudio.org/centos5.9/x86_64/shiny-server-1.4.2.786-rh5-x86_64.rpm $ sudo yum install --nogpgcheck shiny-server-1.4.2.786-rh5-x86_64.rpm

这里我也是学习的别人的方法，参考：

http://ju.outofmemory.cn/entry/162254

http://www.lai18.com/content/1733097.html

如果系统很烂，缺少一堆的库文件，简单的sudo yum install还会各种报错，如果需要下载源码来安装，那会很麻烦，这里就不讨论了。

如果安装成功，就有下面的界面：

成功之后就可以浏览shiny的网页了，程序自带测试例子，如果是在本地linux系统，而且自带浏览器的界面版linux，那么直接在浏览器中输入 localhost:3838 (或者对应IP地址，如 http://192.168.1.100:3838/ 这个IP是假的 )就会出现。

但是阿里云服务器访问一般通过外网链接，因为要通过你的真正IP来访问3838端口，所以需要设置防火墙规则，不然依然是不能访问，防火墙自己学习如何设置把。

安装成功了之后，还有一个更重要的事情就是维护，我下面简单介绍一些，然后会写一篇维护心得体会：

shiny官网上提供了详细的配置指导

http://rstudio.github.io/shiny-server/latest/

shiny-server 默认的安装目录是：/opt/shiny-server

目录内容：

其中的默认配置文件是：/opt/shiny-server/config/default.config

内容是：

# Instruct Shiny Server to run applications as the user “shiny”

run_as shiny;

# Define a server that listens on port 3838

server {

listen 3838;

# Define a location at the base URL

location / {

# Host the directory of Shiny Apps stored in this directory

site_dir /srv/shiny-server;

# Log all Shiny output to files in this directory

log_dir /var/log/shiny-server;

# When a user visits the base URL rather than a particular application,

# an index of the applications available in this directory will be shown.

directory_index on;

}

这个文件和/etc/shiny-server/shiny-server.conf是一样的。

后面会具体讲解shiny server的配置细节。正如配置文件中所写，默认的网站目录是根目录下的srv的shiny-server目录，端口是3838，log目录是 /var/log/shiny-server。

默认程序存放在： /srv/shiny-server

lrwxrwxrwx. 1 root root 38 Nov 25 00:02 index.html -> /opt/shiny-server/samples/welcome.html

lrwxrwxrwx. 1 root root 37 Nov 25 00:02 sample-apps -> /opt/shiny-server/samples/sample-apps

其实就是opt下对应的链接。

强烈推荐用shiny来制作交互式网页展现数据

ulwvfje — Wed, 23 Mar 2016 14:14:57 +0000

shiny是Rstudio公司推出的一个网页服务器，可以直接用R语言制作客户端和服务端程序来交互式的展现数据，而且有越来越丰富的扩展包可以借鉴使用，我觉得它的前途很光明，值得大家入坑！

虽然Rstudio公司吹嘘初学者无需具备html和css，js基础，但是个人认为还是多了解一下比较好，可以在w3cschool里面在线学习！

新手安装好shiny包之后里面自带了12个app例子，一边调试一边学习，很快就可以入门了。推荐一个教程，用shiny构建网页中文教程，想查看更详细的介绍和实例，请访问Shiny的官方主页。当然，你肯定需要要会R，这里有个R的FAQ教程。

如果你完全看完了上面那些，说明你已经真正入门了！

你现在可以去搜索一个shiny cheetsheet，然后背诵下来！！！！

然后你可以去shiny的github里面找到108个示例程序，一个个运行了解它们！！！

这时候你已经是高手啦！！！

接下来你应该取了解一个叫做dashboard的东西，熟练UI界面设计。

最后你再了解一些辅助包，帮助你用shiny更好的展示数据，主要是JS绘图插件

里面最出名的就是DT包了，一定要学！！！

最后你可以了解一下在rstudio上面分享五个免费的shiny网页程序，需要你搜索一些。

如果你还感兴趣的话，就可以自己整一个虚拟机Ubuntu或者centos系统，试着安装shiny的server，这个比较考验技术。

总结：你可以需要200个小时左右来完全掌握shiny