sshfs ユーザー名@サーバー名(hoge.co.jp):/home/ユーザー名/PATH/TO/指定ディレクトリ /Users/ユーザー名/Desktop/hoge指定ディレクトリ以下にディレクトリがあってもアクセスできる。
2014年7月25日金曜日
サーバーの特定のディレクトリをマウントする
サーバー側で作成したpdfやpngなどのファイルをいちいちscpするのはめんどくさいのでマウントして手元のPCから直接覗けるようにする。
基本的にhttp://blog.offline-net.com/2014/03/02/mavericks-osxfuse-sshfs-local2remoteをみればわかる
私も上記解説と同じ環境である。
デスクトップにhogeという名前のフォルダを先に作成する。
以下の様にターミナルで叩けばマウントできる。
fastaファイルの特定の位置をマスクする方法
bedtoolsの中のmaskFastaFromBedというツールを使う。
使い方は
maskFastaFromBed -fi [マスクかけたいfasta ファイル] -bed [位置を指定した bedファイル] -fo [ 出力fa staファイル名] -mc N(Nでマスクする)マスクかけたいfasta ファイルはmulti fastaでOK bedも複数行でOK 例として
test.fa >chr1 TCTCATGCTAATCAGGATCTGGGGCACAGTACAAACCTCAAATGCTGTAGTTGAG >chr2 GCTATTTCAGCCCTAGTGGAAGGGGGTGGGGCGGCACTAGGGCAGCAGCCCGTGCCCGCTGCACTTCCCTTATCGGATTACTGCTTAACTCCCACCCCCTCCTAGGTCCAAAAAGTATACTAATTACATGGA >chr3 GCAGTACATTCCACAGCATCCTTAGGTGTTGCTCAGAGTCTACCTAACACCTAAGTACAAAAATGAAGCCCTAGGGCAGCCCTAAATGGTTTGTTTCCGCAAAATAGTGATCAACTCAAGTAAACAAGGGTT >chr4 CATAAGACACATTGAAGACACCGCCACAGAACTTTACTGCCCTCAAGAGTCTTCTCTCATCTCTGGGATGCCTGTGAGGC test.bed chr1 5 10 chr2 10 20 chr2 21 23 chr5 10 20 maskFastaFromBed -fi test.fa -bed test.bed -fo out.fa -mc N out.fa >chr1 TCTCANNNNNATCAGGATCTGGGGCACAGTACAAACCTCAAATGCTGTAGTTGAG >chr2 GCTATTTCAGNNNNNNNNNNANNGGGTGGGGCGGCACTAGGGCAGCAGCCCGTGCCCGCTGCACTTCCCTTATCGGATTACTGCTTAACTCCCACCCCCTCCTAGGTCCAAAAAGTATACTAATTACATGGA >chr3 GCAGTACATTCCACAGCATCCTTAGGTGTTGCTCAGAGTCTACCTAACACCTAAGTACAAAAATGAAGCCCTAGGGCAGCCCTAAATGGTTTGTTTCCGCAAAATAGTGATCAACTCAAGTAAACAAGGGTT >chr4 CATAAGACACATTGAAGACACCGCCACAGAACTTTACTGCCCTCAAGAGTCTTCTCTCATCTCTGGGATGCCTGTGAGGCとなるはず。 bedは定義がstartの数字を含まないので5と書いてあれば6文字目を示しendは10と書いてあれば10文字目を示す事に注意する。
2014年7月24日木曜日
マップしなかったリード・マップしたリード・ユニークなリードの数え方
bowtieが終わったあとに表示される以下の様なリード数が表示されるがこれをあとでコマンドから確認する方法
<<<<<追記>>>>>>
XS:による方法は非常に限られた状況でのみ成立するっぽいです.
bowtie2でSEでやった時は少なくともbowtieを走らせたあとの結果と一致しました。
ちなみにPEでやったものを同様に行うと、想定よりも大きい値が出たため、PEにはこの方法は適応できません。
XS:i:<N>
Alignment score for the best-scoring alignment found other than the alignment reported. Can be negative. Can be greater than 0 in --local mode (but not in --end-to-end mode). Only present if the SAM record is for an aligned read and more than one alignment was found for the read. Note that, when the read is part of a concordantly-aligned pair, this score could be greater than AS:i. ってbowtie2のmanualに記載があるけれどよくわかりません( TДT)
SE/PEどちらの場合も、よくいわれるNH:i:のフラグはbowtie2では立ちませんでした。MAPQの値で行う事も出来ませんでした。
確実にmulti alignを取り除く方法知っている方いたら教えてくださいm(_ _ )m
135582741 reads; of these: 135582741 (100.00%) were unpaired; of these: 22383842 (16.51%) aligned 0 times 61518065 (45.37%) aligned exactly 1 time 51680834 (38.12%) aligned >1 times 83.49% overall alignment rate
基本的にフラグが立っているのでそれを利用する。 #reads; of these:これはfastQCした結果のhtmlを見るかbowtieにかける前のfastqをwc -lして4で割れば良い。 #aligned 0 times:マップされなかったリード数の表示は samtools view -cf 4 filename.bam #マップされたリード数の表示は samtools view -cF 4 filename.bam #aligned >1 times:マルチマップされたリード数の表示は grep 'XS:' ./filename.sam | wc -l #aligned exactly 1 time:ユニークにマップされたリード数の表示は マップされたリード数からマルチマップされたリード数を引くか sed '/XS:/d' Enh1.sam | wc -lとして、全リード数からマルチマップのリードをsamから取り除いた行カウントを行う。その値からsamのheaderのライン数とマップされなかったリード数を引く。ちなみに、pairをきちんと組んでいるものを抽出するには この組み合わせ
samtools view -S -f 99 -S filename.sam > ./filename.99.sam samtools view -S -f 147 -S filename.sam > ./filename.147.samこの組み合わせ
samtools view -S -f 83 -S filename.sam > ./filename.83.sam samtools view -S -f 163 -S filename.sam > ./filename.163.samhttp://ppotato.wordpress.com/2010/08/25/samtool-bitwise-flag-paired-reads/がわかりやすい。
<<<<<追記>>>>>>
XS:による方法は非常に限られた状況でのみ成立するっぽいです.
bowtie2でSEでやった時は少なくともbowtieを走らせたあとの結果と一致しました。
ちなみにPEでやったものを同様に行うと、想定よりも大きい値が出たため、PEにはこの方法は適応できません。
XS:i:<N>
Alignment score for the best-scoring alignment found other than the alignment reported. Can be negative. Can be greater than 0 in --local mode (but not in --end-to-end mode). Only present if the SAM record is for an aligned read and more than one alignment was found for the read. Note that, when the read is part of a concordantly-aligned pair, this score could be greater than AS:i. ってbowtie2のmanualに記載があるけれどよくわかりません( TДT)
SE/PEどちらの場合も、よくいわれるNH:i:のフラグはbowtie2では立ちませんでした。MAPQの値で行う事も出来ませんでした。
確実にmulti alignを取り除く方法知っている方いたら教えてくださいm(_ _ )m
Trimmomatic
だいぶ慣れてきたので、インストールの仕方よりもツールの使い方をメインに記載するかな。
アダプタートリマーツールであり、クリーニングも出来るTrimmomatic (http://www.usadellab.org/cms/?page=trimmomatic)
使い方としては、デフォルトにadoptersにいくつか入っているが、適当に自作してよい。例えば、Truseq4-SE.faとして
このツールはシーケンスするフラグメントが非常に短い時にインサートを突き抜けてアダプターもシーケンスしてしまった時の除去に非常に有効なツール
>TruSeq_v1v2_Index12Adapter GATCGGAAGAGCACACGTCTGAACTCCAGTCACCTTGTAATCTCGTATGCCGTCTTCTGCTTG TruSeq_v1v2_UniversalAdapter AATGATACGGCGACCACCGAGATCTACACTCTTTCCCTACACGACGCTCTTCCGATCTというファイルを作って、以下のコマンドを叩く。
java -jar Trimmomatic-0.32/trimmomatic-0.32.jar SE \ -threads 8 -phred33 \ -trimlog ./DNseqE14.log.txt \ ./DNseqE14.fastq \ ./trimmomatic/DNseqE14.trim.fastq \ ILLUMINACLIP:../../../../../local/Trimmomatic-0.32/adapters/TruSeq4-SE.fa:2:40:15 \ LEADING:3 TRAILING:3 SLIDINGWINDOW:4:15 MINLEN:20ILLUMINACLIP自体がアダプタートリム。その他はクオリティ値でトリム。 ペアエンドの時は少し書き方が異なるがhttp://www.usadellab.org/cms/?page=trimmomaticに参考例の記載がある。
このツールはシーケンスするフラグメントが非常に短い時にインサートを突き抜けてアダプターもシーケンスしてしまった時の除去に非常に有効なツール
2014年5月18日日曜日
ChIPpeakAnnoのTSSデータを追加する
ChIPpeakAnnoはデフォルトでいくつかのTSSデータが入っている (R-version/library/ChIPpeakAnno/data)
今回はデフォルトにはない、酵母のTSSの情報を得るのが目的
既にbiomaRtがインストールされている前提で、R上で以下のコマンドを入力
13番目にscerevisiae_gene_ensemblがある。
ls()とすると
今回はデフォルトにはない、酵母のTSSの情報を得るのが目的
既にbiomaRtがインストールされている前提で、R上で以下のコマンドを入力
mart1 = useMart(biomart="ensembl") listDatasets(mart1)とするとリストがでてくる。
13番目にscerevisiae_gene_ensemblがある。
sacCer3= useMart(biomart="ensembl", datset="scerevisiae_gene_ensembl") TSS.scerevisiae.sacCer3 = getAnnotation(mart=sacCer3, featureType="TSS")として、
ls()とすると
mart1 TSS.mouse.sacCer3 sacCer3となるので
rm('mart1')
rm('sacCer3')
として、TSS.mouse.sacCer3のみの状態にしてから
save(list=ls(), file = "./TSS.scerevisiae.sacCer3.rda")Rを終了させて、カレントディレクトリでlsするとTSS.scerevisiae.sacCer3.rdaがあるのでこれを
/PATH/TO/R-version/library/data/以下にコピーすれば、デフォルトに入っているマウスやヒトのデータを扱うのと同じように扱えるようになる。
2014年5月16日金曜日
シーケンスデータの一括ダウンロード
論文を見るとGEOのaccsession番号が書かれているが複数のシーケンスデータが置かれている事がほとんどで、前回は一つだけをダウンロードする方法を書いた。深く解析しようと思って全てのシーケンスデータをダウンロードしたいが、一個ずつやってるとめんどくさいので。シェルスクリプトを記述する事でそれを解決する。
シーケンスデータは多くの場合連番でSRAにupされているが、SRRだとかSRXだとか色々番号があって対応関係を把握するのが先決。
例えば以下GSMの番号は連番。
一番上のリンクへ行くと
最下部にとあるのでftpへ行く(chromeで見た方がいい)
となっている。SRR824704にSRR824704.sraという目的のファイルが入っている。
同様にGMS1111729もみてみると
となっていて、SRR824727にSRR824727.sraという目的のファイルが入っている。
なので今回はSRX263794-263817とSRR824704-824727がそれぞれ対応しているという事がわかる。シーケンスデータによっては全てのデータが連番ではないこともあるので注意が必要。
シェルスクリプトの作法はよくわからないのでググるヽ(゚∀゚)メ(゚∀゚)メ(゚∀゚)ノ
vimを使っているので、
シェルスクリプト作る際は思った挙動するかわからないので、echoでおもっているようなスクリプトがかかれているか確認する。
chmod u+x SRA_download.sh
としてから
これで一応問題ないので
説明しとくと
シーケンスデータは多くの場合連番でSRAにupされているが、SRRだとかSRXだとか色々番号があって対応関係を把握するのが先決。
例えば以下GSMの番号は連番。
一番上のリンクへ行くと
最下部にとあるのでftpへ行く(chromeで見た方がいい)
となっている。SRR824704にSRR824704.sraという目的のファイルが入っている。
同様にGMS1111729もみてみると
となっていて、SRR824727にSRR824727.sraという目的のファイルが入っている。
なので今回はSRX263794-263817とSRR824704-824727がそれぞれ対応しているという事がわかる。シーケンスデータによっては全てのデータが連番ではないこともあるので注意が必要。
シェルスクリプトの作法はよくわからないのでググるヽ(゚∀゚)メ(゚∀゚)メ(゚∀゚)ノ
vimを使っているので、
vim SRA_download.shとしてファイルを作る。
シェルスクリプト作る際は思った挙動するかわからないので、echoでおもっているようなスクリプトがかかれているか確認する。
#!/bin/sh
# 全てのSRX Number
srx_list=({263794..263817})
# 全てのSRA Accussion Number
sra_list=({824704..824727})
# ダウンロードする FTP サイトの共通部分までのパス
base_url=ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByExp/sra/SRX%2FSRX263/
for i in {0..23}
do
echo "wget ${base_url}/SRX${srx_list[i]}/SRR${sra_list[i]}/SRR${sra_list[i]}.sra"
#sleep 10m
done
と記述して上書きする(esc :wq)chmod u+x SRA_download.sh
としてから
./SRA_download.shとすると確認が出来るので出てきたURLからftp://以下から.sraの一つ上流までをコピーしてブラウザーで確認する。chromeでftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByExp/sra/SRX%2FSRX263/SRX263809/SRR824719とすれば、先ほどのリンクにたどれる。
これで一応問題ないので
#!/bin/sh
# 全てのSRX Number
srx_list=({263794..263817})
# 全てのSRA Accussion Number
sra_list=({824704..824727})
# ダウンロードする FTP サイトの共通部分までのパス
base_url=ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByExp/sra/SRX%2FSRX263/
for i in {0..23}
do
wget ${base_url}/SRX${srx_list[i]}/SRR${sra_list[i]}/SRR${sra_list[i]}.sra
sleep 10m
done
とecho" "と#を取り払って、上書きする(esc :wq)./SRA_download.shでダウンロードが始まる。
説明しとくと
#!/bin/sh---シェルスクリプトのおまじない
# 全てのSRX Number
srx_list=({263794..263817})先に調べておいたSRXの番号のリスト
# 全てのSRA Accussion Number
sra_list=({824704..824727})先に調べておいたSRRの番号のリスト
# ダウンロードする FTP サイトの共通部分までのパス
base_url=ftp://ftp-trace.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByExp/sra/SRX%2FSRX263/
#全データが24個あるので24回ループさせる。(1番目は0らしい。)
for i in {0..23}
#なんかやらせる時-do
do
#URL共通部分/SRX+番号(リストのi番目)/SRA+番号(リストのi番目)/SRA+番号(リストのi番目).sraってこと
${base_url}/SRX${srx_list[i]}/SRR${sra_list[i]}/SRR${sra_list[i]}.sra
#ftpって色々制限あったりするらしいのでダウンロード終わってから10分待ってから次のダウンロード始める。
sleep 10m
#やらせるの終わったら-done
done
2014年4月19日土曜日
Rを使ったChIP-seq解析(近傍遺伝子や距離等のアノテーション)
ターミナルを開いて、local/work/以下にRディレクトリをさくせいして、Rにて作業する。ちなみにMacsまでのデータはlocal/workにある。
cd local/work mkdir R cd R Rとすると以下のようになる。
R version 3.1.0 (2014-04-10) -- "Spring Dance" Copyright (C) 2014 The R Foundation for Statistical Computing Platform: x86_64-unknown-linux-gnu (64-bit) R は、自由なソフトウェアであり、「完全に無保証」です。 一定の条件に従えば、自由にこれを再配布することができます。 配布条件の詳細に関しては、'license()' あるいは 'licence()' と入力してください。 R は多くの貢献者による共同プロジェクトです。 詳しくは 'contributors()' と入力してください。 また、R や R のパッケージを出版物で引用する際の形式については 'citation()' と入力してください。 'demo()' と入力すればデモをみることができます。 'help()' とすればオンラインヘルプが出ます。 'help.start()' で HTML ブラウザによるヘルプがみられます。 'q()' と入力すれば R を終了します。 >となってRが使えるようになる。Rが起動している時は>が左についている状態にある。簡単なコマンドについてはググれば色々出てくる。計算や変数への代入などにある程度慣れてから、bioconductorをインストールしてみた。とりあえず書いてある通りやってみる。
>source("http://bioconductor.org/biocLite.R")
URL 'http://www.bioconductor.org/packages/2.14/bioc/src/contrib/BiocInstaller_1.13.3.tar.gz' を試しています
Content type 'application/x-gzip' length 14185 bytes (13 Kb)
開かれた URL
==================================================
downloaded 13 Kb
* installing *source* package ‘BiocInstaller’ ...
** R
** inst
** preparing package for lazy loading
** help
*** installing help indices
** building package indices
** testing if installed package can be loaded
Bioconductor version 2.14 (BiocInstaller 1.13.3), ?biocLite for help
* DONE (BiocInstaller)
The downloaded source packages are in
‘/tmp/RtmpIpHodt/downloaded_packages’
Updating HTML index of packages in '.Library'
Making 'packages.html' ... done
Bioconductor version 2.14 (BiocInstaller 1.13.3), ?biocLite for help
>
となる。数分かかる。ChIPpeakAnnoというパッケージをダウンロードする。
>biocLite("ChIPpeakAnno")
BioC_mirror: http://bioconductor.org
Using Bioconductor version 2.14 (BiocInstaller 1.13.3), R version 3.1.0.
Installing package(s) 'ChIPpeakAnno’
以下色々続く
結構かかる5分くらい。つぎにChIPpeakAnnoを使うにはRを起動するたびに以下のコマンドを叩く必要があるらしい
>library("ChIPpeakAnno")
要求されたパッケージ biomaRt をロード中です
要求されたパッケージ IRanges をロード中です
要求されたパッケージ Biostrings をロード中です
要求されたパッケージ XVector をロード中です
10秒くらいでおわる。次に解析手順。
MACSから出てきたピークのbedファイルをread.tableで読み込む。
それをRのパッケージで使いやすい形式にBED2RangedDataで変換する。
>SoxDay0.df <- read.table("../SoxDay0_peaks.bed", header= FALSE)
> head(SoxDay0.df)
V1 V2 V3 V4 V5
1 chr1 3062864 3063136 MACS_peak_1 81.45
2 chr1 3482902 3483152 MACS_peak_2 65.14
3 chr1 4150841 4151273 MACS_peak_3 222.85
4 chr1 4660129 4660269 MACS_peak_4 53.63
5 chr1 4802472 4802926 MACS_peak_5 193.69
6 chr1 4855364 4855775 MACS_peak_6 270.83
> SoxDay0.gr <- BED2RangedData(SoxDay0.df, header= FALSE)
どんな中身かを少しだけ見るにはhead()とする。
>head(SoxDay0.gr)
RangedData with 6 rows and 2 value columns across 23 spaces
space ranges | strand score
<factor> <IRanges> | <character> <numeric>
MACS_peak_1 1 [3062864, 3063136] | + 81.45
MACS_peak_2 1 [3482902, 3483152] | + 65.14
MACS_peak_3 1 [4150841, 4151273] | + 222.85
MACS_peak_4 1 [4660129, 4660269] | + 53.63
MACS_peak_5 1 [4802472, 4802926] | + 193.69
MACS_peak_6 1 [4855364, 4855775] | + 270.83
このフォーマットにしておくと今後色んな解析を行うのに便利らしい。ここまでのデータをセーブしておく。(save())>save(list=ls(), file = "./bed2rangedData.rdat”)次にTSSのデータがパッケージ内に入っているのでdata()としてそれを読み込む。annotatePeakInBatchを使ってそのTSSデータと先ほど作成したRangedDataを結びつけてEnsEMBL Gene ID、遺伝子までの距離、上流・下流の情報をアノテーションする。
>data(TSS.mouse.GRCm38)
>SoxDay0.anno <- annotatePeakInBatch(RangedData(SoxDay0.gr), AnnotationData = TSS.mouse.GRCm38,output="both")
>head(SoxDay0.anno)
RangedData with 6 rows and 9 value columns across 23 spaces
space ranges | peak
<factor> <IRanges> | <character>
MACS_peak_1 ENSMUSG00000090025 1 [ 3062864, 3063136] | MACS_peak_1
MACS_peak_10 ENSMUSG00000033740 1 [ 6458167, 6458317] | MACS_peak_10
MACS_peak_100 ENSMUSG00000089964 1 [74824905, 74825354] | MACS_peak_100
MACS_peak_101 ENSMUSG00000082012 1 [76036406, 76036593] | MACS_peak_101
MACS_peak_106 ENSMUSG00000094946 1 [83844615, 83844958] | MACS_peak_106
MACS_peak_107 ENSMUSG00000062590 1 [86187886, 86188233] | MACS_peak_107
strand feature start_position
<character> <character> <numeric>
MACS_peak_1 ENSMUSG00000090025 + ENSMUSG00000090025 3054233
MACS_peak_10 ENSMUSG00000033740 + ENSMUSG00000033740 6487231
MACS_peak_100 ENSMUSG00000089964 + ENSMUSG00000089964 74850895
MACS_peak_101 ENSMUSG00000082012 + ENSMUSG00000082012 75636390
MACS_peak_106 ENSMUSG00000094946 + ENSMUSG00000094946 83795912
MACS_peak_107 ENSMUSG00000062590 + ENSMUSG00000062590 86154780
end_position insideFeature distancetoFeature
<numeric> <character> <numeric>
MACS_peak_1 ENSMUSG00000090025 3054733 downstream 8631
MACS_peak_10 ENSMUSG00000033740 6860940 upstream -29064
MACS_peak_100 ENSMUSG00000089964 74879953 upstream -25990
MACS_peak_101 ENSMUSG00000082012 75637179 downstream 400016
MACS_peak_106 ENSMUSG00000094946 83796032 downstream 48703
MACS_peak_107 ENSMUSG00000062590 86278284 inside 33106
shortestDistance fromOverlappingOrNearest
<numeric> <character>
MACS_peak_1 ENSMUSG00000090025 8131 NearestStart
MACS_peak_10 ENSMUSG00000033740 28914 NearestStart
MACS_peak_100 ENSMUSG00000089964 25541 NearestStart
MACS_peak_101 ENSMUSG00000082012 399227 NearestStart
MACS_peak_106 ENSMUSG00000094946 48583 NearestStart
MACS_peak_107 ENSMUSG00000062590 33106 NearestStart
上流や下流の情報でまとめたテーブルを作ってみる。
>SoxDay0.anno.table <- table(as.data.frame(SoxDay0.anno)$insideFeature)
>head(SoxDay0.anno.table)
downstream includeFeature inside overlapEnd overlapStart
1197 1 1228 14 14
upstream
1209
これを画像として出力させるには以下のようにする。
>png("SoxDay0.anno.barplot.png")
>barplot(SoxDay0.anno.table)
>dev.off()
ちょっと待つnull device
1
とでる。local/work/R内にSoxDay0.anno.barplot.pngが出来てる
これをscpでPCに転送
scp kosugi@サーバー名:/home/kosugi/local/work/R/SoxDay0.anno.barplot.png /Users/TK/Analysis/ChIPpeakAnno/などとすれば見れる。こんな感じ。
次は org.Mm.eg.dbを使ってGene Ontologyを実践してみる。
登録:
投稿 (Atom)






