Deep Learningを活用したゲノム変異解析ソフト「DeepVariant」を動かしてみる

コメントする / AWS、バイオインフォマティクス / By

「DeepVariant」はGoogle Brain と Verily Life Sciencesが開発したゲノム変異解析用のソフトウェアです。2016年には、ゲノム変異解析の精度を競う「PrecisionFDA Truth Challenge」で、現在デファクトスタンダードとなっている「GATK」などを抑えて「Highest SNP Performance賞」を受賞しました。「DeepVariant」は2017年12月4日にオープンソースとしてGitHub上にリリースされました。今回は、quick startに従って、Amazon EC2上で「DeepVariant」を実行してみます。

AWSコンソールから「サービス」->「EC2」->「インスタンス」->「インスタンスの作成」をクリックします。
Amazonマシンイメージには、「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type – ami-0ac019f4fcb7cb7e6 (64 ビット x86)」、インスタンスタイプには「t2.micro」を選択しました。ストレージのサイズは8 GBで十分です。

まずは、dockerのインストールとイメージのダウンロードです。

  1. BIN_VERSION="0.7.2"
  2. MODEL_VERSION="0.7.2"
  3.  
  4. MODEL_NAME="DeepVariant-inception_v3-${MODEL_VERSION}+data-wgs_standard"
  5. MODEL_HTTP_DIR="https://storage.googleapis.com/deepvariant/models/DeepVariant/${MODEL_VERSION}/${MODEL_NAME}"
  6. DATA_HTTP_DIR="https://storage.googleapis.com/deepvariant/quickstart-testdata"
  7.  
  8. sudo apt -y update
  9. sudo apt-get -y install docker.io
  10. sudo docker pull gcr.io/deepvariant-docker/deepvariant:"${BIN_VERSION}"

続いて、Modelファイルをダウンロードしていきます。

  1. mkdir -p ${MODEL_NAME}
  2. wget -P ${MODEL_NAME} ${MODEL_HTTP_DIR}/model.ckpt.data-00000-of-00001
  3. wget -P ${MODEL_NAME} ${MODEL_HTTP_DIR}/model.ckpt.index
  4. wget -P ${MODEL_NAME} ${MODEL_HTTP_DIR}/model.ckpt.meta

[MODEL_NAME]フォルダの中に３つのファイルがダウンロードされたかと思います。これらは、TensorFlowのcheckpointフォーマットに当たります。

  1. ls -1 "${MODEL_NAME}/"
  2. #model.ckpt.data-00000-of-00001
  3. #model.ckpt.index
  4. #model.ckpt.meta

次に、サンプルデータをダウンロードします。

  1. mkdir -p quickstart-testdata
  2. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/NA12878_S1.chr20.10_10p1mb.bam
  3. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/NA12878_S1.chr20.10_10p1mb.bam.bai
  4. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/test_nist.b37_chr20_100kbp_at_10mb.bed
  5. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/test_nist.b37_chr20_100kbp_at_10mb.vcf.gz
  6. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/test_nist.b37_chr20_100kbp_at_10mb.vcf.gz.tbi
  7. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/ucsc.hg19.chr20.unittest.fasta
  8. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/ucsc.hg19.chr20.unittest.fasta.fai
  9. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/ucsc.hg19.chr20.unittest.fasta.gz
  10. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/ucsc.hg19.chr20.unittest.fasta.gz.fai
  11. wget -P quickstart-testdata "${DATA_HTTP_DIR}"/ucsc.hg19.chr20.unittest.fasta.gz.gzi

quickstart-testdataフォルダの中に１０つのファイルがダウンロードされました。

  1. ls -1 quickstart-testdata/
  2. NA12878_S1.chr20.10_10p1mb.bam
  3. NA12878_S1.chr20.10_10p1mb.bam.bai
  4. test_nist.b37_chr20_100kbp_at_10mb.bed
  5. test_nist.b37_chr20_100kbp_at_10mb.vcf.gz
  6. test_nist.b37_chr20_100kbp_at_10mb.vcf.gz.tbi
  7. ucsc.hg19.chr20.unittest.fasta
  8. ucsc.hg19.chr20.unittest.fasta.fai
  9. ucsc.hg19.chr20.unittest.fasta.gz
  10. ucsc.hg19.chr20.unittest.fasta.gz.fai
  11. ucsc.hg19.chr20.unittest.fasta.gz.gzi

NA12878_S1.chr20.10_10p1mb.bamは参照配列にマッピング済みのBAMファイル、ucsc.hg19.chr20.unittest.fastaは参照配列のFASTAファイル、test_nist.b37_chr20_100kbp_at_10mb.vcf.gzは評価用の正解データ、test_nist.b37_chr20_100kbp_at_10mb.bedは評価する領域を示したBEDファイルです。

それでは、実際に実行していきます。まず、結果出力用のフォルダ作成と環境変数の設定です。

  1. OUTPUT_DIR=${HOME}/quickstart-output
  2. mkdir -p "${OUTPUT_DIR}"
  3. REF=${HOME}/quickstart-testdata/ucsc.hg19.chr20.unittest.fasta
  4. BAM=${HOME}/quickstart-testdata/NA12878_S1.chr20.10_10p1mb.bam
  5. MODEL="${HOME}/${MODEL_NAME}/model.ckpt"

STEP1: make_examples

このステップでは、pileup(ゲノム座標ごとに塩基をカウントしたもの)を作成します。

  1. sudo docker run \
  2.   -v ${HOME}:${HOME} \
  3.   gcr.io/deepvariant-docker/deepvariant:"${BIN_VERSION}" \
  4.   /opt/deepvariant/bin/make_examples \
  5.   --mode calling   \
  6.   --ref "${REF}"   \
  7.   --reads "${BAM}" \
  8.   --regions "chr20:10,000,000-10,010,000" \
  9.   --examples "${OUTPUT_DIR}/examples.tfrecord.gz"

2つファイルが作成されました。

  1. ls -1 quickstart-output/
  2. examples.tfrecord.gz
  3. examples.tfrecord.gz.run_info.pbtxt

STEP2: call_variants

このステップでは、実際に変異解析を実行します。

  1. sudo docker run \
  2. >   -v ${HOME}:${HOME} \
  3. >   gcr.io/deepvariant-docker/deepvariant:"${BIN_VERSION}" \
  4. >   /opt/deepvariant/bin/call_variants \
  5. >  --outfile "${CALL_VARIANTS_OUTPUT}" \
  6. >  --examples "${OUTPUT_DIR}/examples.tfrecord@${N_SHARDS}.gz" \
  7. >  --checkpoint "${MODEL}"
  8. I0110 02:48:42.534190 140314581722880 call_variants.py:292] Set KMP_BLOCKTIME to 0
  9. Traceback (most recent call last):
  10.   File "/tmp/Bazel.runfiles_hh_Ngv/runfiles/com_google_deepvariant/deepvariant/call_variants.py", line 411, in 
  11.     tf.app.run()
  12.   File "/root/.local/lib/python2.7/site-packages/tensorflow/python/platform/app.py", line 125, in run
  13.     _sys.exit(main(argv))
  14.   File "/tmp/Bazel.runfiles_hh_Ngv/runfiles/com_google_deepvariant/deepvariant/call_variants.py", line 401, in main
  15.     use_tpu=FLAGS.use_tpu,
  16.   File "/tmp/Bazel.runfiles_hh_Ngv/runfiles/com_google_deepvariant/deepvariant/call_variants.py", line 295, in call_variants
  17.     example_format = tf_utils.get_format_from_examples_path(examples_filename)
  18.   File "/tmp/Bazel.runfiles_hh_Ngv/runfiles/com_google_deepvariant/deepvariant/tf_utils.py", line 177, in get_format_from_examples_path
  19.     one_example = get_one_example_from_examples_path(source)
  20.   File "/tmp/Bazel.runfiles_hh_Ngv/runfiles/com_google_deepvariant/deepvariant/tf_utils.py", line 156, in get_one_example_from_examples_path
  21.     'Cannot find matching files with the pattern "{}"'.format(source))
  22. ValueError: Cannot find matching files with the pattern "/home/ubuntu/quickstart-output/examples.tfrecord@.gz"

何も考えずにコピペしたら、エラーになりました。–examples “${OUTPUT_DIR}/examples.tfrecord@${N_SHARDS}.gz”の部分が、並列で実行する場合になっていました。再度実行します。

  1. sudo docker run \
  2.   -v ${HOME}:${HOME} \
  3.   gcr.io/deepvariant-docker/deepvariant:"${BIN_VERSION}" \
  4.   /opt/deepvariant/bin/call_variants \
  5.  --outfile "${CALL_VARIANTS_OUTPUT}" \
  6.  --examples "${OUTPUT_DIR}/examples.tfrecord.gz" \
  7.  --checkpoint "${MODEL}"

call_variants_output.tfrecord.gzが作成されました。

  1. ls -1 quickstart-output/
  2. call_variants_output.tfrecord.gz
  3. examples.tfrecord.gz
  4. examples.tfrecord.gz.run_info.pbtxt

STEP3: postprocess_variants

このステップでは変異検出結果をVCFファイルに変換します。

  1. FINAL_OUTPUT_VCF="${OUTPUT_DIR}/output.vcf.gz"
  2.  
  3. sudo docker run \
  4.   -v ${HOME}:${HOME} \
  5.   gcr.io/deepvariant-docker/deepvariant:"${BIN_VERSION}" \
  6.   /opt/deepvariant/bin/postprocess_variants \
  7.   --ref "${REF}" \
  8.   --infile "${CALL_VARIANTS_OUTPUT}" \
  9.   --outfile "${FINAL_OUTPUT_VCF}"

output.vcf.gzが作成されました。

  1. ls -1 quickstart-output/
  2. call_variants_output.tfrecord.gz
  3. examples.tfrecord.gz
  4. examples.tfrecord.gz.run_info.pbtxt
  5. output.vcf.gz

結果は以下のようなフォーマットになります。

  1. ##fileformat=VCFv4.2
  2. ##FILTER=
  3. ##FILTER=
  4. ##FILTER=
  5. ##INFO=
  6. ##FORMAT=
  7. ##FORMAT=
  8. ##FORMAT=
  9. ##FORMAT=
  10. ##FORMAT=
  11. ##FORMAT=
  12. ##FORMAT=
  13. ##contig=
  14. #CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  NA12878
  15. chr20   10000117        .       C       T       41.9    PASS    .       GT:GQ:DP:AD:VAF:PL      0/1:41:55:25,30:0.545455:41,0,49
  16. chr20   10000211        .       C       T       46      PASS    .       GT:GQ:DP:AD:VAF:PL      0/1:46:59:30,29:0.491525:45,0,60
  17. chr20   10000439        .       T       G       47.4    PASS    .       GT:GQ:DP:AD:VAF:PL      1/1:42:72:0,72:1:47,43,0
  18. chr20   10000598        .       T       A       47.6    PASS    .       GT:GQ:DP:AD:VAF:PL      1/1:43:46:0,46:1:47,45,0
  19. chr20   10000694        .       G       A       39.3    PASS    .       GT:GQ:DP:AD:VAF:PL      0/1:39:48:26,22:0.458333:39,0,63
  20. chr20   10000758        .       T       A       46.5    PASS    .       GT:GQ:DP:AD:VAF:PL      1/1:43:56:0,56:1:46,46,0
  21. chr20   10001019        .       T       G       4.6     PASS    .       GT:GQ:DP:AD:VAF:PL      0/1:5:44:31,13:0.295455:2,0,34
  22. chr20   10001298        .       T       A       48.7    PASS    .       GT:GQ:DP:AD:VAF:PL      1/1:42:43:0,43:1:48,43,0
  23. ...

結果の評価

  1. sudo docker pull pkrusche/hap.py
  2. sudo docker run -it -v ${HOME}:${HOME} \
  3.   pkrusche/hap.py /opt/hap.py/bin/hap.py \
  4.   ${HOME}/quickstart-testdata/test_nist.b37_chr20_100kbp_at_10mb.vcf.gz \
  5.   "${FINAL_OUTPUT_VCF}" \
  6.   -f ${HOME}/quickstart-testdata/test_nist.b37_chr20_100kbp_at_10mb.bed \
  7.   -r "${REF}" \
  8.   -o "${OUTPUT_DIR}/happy.output" \
  9.   --engine=vcfeval \
  10.   -l chr20:10000000-10010000

良好な結果が得られました。

  1. Benchmarking Summary:
  2.   Type Filter  TRUTH.TOTAL  TRUTH.TP  TRUTH.FN  QUERY.TOTAL  QUERY.FP  QUERY.UNK  FP.gt  METRIC.Recall  METRIC.Precision  METRIC.Frac_NA  METRIC.F1_Score  TRUTH.TOTAL.TiTv_ratio  QUERY.TOTAL.TiTv_ratio  TRUTH.TOTAL.het_hom_ratio  QUERY.TOTAL.het_hom_ratio
  3.  INDEL    ALL            4         4         0           13         0          9      0              1                 1        0.692308                1                     NaN                     NaN                   0.333333                   1.000000
  4.  INDEL   PASS            4         4         0           13         0          9      0              1                 1        0.692308                1                     NaN                     NaN                   0.333333                   1.000000
  5.    SNP    ALL           44        44         0           60         0         16      0              1                 1        0.266667                1                     1.2                1.307692                   0.333333                   0.363636
  6.    SNP   PASS           44        44         0           60         0         16      0              1                 1        0.266667                1                     1.2                1.307692                   0.333333                   0.363636

コメントする

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です