DCS Tools 是一款基于 CPU 加速技术的生物信息软件,旨在成为 BWA-MEM、GATK 和 FASTQ/VCF 压缩等工具的理想替代方案。相比于这些工具,DCS Tools 在常见 WGS / WES、联合变异检测、体细胞检测和数据压缩场景下提供更高的运行效率,并保持与主流最佳实践一致的分析逻辑。
如果您是第一次使用,建议按以下顺序阅读:
1 性能概述
- 在常见的 WGS 胚系变异检测场景中,GIAB WGS 30X-40X 数据在阿里云 ecs.i4g.8xlarge 实例上,使用 32 线程和高内存索引(
--index-type bwaUltra),单个样本运行时间为 1.79 小时到 2.36 小时,准确度与 GATK 最佳实践一致。默认标准索引为bwaFast,内存占用更低。 - 联合变异检测支持百万级样本。1 万个样本在单台 256 核机器上需约 83 小时。若使用 300 台 32 核 128G 内存机器,47 万样本实测运行时间为 56 天,总核时约 11M。
- SeqArc 压缩工具能将 FASTQ 文件压缩至 gz 格式的 1/4 到 1/5,VarArc 能将单样本 GVCF 压缩至 gz 格式的 1/3 左右,能将 10 万样本 VCF 压缩至 gz 格式的 1/2 左右。
详细见 性能测试。
2 推荐阅读路径
2.1 如果您正在搭建新流程
建议阅读顺序:
2.2 如果您只想快速上手
建议阅读顺序:
2.3 如果您只想查参数
直接进入 工具参数。
3 场景选择
| 场景 | 推荐入口 |
|---|---|
| 单样本胚系 WGS | 推荐分析流程 |
| 单样本胚系 WES / panel | 推荐分析流程 |
| 多样本 / 队列联合分析 | 推荐分析流程 |
| 肿瘤-对照体细胞检测 | 推荐分析流程 |
| 仅肿瘤体细胞检测 | 推荐分析流程 |
| 动植物 / 多倍体 | 推荐分析流程 |
4 安装软件
4.1 软硬件要求
- 一台联网机器:用于软件许可验证。DCS Tools 可以直接运行在该联网机器或者能与该联网机器通信的其它机器。
- 操作系统:推荐 CentOS 7、Debian 8、Ubuntu 14.04 及以上版本。
- CPU 至少有 8 核,内存至少有 128G,建议使用读写速度更快的 SSD 硬盘。
- 支持 x86 和 ARM 架构。
提示:本文档主要针对联网认证方式。若需离线使用本软件,请联系客服获取离线版本软件。
4.2 获取软件
在 申请试用 页面填写邮箱和联网机器 IP 等信息获取软件(通常 1 个工作日内)。
获取出口 IP(license 服务器识别到的地址)可参考如下命令:
curl --noproxy "*" -X POST https://tools.dcs.cloud/api/licensor/licenses/anon/echo
返回结果中 data 即为所需 IP 地址:
{"code":0,"msg":"Success","data":"172.19.29.215"}
提示:
1. 如果联网机器有多个 IP 地址或者使用了代理,用上述命令获取即可。
2. 如果联网机器是动态 IP 地址,请在申请试用表单里提供 MAC 地址。
4.3 软件安装
运行 license 代理程序
DCS Tools 通过 license 代理程序验证授权,因此必须先运行 license 代理程序。
# 如果下载时默认进行了 zip 压缩,则可能看到 dcs-tools-xxx.tar.gz.zip 的文件名,需要先解压 zip
7z x dcs-tools-xxx.tar.gz.zip
# 然后解压 tar 包
tar -xzvf dcs-tools-xxx.tar.gz
cd dcs-tools
运行代理程序:
./libexec/licproxy --license /path/to/XXXXXXXXX.lic --bind 0.0.0.0:8909
curl http://127.0.0.1:8909/api/licensor/licenses/anon/pool
./libexec/licproxy --license /path/to/XXXXXXXXX.lic --bind 0.0.0.0:8909 -d &
5 运行 DCS Tools
运行软件前需要设置环境变量 PROXY_HOST:
export PROXY_HOST=<联网机器IP>:<端口>
# 若程序直接运行在联网机器上,并没有修改过端口,则设置如下
export PROXY_HOST=127.0.0.1:8909
解压后的软件可直接运行,无需编译,相关依赖已经包含在软件包中。
示例:
bin/dcs aligner --aln-index <ref.fa> --index-type bwaFast --fq1 sample1_R1.FASTQ.gz --fq2 sample1_R2.FASTQ.gz --read group "@RG\tID:sample1\tSM:sample1" --output workDir
6 胚系流程快速上手
除了软件包,还会附带示例数据和脚本包(dcs-quick-start-xxx.tar.gz)。解压后可参考 quick_start_wgs.sh:
- 修改
DCS_HOME,设置为软件包解压目录 - 修改
PROXY_HOST - 若运行真实数据,再修改参考序列 FASTA、FASTQ 路径、sample 名称和输出目录等信息
该脚本的运行步骤包括:
- 质控、比对、排序和标记重复
- 碱基质量值矫正
- 变异检测(类似 GATK HaplotypeCaller)
- GVCF → VCF
- 输出报告
更多场景请继续阅读:
- 推荐分析流程
- 工具参数
- 场景入口
7 工具列表
| 场景 | 工具(模块)名称 | 功能 |
|---|---|---|
| WGS / WES 分析 | aligner | 质控、比对、排序和标记重复 |
| bqsr | 碱基质量值矫正 | |
| variantCaller | 变异检测(类似 GATK HaplotypeCaller) | |
| genotyper | GVCF → VCF | |
| report | 输出报告 | |
| 群体基因组联合分析 | jointcaller | 联合变异检测,支持百万级样本 |
| FASTQ 数据压缩解压 | SeqArc | 高效无损 FASTQ 压缩工具 |
| VCF 数据压缩解压 | VarArc | 高效无损 VCF 压缩工具 |
| 体细胞变异检测 | Mutect2 | 体细胞变异检测 |
| license 查询等 | lickit | 查询可用线程数和测试网络连接 |
| 小工具 | extract-VCF | 简化 VCF 文件,减轻 IO 压力 |
| BAM-stat | 统计比对信息 | |
| VCF-stat | 统计变异信息 | |
| tbi2lix | 将 tbi 索引简化为线性索引,用于 joint calling |