如何在Golang中开发简易文件下载器_多线程下载文件

Go通过goroutine并发发起HTTP Range请求实现多线程分块下载：先HEAD获取总大小，按字节范围切分，各goroutine用WriteAt写入对应偏移，channel汇总结果并支持断点续传。

支持多线程分块下载的核心思路

Go 本身没有内置“多线程”概念，但可通过 goroutine + HTTP Range 请求 实现并发下载。原理是将一个大文件按字节范围切分成多个片段（如 0-999999、1000000-1999999…），每个 goroutine 独立发起带 Range 头的 GET 请求，写入对应偏移位置的临时文件，最后合并或直接拼接到目标文件。

关键步骤与代码要点

需注意：服务端必须支持 Accept-Ranges: bytes，否则无法分片。可用 curl -I URL 检查响应头。

获取文件总大小：先发 HEAD 请求，读取 Content-Length 响应头
计算分块策略：例如每块 5MB，共 ceil(total / chunkSize) 个 goroutine
并发请求 + 定位写入：每个 goroutine 打开文件（os.OpenFile 配合 os.SEEK_SET），用 file.WriteAt(data, offset) 写入指定位置，避免竞态
错误与进度处理：用 channel 收集各段下载结果（成功/失败/耗时），主 goroutine 等待全部完成，失败可重试或报错退出

简易可运行示例（无第三方依赖）

以下为最小可行实现，支持断点续传基础逻辑（检查已存在文件并跳过已下载段）：

func downloadPart(url string, start, end int64, dst *os.File, wg *sync.WaitGroup, errCh chan error) { defer wg.Done() req, _ := http.NewRequest("GET", url, nil) req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", start, end)) resp, err := http.DefaultClient.Do(req) if err != nil { errCh <- err return } defer resp.Body.Close()

buf := make([]byte, 32*1024)
for {
    n, rerr := resp.Body.Read(buf)
    if n > 0 {
        _, werr := dst.WriteAt(buf[:n], start)
        start += int64(n)
        if werr != nil {
            errCh <- werr
            return
        }
    }
    if rerr == io.EOF {
        break
    }
    if rerr != nil {
        errCh <- rerr
        return
    }
}

}

调用时创建目标文件（os.Create），预分配大小（f.Truncate(totalSize)），再启动多个 downloadPart goroutine 即可。

实用增强建议

生产环境可进一步优化：

添加超时控制：http.Client{Timeout: 30 * time.Second}
限制并发数：用带缓冲的 channel 或 semaphore 控制 goroutine 数量（如最多 4 个并发）
支持断点续传：下载前读取已有文件长度，只请求未完成区间
进度显示：用 github.com/vbauerster/mpb/v8 等库绘制实时进度条

# go # golang # 字节 # curl # ai # 并发请求

返回目录在线咨询

上一篇：js实现用户输入的小写字母自动转大写字母的方法
下一篇：肇庆制作手机网站有哪些,肇庆体育中心官方网站？

您的项目需求