白天在线问答、夜间文档批处理,这两类业务的高峰往往并不同步。可现实中,一组八张GPU常被某个在线模型长期占用,权重一直留在显存里,夜间批处理即使排队也难以接手。
GPUWorks提供的分时复用思路,是让多个大模型在不同时段轮流使用同一组完整GPU。交接时间固定的业务可以提前设置定时计划,请求到达不固定的业务则能依据闲置时长、本轮服务时间或优先级完成交接,无须每天人工停服、换模型。
在具体部署中,管理员可以把DeepSeek、Qwen、GLM等模型放在同一组八卡上,并为每个部署配置出让策略。当前模型满足条件后,会按预设规则处理请求,再休眠并释放显存,等待中的模型随即恢复服务。以总显存约1TB的八卡为例,三个都需要整组资源的模型先后运行,每次都能使用完整显存,从而形成约三倍超分的效果。
让卡时机可以按业务单独设置。若采用闲置自动出让,当前服务在没有其他部署等卡时,即使超过设定时长也可以继续使用;若要求固定交班,则可在定时计划中设置星期、时间和休眠级别,白天常驻模型即使配置为不自动出让,也会在指定时刻休眠。
交卡时还要处理正在进行的请求。管理员可预设等待完成并设置最长等待时间,让模型有机会答完当前问题;也可选择立即中断,使排队业务更早接手GPU。
模型让出GPU后能否快速回来,关系到分时复用是否实用。L1休眠会保留推理引擎,把权重从显存转移到主机内存,下次获得资源时再从内存载回;主机内存紧张时,L2深度休眠可将权重转移到磁盘。

在配备8张H20的服务器实测中,三个模型均采用八卡张量并行部署。传统冷启动需要重启推理引擎、从NFS读取权重、装载八卡显存并完成初始化预热,服务恢复耗时16至17.5分钟;同组硬件上L1唤醒约4秒。本次实测中,与传统NFS冷启动相比,分时复用通过L1唤醒将模型服务恢复效率提升200多倍。
模型选型测试是典型场景之一。研发需要让多个候选模型回答同一套问题,再逐题比较。将DeepSeek、Qwen、GLM都设为按时自动出让,每轮最长服务120秒,交接时等待当前请求完成,测试程序按模型记录回答,一组GPU就能完成选型测试。
白天在线、夜间跑批的场景则依赖明确交接时刻。在线模型配置为不自动出让,同时在定时计划中添加休眠指令;到了22:00,休眠指令生效,等待中的批处理模型接手这组卡。批处理模型还可另配闲置自动出让,若某晚文档较少、任务提前完成,只要闲置达到阈值且另有模型等卡,剩余夜间时段可继续交给其他任务。
关键业务优先用卡时,可将关键业务模型设为P0优先级并配置闲置自动出让,普通业务模型设为P1优先级并配置随时出让。关键请求到来后,普通业务模型按规则收尾,例如在等待上限内完成当前资料、保存结果,再让出GPU。关键模型答完问题后,若连续60秒没有新请求且资料整理模型仍在等卡,GPU会按闲置策略交回,资料整理继续进行。
两个积压队列也能持续轮用。离线数据合成和文档摘要优先级相同、都能分条处理时,可给两个部署设置相同优先级并选择按时自动出让,每轮最长120秒。只要对方还有任务,当前模型用满一轮并处理完手上请求后就轮到对方;合成程序逐条保存样本,摘要程序逐份保存结果,下一轮各自从待处理项继续。
是否增购GPU,首先要看各项业务是否需要同时用卡。多个模型同时满载时,算力仍要按峰值准备;用卡时段能够错开时,分时复用可以让同一组GPU承接更多工作。





