跳到主要内容

推理池 AiInferPool

对应 darra_pool_*。同一模型的 1..8 个会话 + 有界任务队列。实现 AutoCloseable。推理仍只走 InferImage,不是第二套推理核。

Java 不能声明 wait(long)(与 Object.wait(long) 冲突),等待结果的方法名为 waitFor(long)

maxWorkers 硬顶 8。GPU 上 yolov8n 建议 1–2;8GB+ 可试 2–4。100 张突发 = 队列,不是 100 份权重。Core 不探测「显存还能塞几个」——由调用方设 maxWorkers

快速开始

InferPoolOptions opt = InferPoolOptions.empty()
.maxWorkers(2)
.queueCapacity(128)
.overflow(InferOverflow.FAIL);
try (AiInferPool pool = AiInferPool.openPlain("yolov8n.onnx", "onnx-cuda", opt)) {
long ticket = pool.submit(jpg, ImageDesc.auto());
String json = pool.waitFor(ticket);
}

初始化见 初始化,submit / waitFor 见 提交与等待。选项见 InferPoolOptions,多卡槽见 GpuScheduler