NVIDIA 开源 Live VLM WebUI:摄像头实时测试视觉语言模型

NVIDIA 开源了 Live VLM WebUI,一个让你在本地用摄像头实时测试视觉语言模型的工具。一句话说明白:把摄像头画面直接喂给 AI,实时看分析结果。

NVIDIA 开源了 Live VLM WebUI,一个让你在本地用摄像头实时测试视觉语言模型的工具。一句话说明白:把摄像头画面直接喂给 AI,实时看分析结果。

核心功能

通过 WebRTC 技术将摄像头视频流实时传输给支持视觉的 Ollama 模型,AI 分析结果直接叠加在视频画面上。不是截图上传那种,是真正的视频流处理。

这个工具其实是 NVIDIA Jetson 团队之前工作的演进版本。最初他们在 Jetson 上做过 WebRTC 集成的实时摄像头流处理,但当时和特定硬件绑定太紧。

Ollama 出现后,标准化的 API 让这种实时流处理可以在任何平台上工作。所以他们把之前的经验现代化了:支持任何 VLM 后端,运行在任何平台,体验比在 Open WebUI 上传图片等响应要好得多。

技术细节:

  • WebRTC 低延迟视频传输
  • 实时显示处理帧率、GPU 使用率、VRAM 占用
  • 支持 Ollama、vLLM、NVIDIA API Catalog、OpenAI 等多种后端
  • 跨平台:Windows(WSL)、macOS、Linux、Jetson

https://wxa.wxs.qq.com/tmpl/ok/base_tmpl.html

支持的模型包括:

Gemma 系列gemma3:4b、gemma3:12b
Llama Visionllama3.2-vision:11b、llama3.2-vision:90b
Qwen VL从 qwen2.5-vl:3b 到 qwen3-vl:235b
LLaVAllava:7b、llava:13b、llava:34b
MiniCPM-Vminicpm-v:8b

实际应用场景

NVIDIA 工程师分享了几个有用的场景:

模型对比测试同一个场景下比较 gemma:4b vs gemma:12b vs llama3.2-vision 的表现差异
性能基准测试直接看到你硬件上的实际推理速度,不用猜
实时提示工程调整视觉提示词的同时看到实时效果,反馈循环很快
交互演示给别人展示视觉模型能力时,比上传静态图片有说服力

安装和使用

最简单的方式:

pip install live-vlm-webui
live-vlm-webui

https://wxa.wxs.qq.com/tmpl/ok/base_tmpl.html

然后打开 https://localhost:8090,选择后端和模型就能用。

除了 pip 安装,还支持 Docker:

docker run -d --gpus all --network host \
ghcr.io/nvidia-ai-iot/live-vlm-webui:latest

对 Jetson 用户有专门的镜像标签:latest-jetson-orin 和 latest-jetson-thor。

Docker Compose 可以一键部署(VLM + WebUI):

./scripts/start_docker_compose.sh ollama
docker exec ollama ollama pull llama3.2-vision:11b

硬件需求

网友测试发现,7B 参数的模型在普通笔记本上就能接近实时分析。不需要昂贵的云计算资源,本地跑就行。

界面显示详细的系统监控:GPU 利用率、VRAM 使用、CPU 和内存状态,还有推理延迟、tokens/sec 等指标。

小结

相较于传统静态图片测试,这种通过摄像头实时测试更加具有实际意义,能够更充分体现各个模型的优劣。后续,开发团队还会进一步优化对比体验,项目完全开源,感兴趣的可以使用。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

a17_01.png 专题栏目

这一年麦肯锡MBA”退场”:咨询顾问正被重新定义

短短两周内,供给端与需求端几乎同时动了起来。咨询顾问这个职业,正被"生产级AI交付"这股力量重新定义。
📅 11-20 · 👁 2026年11月20日
a16_01.png 专题栏目

46%的AI战略会议没有HR:CHRO成为企业AI落地的”总设计师”

2026年9月21日,IBM商业价值研究院(IBV)发布2026全球CHRO Study《设计思维型组织:随着人工智能重塑工作,CHRO关注的5个领域》。
📅 11-20 · 👁 2026年11月20日
a15_01.png 人工智能专题

37,075个AI Agent 撞车FDA突破性疗法:AI 从”写代码”变成了”开公司”

它叫Virtual Biotech。不租实验室,不招博士,不上市任何药品。它把"找靶点、评安全、选模态、设计临床"四件事,一次性交给了37,075 Agent同…
📅 11-20 · 👁 2026年11月20日
a13_01.png 人工智能专题

“机器生产、人类把舵”:跑在最前面的公司,悄悄重装了工作方式

2026年,一个人开始可以干完过去需要一整个团队才能干完的活。这不再是某家公司的孤例。2026年9月24日,波士顿咨询(BCG)发布一份报告,题目很长——《Fi…
📅 11-20 · 👁 2026年11月20日
a14_01.png 专题栏目

洗碗工的三十万”渡口”:AI时代的转岗,难的不是技能,是桥

一场比疫情更持久的迁徙,已经在路上。只不过这一次,报告给出的判断是:未来十年,美国创造的岗位可能比被替代的多——但前提是,人要走得过去。
📅 11-20 · 👁 2026年11月20日
a12_01.png 专题栏目

他把公司当成初创重做一遍:Brian Chesky 的 AI 原生实验

三个日期,三则新闻,指向同一件事——一家年预订规模约1000亿美元、员工超8200人的公司,正在从操作系统层面把自己重装成"AI 原生(AI-native)"。
📅 11-20 · 👁 2026年11月20日