lobe-vidol：AI Agent 工具实践指南

工作中遇到相关需求时，lobe-vidol值得先读说明，因为它主要用于 Lobe Vidol - 为 EveryOne 打造可访问的虚拟偶像。团队若要把它用于日常自动化，应先处理输入边界、依赖和失败处理如果不清楚就很难稳定复用，否则试用结果很容易失真。落地前可以用一项范围明确的真实任务完成最小试跑，用配置时间、输出质量、异常信息和维护痕迹判断它是否真的省事。我会把它列入愿意先做小范围验证并复查原始文档的团队的候选清单，而不是仅凭项目介绍直接纳入生产。

[!NOTE] Lobe Vidol 目前正处于早期开发阶段，现已开放进行 Beta 测试。我们欢迎您加入我们并做出贡献！

入门与沟通

Lobe Vidol 正在积极开发中。如果您有任何请求或疑问，请随时提交[issues][issues-link]。

[![][vercel-shield-badge]][vercel-link]	No installation or registration required! Visit our website for a quick experience.
[![][discord-shield-badge]][discord-link]	Join our Discord community! This is where you can interact with developers and other enthusiastic LobeHub users.

[!IMPORTANT]

Star the project to receive all release notifications from GitHub without delay!～⭐

![][back-to-top]

✨ 功能概述

1 。 文字聊天模式

流式响应提供流畅的对话体验，让您可以通过设置角色对话场景来创建身临其境的对话。

2 。 视频聊天模式

通过消息框中的视频按钮，您可以与角色模型进行更丰富的交互，例如面对面聊天、角色表演等。您还可以为角色设置背景、舞台、动作和舞蹈。

您可以通过设置背景图像来增强对话的上下文：

借助 Mixamo 角色动作和姿势的内置库，您可以让角色在对话期间做出所需的姿势或执行动作：

使用角色编辑器，您可以创建自己的虚拟偶像，设置触摸响应，将 VRM 模型上传到网站，并与它们互动。

在mmd-parser的支持下，您可以使用vmd文件与您喜欢的偶像一起跳舞；跳舞吧！

https://github.com/user-attachments/assets/c017be86-dbac-4ce1-9f00-a10248b58621

我们增加了舞台加载功能，内置了多种舞台选项，让角色可以以不同的舞台风格跳舞：

通过点击角色的不同身体部位，他们会做出不同的反应。您还可以编辑角色的触摸响应以创建独特的交互效果：

https://github.com/user-attachments/assets/a283bca0-222c-4ac8-8757-8c56ce3873c2

3 。 多模型提供商支持

在提供 AI 对话服务时，模型提供商的多样性对于满足社区需求至关重要。因此，我们将支持范围扩大到多个模型提供商，而不是局限于单一模型提供商，为用户提供更丰富、更多样化的对话选择。这样，LobeVidol就可以灵活适应不同的用户需求，同时为开发者提供更广泛的选择。

支持的模型提供商

我们已经实现了对以下模型提供商的支持：

• AWS Bedrock：与AWS Bedrock服务集成，支持Claude / LLama2等模型，提供强大的自然语言处理能力。 了解更多
• Google AI（Gemini Pro、Gemini Vision）：接入Google的Gemini系列模型，包括Gemini和Gemini Pro，支持高级语言理解和生成。 了解更多
• Anthropic（Claude）：集成Anthropic的Claude系列模型，包括Claude 3和Claude 2，具有多模态突破和超长上下文，树立了新的行业标杆。 了解更多
• ChatGLM：新增智普的ChatGLM系列模型（GLM-4/GLM-4-vision/GLM-3-turbo），为用户提供另一种高效的对话模型选择。 了解更多
• Moonshot AI：与Moonshot系列模型集成，来自中国的创新AI初创公司，旨在提供更深入的对话理解。 了解更多
• Together.ai：集成数百个开源模型和矢量模型，无需本地部署即可访问。 了解更多
• 01.AI：与01.AI模型集成，具有快速推理速度的APIs，减少处理时间，同时保持出色的模型性能。 了解更多
• Groq：接入Groq的AI模型，高效处理消息序列并生成响应，适用于多轮对话和单次交互任务。 了解更多
• OpenRouter：支持Claude 3、Gemma、Mistral、Llama2、Cohere等机型的路由，实现智能路由优化，提升使用效率，开放灵活。 了解更多
• Minimax：与Minimax的AI模型集成，包括MoE模型abab6，提供更多选择。 了解更多
• DeepSeek：与DeepSeek的AI型号集成，包括最新的DeepSeek-V2，提供性能和价格平衡的型号。 了解更多
• Qwen：与Qwen的AI型号集成，包括最新的qwen-turbo、qwen-plus和qwen-max型号。 了解更多
• Novita AI：最具性价比的开源模型提供商，支持Llama、Mistral系列等前沿开源模型。擅长情感陪伴场景，没有内容限制或审查。 了解更多

我们还计划支持更多的模型提供商，以进一步丰富我们的提供商库。如果您希望 LobeVidol 支持您最喜欢的提供商，请随时加入我们的 社区讨论。

![][back-to-top]

4 . 角色与舞蹈市场

LobeVidol 的角色市场汇集了多种精心设计的角色，让用户在不同场景和互动中获得独特的陪伴体验。这里不仅是展示平台，也是开放协作空间，每个人都能贡献创意并分享自己设计的角色。

[!TIP]

借助角色创建功能，可以轻松向平台提交原创角色。LobeVidol 建立了自动化国际化（i18n）流程，可将角色内容转换为多种语言版本，让不同语言的用户都能顺畅体验。

LobeVidol 的舞蹈市场收录了多种 MMD 舞蹈资源，可组合不同角色、舞台、音乐和舞蹈，制作具有个人风格的观看体验。

5 . TTS 与 STT 语音对话

LobeVidol 支持文本转语音（TTS）和语音转文本（STT），能够把文字转换为清晰语音，也让用户像与真人交谈一样使用对话助手。用户可以从多种声音中选择合适音色；对于偏好听觉学习或需要边忙边获取信息的人，TTS 也很实用。

LobeVidol 精选了 OpenAI Audio、Microsoft Edge Speech 等高质量语音方案，以适应不同地区和文化背景。用户可按个人偏好或具体场景选择声音，获得更个性化的交流体验。

![][back-to-top]

6 。 渐进式 Web 应用程序 (PWA)

我们了解在当今的多设备环境中为用户提供无缝体验的重要性。为此，我们采用了渐进式Web应用程序PWA技术，将Web应用程序提升到接近原生应用程序的体验。通过PWA，LobeVidol可以在桌面和移动设备上提供高度优化的用户体验，同时保持轻量级和高性能的特性。

在视觉和功能上，我们也对其进行了精心设计，以确保其界面与本机应用程序没有区别，提供流畅的动画、响应式布局，并适应不同的设备屏幕分辨率。

[!NOTE]

如果您不熟悉PWA的安装过程，您可以按照以下步骤将LobeVidol添加为桌面应用程序（也适用于移动设备）：

• 在您的计算机上运行 Chrome 或 Edge 浏览器。
• 访问 LobeVidol 网页。
• 单击地址栏右上角的 Install 图标。
• 按照屏幕上的说明完成 PWA 安装。

![][返回顶部]

生态系统

NPM	存储库	描述	版本
[@lobehub/ui][lobe-ui-link]	[lobehub/lobe-ui][lobe-ui-github]	An open-source UI component library designed for building AIGC web applications	[![][lobe-ui-shield]][lobe-ui-link]
[@lobehub/icons][lobe-icons-link]	[lobehub/lobe-icons][lobe-icons-github]	A collection of SVG logos and icons for mainstream AI / LLM models and companies	[![][lobe-icons-shield]][lobe-icons-link]
[@lobehub/tts][lobe-tts-link]	[lobehub/lobe-tts][lobe-tts-github]	A React Hooks library for AI TTS / STT voice synthesis / recognition	[![][lobe-tts-shield]][lobe-tts-link]
[@lobehub/lint][lobe-lint-link]	[lobehub/lobe-lint][lobe-lint-github]	LobeHub code style guidelines for ESlint, Stylelint, Commitlint, Prettier, Remark, and Semantic Release	[![][lobe-lint-shield]][lobe-lint-link]

• Vidol 市场 - 这是 Vidol Chat 的市场索引。Vidol 会读取该仓库的 index.json，向用户展示可用的角色代理和舞蹈列表。
• Vidol 特工样本 - Vidol 角色数据模板。
• Vidol 舞蹈样本 - Vidol 舞蹈数据模板。

![][back-to-top]

⌨ Local Development

You can use GitHub Codespaces for online development:

[![][github-codespace-shield]][github-codespace-link]

Or use the following commands for local development:

[![][bun-shield]][bun-link]

$ git clone https://github.com/lobehub/lobe-vidol.git
$ cd lobe-vidol
$ bun install
$ bun dev

![][back-to-top]

更多工具

更多项目

• [ Lobe Chat][lobe-chat] : 一个开源的、可扩展的（函数调用）插件系统，现代设计的 ChatGPT/LLMs 聊天应用程序和开发框架。支持一键免费部署您的私有ChatGPT/LLMs应用程序。
• [ Lobe SD 主题][lobe-theme]: 稳定扩散 WebUI 的现代主题，具有精致的界面设计、高度可定制的 UI 和效率增强功能。
• [⛵Lobe Midjourney WebUI][lobe-midjourney-webui]: Midjourney WebUI，能够根据文字提示快速生成丰富多样的图像，激发创造力并增强对话。
• [ Lobe i18n][lobe-i18n]: Lobe i18n 是由 ChatGPT 提供支持的 i18n（国际化）翻译过程的自动化工具。它支持大文件的自动拆分、增量更新以及 OpenAI 型号、API 代理和温度的可定制选项。

相关链接

• mmd-解析器 - https://github.com/takahirox/mmd-parser
• 三 VRM - https://github.com/pixiv/three-vrm
• tts-vue - https://github.com/LokerL/tts-vue

![][返回顶部]