乐鑫官方解决方案

除了基础框架 ESP-IDF，乐鑫还在 GitHub 的 espressif 组织里维护了一批面向特定场景的上层方案：智能家居协议、云平台、音频、语音、边缘 AI、图形界面和无线协处理器。它们多数以 ESP-IDF 组件形式提供，大多采用 Apache-2.0 开源许可，但个别模型与云服务有使用条款，商用前要读清楚。

概览

方案	作用	主要依赖
ESP-Matter	Matter 智能家居协议 SDK	ESP-IDF + connectedhomeip
ESP RainMaker	乐鑫的 AIoT 云平台与配套 SDK	ESP-IDF，云端服务
ESP-ADF	音频开发框架	ESP-IDF
ESP-SR	唤醒词、离线命令词、音频前端	S3 / P4 效果最完整
ESP-DL / ESP-WHO	深度学习推理库与图像检测方案	S3 / P4 效果较好
ESP-Brookesia	AIoT / HMI 系统框架	ESP-IDF + LVGL
ESP-Hosted	把 ESP 当作无线协处理器	主机为 MCU 或 Linux
esp-iot-solution	外设驱动与参考方案合集	ESP-IDF 组件
LVGL 集成	图形界面库的官方移植	组件注册表
ESP-Insights	设备诊断与远程日志	RainMaker 或独立使用

关键信息

ESP-Matter

ESP-Matter 是乐鑫官方的 Matter 开发框架，构建在开源的 connectedhomeip 之上，Apache-2.0 许可。看 README（2026-10-14）：

• 推荐 ESP-IDF 版本为 v6.0.2；ESP32-S31、ESP32-H21、ESP32-H4 需要使用 README 指定的某个 IDF 提交，而不是正式版。
• 针对不同 Matter 规范版本维护独立分支（v1.4 到 v1.6.1 等），v1.7 在 main 分支进行中。
• 乐鑫还提供付费的量产服务，例如 DAC 预置和认证协助。

Matter 设备跑在哪种无线上：Wi-Fi 设备用 ESP32 / S3 / C3 / C6 等，Thread 设备需要带 IEEE 802.15.4 的 C6 或 H2。详见 无线协议。Matter 的 SDK 对 Flash、内存要求较高，选芯片时先查官方的支持设备类型表。

ESP RainMaker

RainMaker 是乐鑫的物联网云平台，包含设备端 SDK、手机 App 和云端。设备通过 MQTT 与云连接，提供 OTA、场景、分享等功能。它与 ESP-Matter 可以结合，让 Matter 设备同时被乐鑫云管理。云服务的免费额度、私有部署选项等商业条款以官网为准，本文没有核对。

ESP-ADF

ESP-ADF（Audio Development Framework）提供音频管线、编解码器、音频播放器、蓝牙 A2DP、语音服务集成等。适用于做音箱、对讲、网络收音机。Audio 相关的开源项目见 音频。

ESP-SR

ESP-SR 是乐鑫的语音识别框架，随组件发布。README 能看到：

• WakeNet：唤醒词，模型包括 WakeNet9、9s、9l 和 WakeNet10。WakeNet10 支持中、英、日、法、德、西、葡、俄。支持芯片列表含 ESP32、S2、S3、S31、P4、C3、C5、C6。
• MultiNet：离线命令词识别，最多 300 个中英文命令，支持 ESP32-S3、P4、S31。
• AFE：音频前端，包括回声消除、语音活动检测、盲源分离、降噪。
• 许可：页面没有直接写明，请看仓库的 LICENSE 文件。README 提醒，用品牌词做唤醒词，商用前要得到品牌方许可。

语音助手整机方案（例如小智等）见 语音与 AI。

ESP-DL 与 ESP-WHO

ESP-DL 是面向乐鑫芯片的神经网络推理库，ESP-WHO 在其之上提供人脸检测、识别、手势、猫脸等示例。带 AI 指令的 ESP32-S3 与 ESP32-P4 是主要目标。模型规模受内存与算力限制，通常是轻量级视觉任务。本文未核对它们当前的版本号与模型清单。

ESP-Brookesia

ESP-Brookesia 是面向 AIoT 与人机界面的框架，Apache-2.0 许可。看仓库说明：

• 以多个 ESP-IDF 组件形式提供：硬件抽象、服务（Wi-Fi、音频、视频、存储、USB 及 Coze / OpenAI / 小智 AI 代理）、运行时（ELF、JavaScript、Lua、WebAssembly）、基于 LVGL 的 JSON 驱动界面、系统框架和应用。
• master 分支版本 v0.8，仍在开发；release/v0.7 是稳定分支，需要 ESP-IDF 5.5 到 6.0；v0.6 不再维护。
• 支持 Linux 主机上的 PC 仿真。

ESP-Hosted

ESP-Hosted 把一颗乐鑫芯片变成其他主机的无线协处理器。主机可以是没有无线的 MCU，也可以是 Linux。按 README：

• esp-hosted-linux：给 Linux 主机提供标准 wlan0 接口，兼容 wpa_supplicant 与 NetworkManager。
• esp-hosted-mcu：给 MCU 主机提供与 ESP-IDF 兼容的 API，支持 Wi-Fi、蓝牙与 802.15.4。
• 传输方式：SDIO、SPI、SPI-HD、UART。
• 旧版 NG、FG 保留在 legacy/fg-ng 分支，新开发在两个新仓库。

最典型的应用是 ESP32-P4：P4 自身没有无线，常用 ESP32-C6 作为协处理器通过 ESP-Hosted 提供 Wi-Fi 6 与蓝牙。

esp-iot-solution

espressif/esp-iot-solution 是一个合集仓库：按键、传感器、显示驱动，以及 USB 设备、低功耗等参考。常以组件形式发布到组件注册表，使用时从注册表拉取即可，不需要整仓克隆。

LVGL 集成

LVGL 是最常用的嵌入式图形库。乐鑫在注册表提供 lvgl_port 与 esp_lcd 驱动适配，Arduino 和 ESPHome 也有各自的集成。显示相关的玩法见 显示屏。

ESP-Insights

ESP-Insights 用于远程收集崩溃信息、日志和指标，可与 RainMaker 配合。我没有核对其当前的服务条款和云端限制。

先选方案再选芯片

语音、AI 视觉、Matter Thread 对芯片的要求差别很大。先在官方 README 里确认目标方案支持哪些芯片，再回到 如何选芯片。

适合谁 / 不适合谁

适合要做具体产品形态（Matter 网关、智能音箱、带屏 AI 设备）的开发者。不适合刚入门只需要点灯读传感器的读者，也不适合不用 ESP-IDF 的路线，因为很多方案对 Arduino 或 Python 并无一等支持。

参考资料

• ESP-Matter：https://github.com/espressif/esp-matter
• ESP RainMaker：https://rainmaker.espressif.com/
• ESP-ADF：https://github.com/espressif/esp-adf
• ESP-SR：https://github.com/espressif/esp-sr
• ESP-DL：https://github.com/espressif/esp-dl
• ESP-WHO：https://github.com/espressif/esp-who
• ESP-Brookesia：https://github.com/espressif/esp-brookesia
• ESP-Hosted：https://github.com/espressif/esp-hosted
• esp-iot-solution：https://github.com/espressif/esp-iot-solution
• ESP-Insights：https://github.com/espressif/esp-insights
• 组件注册表：https://components.espressif.com/