ESP32-P4 · 低成本 MCU 实时眼部渲染

实时眼神。
低成本落地。

不只播放画好的表情,也不必先为眼睛换上更昂贵的高算力平台。Dream Droid 在 ESP32-P4 上持续计算眼形、情绪与注视,让成本敏感的机器人也能拥有自然的表达。

看成本与表达的区别
在线交互:Windows 原程序嵌入式实拍:见下方视频
+REAL-TIME EXPRESSION. BUILT FOR REAL PRODUCTS.
01 / EXPRESSION LAB
正在连接原程序ORIGINAL .EXE
原程序双眼效果截图,尚未加载实时界面真实效果截图 · 尚非实时画面

点击后连接你的原程序

真实原界面 · 不复刻效果

只读在线演示 · 保存与上传需使用本机客户端

ESP32-P4+低成本 MCU 路线
实时↗计算眼神,而非只切换片段
可复用↗少做重复动画,多组合能力
SCROLL TO EXPLORE
LESS COST. MORE EXPRESSION.

低成本,是底层选择。 表现力,不必跟着打折。

我们优化的不只是一颗芯片的预算。 还有表情制作、风格迭代和产品集成的成本。

01

硬件不用为眼睛升级一档。

以 ESP32-P4 为推荐端侧平台,让 MCU 承担眼部实时表达。把资源预算用在真正需要的地方,而不是默认用更高算力平台运行一套复杂通用引擎。

面向 MCU · 成本可控
02

一次表达,不只一种状态。

开心时也可以看向你;困倦时仍然能眨眼。情绪强弱、视线、眼睑和微动作分开控制,再在同一帧中组合,不必把每个组合都画成一段新动画。

参数连续 · 动作组合
03

改一套规则,不改一堆影片。

眼形、虹膜颜色、瞳孔与左右眼差异由配置组织。修改共同结构可以覆盖多种表达,设计师在编辑器预览,研发接入配置与资源,减少重复制作和沟通。

结构复用 · 所见即所得

不是在“播放片段”与“更高算力平台”之间二选一。 预制素材适合复用既有内容,复杂引擎有自己的资源预算。Dream Droid 面向 MCU,把实时表达核心、可选艺术素材与工程控制结合起来。

VALUE / 成本与实时表达

小芯片预算,大眼神表达。

不只节省硬件预算。让实时参数、共享素材与编辑工具一起工作,减少为新表情重复制作内容,也让厂商更容易把表达接入产品。

COST POSITIONING / 资料口径
20 元级20 元级 MCU 路线
公司产品资料中的 MCU 成本口径

MCU 不只会播片,也能计算眼神。

公司产品资料以20元级芯片作为成本路线。Dream Droid 把实时眼睛结构、情绪与注视放到 MCU 端计算;推荐平台 ESP32-P4 已有实机画面。低成本与实时表达,不必作为两个互相排斥的选项。

公司产品资料的 MCU 成本口径;非 ESP32-P4 当前采购报价、整套 BOM 或 SDK 授权价,实际随型号与采购批量确定。

01 / 硬件

让 MCU 承担实时眼部渲染

推荐 ESP32-P4 路线,将眼部表达放在 MCU 端运行。不默认给眼睛增加一套高算力平台;屏幕、存储和系统功能再按产品预算配置。

02 / 内容制作

少为组合重画整段动画

一套眼睛结构与动作规则,组合不同强度、视线和眨眼。改颜色或眼形不必逐个修改全部影片,装饰素材继续复用;最终组合仍需质量验证。

03 / 集成协作

用配置连接设计与研发

设计师预览和导出方案,业务层传递情绪、强度与目标位置。表达层负责生成画面,减少用动画文件编号反复对接的负担。

REAL-TIME, SPECIFICALLY

实时的价值,不是一个形容词。

开心时看向你、困倦时仍然眨眼、被打断后立即调整注意力。重点是变化从当前状态继续,多个维度同时工作,而不只是多放几个表情文件。

从当前状态自然过渡

眼睑、颜色、瞳孔与动作参数可从此刻的值进入下一状态,减少硬切片段造成的突变感。

强度保持连续

从轻微到强烈的同一种情绪,可用开合、色彩和瞳孔等连续参数拉开层次。

情绪、注视与眨眼可组合

这些状态可分层编排、同时调度;不必为每一种组合都重新制作一整段过渡。

连续坐标注视

注视目标可以是连续坐标和轨迹,而非只在少数固定位置之间跳转。

呼吸、随机微动作与眨眼

细小的呼吸起伏、微动作和眨眼节奏可被独立安排,降低静止时反复播放的机械感。

双眼独立与可选艺术层

左右眼可分别设定颜色、形状或动作;图片 / GIF 等艺术特效层可与实时眼部运动并存。

CONTENT SCALE / 制作假设

8种情绪,为什么会变成56条过渡?

拖动情绪数,观察“每一条有向切换都单独制作整段过渡”这一假设下的工作量。

N 的范围:2–16
8 N
快速核对8 种情绪 → 56 条16 种情绪 → 240 条
有向情绪切换56有向情绪切换8 × (8 − 1) = 56

在此制作假设下,需要单独制作的完整转场数量。

计算假设

假设每个有向情绪切换都单独制作整段过渡:A → B 与 B → A 分别计算。它是二次增长,不是指数增长。

分层、混合或加入中间态的 GIF,也可以减少所需素材;参数化同样需要组合质量验证。

制作假设示意,非实际资产清单/性能测试。

WHAT REAL-TIME REALLY MEANS

不是播得更快。
是每一帧都能重新表达。

GIF 的每一帧是已经画好的像素。实时引擎根据当前情绪、目标位置和时间生成下一帧;外观素材仍可保留,但“怎么动、看哪里、表达多强”不再只能靠挑选一个片段。

REAL-TIME EXPRESSION ENGINE

改变情绪时,眼形、眼睑、颜色和瞳孔从当前值连续过渡,而不是突然换一张脸。控制层能设定目标与时序;交互被打断时,可以从正在发生的状态重新设定下一步,不必等固定片段播完。

当前状态 → 连续过渡 → 新目标
  1. 01情绪 · 强度 · 视线
  2. 02实时结构与动作计算
  3. 03可选图片 / GIF 风格层
  4. 04ESP32-P4 显示输出
ESP32-P4 / ON DEVICE开发团队提供的实机拍摄
真实设备显示屏上的双眼画面,视频未播放
真实原片精选 · 点击后加载

不止在电脑上。
也跑在 ESP32-P4 上。

同一块显示屏上的真实输出:双眼、眼睑变化、虹膜与情绪装饰。保留拍摄现场与原始节奏,不用电脑动画代替实机。

运行平台
ESP32-P4
证据类型
实机拍屏原片精选
可见表现
双眼 · 情绪 · 装饰变化

开发团队资料中的测试记录

160 × 160每眼分辨率
≥30 FPS报告渲染帧率
<30%报告单核利用率

来源:开发团队提供的产品发现资料。特效启用、芯片时钟、固件和计量范围尚未完整,以上不是本轮独立实测,也不是任意配置下的性能保证。接入评估需按实际产品条件验证。

平台信息按开发团队提供的运行说明标注。视频不是独立的芯片识别或性能测试;拍摄帧率不代表渲染 FPS。

了解如何接入你的产品默认静音 · 播放后可通过控件打开原声和全屏
实时眼睛结构NATIVE DEMO
实时眼睛结构
动图与实时结构结合NATIVE DEMO
动图与实时结构结合
左右眼独立配色NATIVE DEMO
左右眼独立配色

辅助示例:当前 Demo 的主机渲染画面 · 非嵌入式实拍

INTEGRATION OVERVIEW

把眼神方案,接入你的设备。

设计人员负责角色表达,研发负责业务与硬件。用可编辑配置连接两端,而不是为每次改色、改眼形和新增状态重做整套动画。

  1. 01

    编辑眼睛方案

    在现有编辑器调整眼形、虹膜颜色、眼睑曲线和左右眼差异,实时预览表情与视线。结构和参数共享,让一处风格修改覆盖多种表达。

  2. 02

    导出配置与资源

    导出 JSON 配置并整理必要图片或动图。按目标屏幕尺寸、存储与计算预算预处理资源,把设计意图交给研发,而不是只交一段无法继续编辑的影片。

  3. 03

    接入设备控制接口

    由业务层传递情绪、强度、视线和时序目标,表达层计算当前画面。依据项目对接对话或感知输入,并在目标硬件核对帧率、资源占用与表现质量。

把技术与成本说清楚

厂商真正关心的六个问题。

不混淆芯片与整机价格,不混淆实拍与性能测试,也不把规划当成现货。

01

“便宜”具体省在哪里?

首先是面向 MCU 的硬件路线,不默认借助更高算力平台来运行眼部引擎;其次是复用结构、动作与参数,减少逐个组合制作整眼动画;最后是编辑器、配置与控制接口连接设计和研发。芯片、屏幕、存储、PCB、授权和定制是不同成本项,不能把一颗芯片的成本当作整个方案售价。

02

“20 元级”就是 ESP32-P4 的售价吗?

不是。它是公司产品资料中的 MCU 芯片成本口径,资料涉及多款 MCU;这轮没有提供 P4 的实时采购报价。型号、封装、采购批量和时间会影响价格,完整眼部子系统及 SDK 授权另行核算。推荐平台 ESP32-P4 与这一成本路线应分开理解。

03

GIF 也能交互,为什么还要实时渲染?

可以通过事件切换、分层或混合预制动画。差别在于:固定帧里的像素已经画好,新增连续眼形、强度和视线维度时,需要额外素材或控制设计;参数化引擎在当前状态下计算画面,把多维组合交给共享规则。我们比较的是“整眼预制片段为主”的路线,不否认所有动画系统的交互能力。

04

实时渲染是不是完全不能用 GIF?

恰好相反。基础眼睛、眼睑与视线实时计算,复杂风格和装饰可用图片或动图层。这样可以保留美术表现,同时让眼球移动、情绪强度与眨眼仍受控制。现有资料和演示采用的就是这条混合路线。

05

视频和性能数字分别证明什么?

视频展示开发团队说明为 ESP32-P4 输出的实机眼部效果。每眼160×160、渲染≥30FPS、单核<30%来自团队测试记录,不是这次拍摄测得的遥测;特效、时钟、固件和计量条件还需统一。采购或集成评估应按目标配置实测,不能拿电脑演示的60FPS替代芯片数据。

06

现在能做什么,哪些仍在规划?

当前已有实时表达、风格编辑、独立双眼、预览和 JSON 配置交换,并可按项目协作设备适配。参考图自动生成方案、社区分发和内容商店仍属研发规划。设备端负责运行表达引擎,不需要把“每帧生成AI图像”作为这套眼睛的工作方式。

从目标硬件与产品需求开始评估
THE NEXT CHAPTER研发规划

让创作更轻。
让每台机器人更不同。

当前已经能手动编辑外观、预览动态并交换配置。下一步探索 AI 把参考图转换为结构参数、必要美术素材和动作规则,让定制不是再生产一组不能修改的影片。

YOUR IMAGINATION. YOUR EXPRESSION.
01

带来角色与风格

用参考图表达喜欢的眼形、配色与角色感,规划先支持限定风格和模板。

02

生成可编辑方案

探索提取结构参数与必要素材,并检查眨眼、注视和强度变化是否仍像同一个角色。

03

微调、验证与复用

用户能继续编辑;适配目标设备的资源预算后,再讨论分享、二次创作和持续内容。

i

参考图自动生成、社区分发、内容商店与创作者收益属于后续规划,尚未上线。设备端实时渲染不等于每帧运行 AI 生成模型。

抽象玻璃双眼与琥珀光,Dream Droid 品牌概念视觉DREAM / DROID品牌概念视觉 · 非实际硬件产品
DREAM DROID / FOR ROBOT MAKERS

把表达能力,
变成产品能力。

Dream Droid 面向家用、桌面与陪伴机器人厂商,专注眼部实时引擎、可编辑风格和工程集成。我们把端侧计算、内容工具和业务控制连成一条链,让“有生命感”不仅出现在电脑演示里,也能进入成本敏感的设备。

厂商可以从引擎集成开始,也可以按产品需求协作风格定制、平台适配和验证资料。我们的目标不是让每台机器人拥有同一双眼睛,而是用可复用的底座,支持不同角色、外观与行为节奏。

引擎集成风格定制平台适配
LET'S MAKE IT FEEL.

别只给机器人一组表情。 给它一套表达能力。

在原程序中体验连续注视与情绪变化,再看实机视频、成本口径和厂商接入方式。

了解集成方式