跳到主要内容

使用说明

功能介绍​

ESP32-S3-PhotoPainter-203

  1. PWR 按键：单击该按键可打开系统电源，长按该按键可关闭系统电源；系统电源打开的情况下，单击可进入睡眠模式。
  2. BOOT 按键：切换图片和进入下载模式
  3. KEY：睡眠模式唤醒，模式切换。
  4. ACT 指示灯：刷屏，闪烁
  5. PWR 指示灯：可操作指示灯，亮起表示可以进行操作

产品使用​

  1. 根据自己的方式先下载 程序，解压之后，把 sdcard 目录下的所有文件拷贝到 sdcard 上

  2. 单击 PWR 按键开机，第一次开机会有一个配网的过程，语音会播报"进入配网模式"，这个时候使用手机连接 Xiaozhi-xxx (xxx 表示不固定的）

  3. 配网成功之后，进入 小智控制台，添加对应的设备

    ESP32-S3-PhotoPainter-19

  4. 本产品有三种工作模式，分别是基础模式（模式 1）、局域网服务器模式（模式 2）、AI 对话模式（模式 3），接下来详细描述怎么去使用这三种模式

模式切换​

  1. 开机后，长按 KEY 按键进入模式选择，此时会有语音播报。
  2. 单击 KEY 按键切换待选模式。
  3. 再次长按 KEY 按键，确认选择并进入该模式。

下图中标记 1 为 KEY 按键。

ESP32-S3-PhotoPainter 背面按键位置，标记 1 为 KEY 按键

模式 1​

  1. 默认是 1 模式，通过长按 KEY 按键，进入模式选择（语音会播报），然后单击 KEY 按键表示基础模式（模式 1），再次长按 KEY 按键即可进入该模式

  2. 可以把需要显示的照片添加到 sd 卡 06_user_Foundation_img 目录下，只能接受 800x480 或者 480x800 的位深 24 位 BMP 格式的图片，图片是需要经过抖动的，具体可以查看 图片制作，如果有兴趣的话，也可以查看我们提供的代码，代码里面也是具备抖动算法的，也可以修改后使用，如下图：

    ESP32-S3-PhotoPainter-20

  3. 单击 BOOT 按键即可显示 06_user_Foundation_img 目录下的图片，显示完图片之后自动进入睡眠模式。

  4. 可以通过 BOOT 按键唤醒和切换图片，也可以单击 KEY 按键实现唤醒不切图。

  5. 在睡眠模式的时候，有定时唤醒，可以通过 06_user_Foundation_img 目录下的 config.txt 文件设置，具体代码段和文件位置如下：

    ESP32-S3-PhotoPainter-32

    ESP32-S3-PhotoPainter-31

模式 2​

  1. 如果产品处于低功耗模式，需要先单击 KEY 按键进行唤醒，然后再长按 KEY 按键，进入模式选择；单击 KEY 按键两次，再次长按 KEY 即可进入该模式

  2. 使用手机或者电脑连接 Wi-Fi：esp_network 密码：1234567890，连接成功之后，进入 图片选择界面，如图：

    ESP32-S3-PhotoPainter-22

  3. 点击 input 选择对应的图片（图片必须是 24 位深的 800x480 或者 480x800 的图片，而且还是经过抖动的），具体可以查看 图片制作，点击 Send 即可发送对应的图片到相框

  4. 如果需要进入低功耗，可以直接断开 WIFI 的连接即可，产品会每隔 30s 唤醒一次，具体代码段如下，可以自行修改，连接成功 WIFI 之后禁止睡眠

    ESP32-S3-PhotoPainter-23

模式 3​

  1. 通过长按 KEY 按键进入模式选择，单击 KEY 按键三次，然后再长按 KEY 按键即可进入该模式

  2. 等待屏幕显示完成即可进行对话，唤醒词是"你好，小智"

  3. 唤醒之后即可正常对话

  4. 对话说“ 刷新天气 ” 关键词后屏幕会刷新并显示自动获取到的近 4 天的天气预报情况

  5. 可以通过 MCP 显示 sd 卡 05_user_ai_img 的图片，获取 sd 卡 05_user_ai_img 目录的图片数量，还具备图片评分，具体 MCP 服务对应代码如下，也可以自行实现 MCP 服务：

    ESP32-S3-PhotoPainter-24

  6. 关于 AI 生成图片的使用，比如可以说"帮我生成一张月球的图片"，如果需要使用这个功能，需要配置火山引擎，具体的配置参考 火山引擎文生图配置

  7. 对图片进行评分之后，间隔 30 分钟轮播一次图片，对应代码如下，可以语音进行重置评分

    ESP32-S3-PhotoPainter-25

火山引擎文生图配置​

  1. 首先需要得是获取密钥、模型名称、URL，目前使用得是测试模型，后续会停掉的，需要自行配置模型，相关代码段和 config.txt 文件里面相关配置如下：

    ESP32-S3-PhotoPainter-33

    ESP32-S3-PhotoPainter-35

  2. 进入 火山引擎控制台，依次选择“在线推理” > “模型推理接入点”，点击“创建推理接入点”。

    调用费用

    请自行为火山引擎账号充值，并承担文生图调用费用。具体计费规则以 火山方舟模型服务计费说明 为准。

    火山方舟在线推理页面中创建模型推理接入点的入口

  3. 填写接入点名称，例如 s3-test。“推理模式”选择“指定单一模型”，“接入模型”选择 Doubao-Seedream-5.0-flash，“接入模式”选择“按张数计费”，然后点击“创建并接入”。

    创建在线推理接入点并选择 Doubao-Seedream-5.0-flash 模型

  4. 在接入点的调用示例页面，点击“选择 API Key 并复制”，选择并复制可访问该接入点的 API Key。同时记录调用示例中的 model（自己的接入点 ID，形如 ep-...）和请求 URL。

    在接入点调用示例中选择并复制 API Key

    火山方舟 REST API 调用示例中标注的请求 URL 和 model 接入点 ID

  5. 将请求 URL、接入点 ID 和 API Key 分别填入 sdcard/06_user_Foundation_img/config.txt 的 ai_url、ai_model、ai_key 字段（参见步骤 1 的配置文件截图）。

图片制作​

  • 使用 PS 等工具制作散点图，请参考：使用 Photoshop 制作散点图
  • 使用我们编写的工具转换图片，应用程序及源代码：六色抖动图片转换工具
    • 该程序可将图片转换成合适的分辨率并使用抖动算法进行优化，支持绝大多数格式的图片，会识别图片的方向并自动拉伸和剪裁
    • 使用方法：直接将图片拖放到“convert.exe”上面可以进行单张转换图片，或者将所有图片放到文件夹中然后双击“converterTo6color_all.cmd”进行批量转换
    • 注意：该程序仅为方便使用而开发并开源，不提供技术支持

Windows 使用工具​

  • 单张图片转换

    将图片拖到 convert.exe 上即可

  • 批量转换图片

    将图片、convert.exe、converterTo6color_all.cmd 放在一个文件夹里面，然后双击 converterTo6color_all.cmd 即可

MAC 使用工具​

将图片、convert、converterTo6color_all 放在一个文件夹 打开终端，进入对应的文件夹

cd xxxx/xxx/xxx/

  • 单张图片转换

    输入命令，给予 convert 可执行权限

    sudo chmod +x convert

    转换图片

    ./convert 图片名称

  • 批量转换图片

    要先对 convert 文件进行权限操作给予后才行

    输入命令，给予 converterTo6color_all.sh 可执行权限

    sudo chmod +x converterTo6color_all.sh

    转换图片

    ./converterTo6color_all.sh

开发说明​

  • 注意：本程序友情开源，不对其提供技术支持（有 bug 欢迎反馈）。
  • 程序基于 ESP-IDF 的 C/C++ SDK 编写，使用 CMAKE 编译，理论支持多平台，相关环境请自行搭建。