ESP-Skainet 语音助手

    本文地址:http://www.tongxinmao.com/Article/Detail/id/512

    ESP-Skainet 以最便捷的方式支持基于乐鑫的 ESP32 芯片的唤醒词识别和命令词识别应用程序的开发。使用 ESP-Skainet,您可以轻松构建唤醒词识别和命令词识别应用程序。


    输入音频

    输入音频流可以来自麦克风,或Flash/TF 卡中的 wav/pcm 等音频文件文件。

    唤醒词识别

    唤醒词模型 WakeNet,致力于提供一个低资源消耗的的高性能模型,支持类似“Alexa”,“天猫精灵”,“小爱同学”等唤醒词的识别。

    目前乐鑫免费开放“Hi,乐鑫”, “你好小智”, “你好小鑫”, “hi,Jeson”唤醒词。如果用户需要其它唤醒词,乐鑫提供有唤醒词定制服务,具体可参考 乐鑫语音唤醒词定制流程

    语音命令词识别

    命令词识别模型 MultiNet ,致力于提供一个灵活的离线语音命词识别框架。用户可方便根据需求自定义语音命令,无需重新训练模型。

    目前模型支持类似“打开空调”,“打开卧室灯”等中文命令词识别和"Turn on/off the light" 等英文命令词识别,自定义语音命令词最大个数为 100。

    声学算法

    目前 ESP-Skainet 集成了回声消除 AEC(Acoustic Echo Cancellation),自动增益调节 AGC(automatic_gain_control),噪声抑制 NS(Noise Suppression),语音活动检测 VAD(Voice Activity Detection) 和麦克风阵列算法(Mic Array Speech Enhancement)。

    快速开始

    硬件准备

    为了运行 ESP-Skainet,您需要一块集成了音频输入模块的开发板,我们在示例中使用 ESP32-LyraT-Mini 或者 ESP32-Korvo V1.1 。

    关于针对应用的具体配置,请参考每个示例中的 README.md。



    应用实例

    GitHub - Kevincoooool/ESP_MASTER: ESP32-CAM with LVGL Speech/Face Recognition IR Control

    语音识别。将数字麦克风通过I2S连接到ESP32,经过esp-skainet离线语音识别,自定义语音命令词最大个数为 100


    上一篇:LUNA: a USB multitool & nMigen library
    下一篇:HDMI --USB 描述符