【导读】跟着人工智能技能的快速成长，视觉检测技能于医疗康健范畴的运用愈来愈广泛。传统的目力检测需要专业医护职员操作，检测效率较低，且难以实现主动化。本项目基在米尔RK3576开发板，设计并实现了一套智能目力检测体系，旨于提供一种便捷、高效的目力检测方案。RK3576是一款高机能ARM架构的开发板，搭载瑞芯微处置惩罚器，具有强盛的AI推理能力，合适运行手势辨认、图象处置惩罚等AI使命。

1、项目配景与方针

实现主动目力检测：用户经由过程简朴的手势便可完成摆布眼的目力检测

AI手势辨认：使用MediaPipe实现精准的OK手势检测，作为启动测试的交互方式

智能化流程节制：主动辨认E字标的目的、判定测试成果、主动切换测试眼别

语音交互：集针言音播报功效，提供清楚的测试指引及成果反馈

2、体系功效设计

2.1 功效架构

体系架构图申明：

架构申明：

RK3576开发板: 焦点节制器，运行所有营业逻辑

视频播放模块: 利用GStreamer举行硬件解码播放指导视频

手势辨认模块: MediaPipe Hands检测OK手势作为启动旌旗灯号

间隔检测模块: 串口读取TOF传感器数据，检测用户间隔

语音播报模块: ES8388音频编解码，播报接待词及检测成果

UI显示模块: PySide6 Qt开发，HDMI输出到显示屏

数据流向：

摄像头收罗图象 → MediaPipe手势辨认 → 判定OK手势

TOF传感器检测间隔 → 串口通讯 → 判定间隔是否适合

随机天生E字标的目的 → 显示于屏幕上

用户手势 → 摄像头收罗 → 手势辨认 → 对于比判定

测试成果 → 语音播报 + 屏幕显示

2.2 焦点功效模块

2.3 测试流程

流程申明：

体系初始化 - 启动摄像头、手势辨认、间隔传感器、音频体系

播放指导视频 - 开机主动播放intro_guide.mp4先容利用要领

等候OK手势 - 视频竣事后显示提醒，用户做OK手势启动测试

右眼测试 - 随机显示E字标的目的，用户用手势回覆，3次测试后判定成果

左眼测试 - 主动切换到左手，反复右眼测试流程

显示成果 - 播报两侧目力成果，显示于屏幕上

等候从头测试 - 用户可再次做OK手势从头最先测试

3、硬件与电路申明

3.1 硬件清单

Intel RealSense D435 深度摄像头特色

本项目选用Intel RealSense D435深度摄像头作为视觉收罗装备，用在手势图象收罗。比拟平凡USB摄像头具备如下上风：

双流输出

同时撑持RGB彩色流及深度流

本项目利用RGB流(640x480)举行手势辨认

深度流可用在将来扩大（如手势支解）

高质量图象

RGB分辩率：1920x1080 @ 30fps

收罗分辩率：640x480 @ 15fps（用在手势辨认）

内置主动白均衡、主动暴光功效

合用在各类光照前提

即插即用

经由过程USB 3.0接口毗连

提供跨平台的librealsense SDK (pyrealsense2)

撑持Linux、Windows等操作体系

不变性强

工业级品质，不变性好

主动暴光及对于焦，顺应能力强

于繁杂情况下仍能正确辨认手势

易在集成

Python绑定撑持，易在开发

帧同步机制，确保数据一致性

及时性好，满意手势辨认需求

TOF激光测距模块特色

本项目选用TOF（Time of Flight）激光测距模块作为间隔检测装备，具备如下上风：

超宽测距规模

测距规模：2cm ~ 10m

笼罩从近到远的各类利用场景

高精度丈量

丈量精度：±1cm

分辩率高，可检测微小间隔变化

快速相应

相应时间： 100ms

及时检测用户间隔，合用在动态场景

抗滋扰能力强

不受光照变化影响

不受被测物体颜色及材质影响

低功耗

功耗低，发烧小

合适永劫间运行

3.2 硬件接线

RK3576开发板

│

├── USB3.0接口 ──── Intel RealSense D435 深度摄像头

│ │

├── 串口(UART) ───── TOF激光测距模块

│ │

├── I2S/PCM ──────── 音频编解码 (ES8388) ── 喇叭

│ │

└── HDMI ────────── 显示器 (HDMI OUT)

3.3 体系情况

操作体系: Buildroot Linux (ARM64)

Python版本: 3.10+

AI框架: MediaPipe (Google)

视觉库: Intel RealSense SDK (librealsense)

GUI框架: PySide6

多媒体: GStreamer + ALSA

音频格局: WAV (44.1kHz, 16bit, stereo)

4、要害技能申明

4.1 AI手势辨认

利用Google的MediaPipe框架举行手势辨认，重要特色：

模子: MediaPipe Hands (预练习模子)

输入: RGB图象 (640x480)

输出: 21个要害点坐标、手势分类

机能: 及时推理 (30fps)

4.1.1 MediaPipe Hands 21个要害点

MediaPipe Hands 模子输出21个手部要害点，编号从0到20：

8 12 16 20

│ │ │ │

▼ ▼ ▼ ▼

○───────────○───────────○───────────○ ← 食指、中指、无名指、小指

│ │ │ │

7 11 15 19

│ │ │ │

○───────────○───────────○───────────○

│ │ │ │

6 10 14 18

│ │ │ │

○───────────○───────────○───────────○

│ │ │ │

5 9 13 17

│ │

○───────────────────────○

│ │

4 13

│ │

○────┴───────────────────────┴────○

│ │

0 9

│ │

└────────────────────────────────┘

(手段)

要害点索引申明：

0: 手段

1-4: 拇指 (掌骨→近节指骨→远节指骨→指尖)

5-8: 食指

9-12: 中指

13-16: 无名指

17-20: 小指