1、机器视觉图像处理计算机视觉边缘计算实验室建设方案机器视觉-图像处理-计算机视觉-边缘计算实验室建设方案 1机器视觉-图像处理-计算机视觉-边缘计算实验室1.1总体规划机器视觉-图像处理-计算机视觉-边缘计算实验室主要用于对机器视觉与图像处理、计算机视觉、图像处理、边缘计算等核心课程的知识点学习，能够服务于相关课程的实验和实训需求。核心课程主要针对学科基础技术的培养，掌握对机器视觉与图像处理、计算机视觉、图像处理、边缘计算的配置、维护和开发，接入等知识。核心课程采用全模块化的教学产品进行实验，具备优良的教学实验特性：全模块化的设计、开放式的硬件接口、开源的实验代码、完整的教学资源、贴心的售后服务
2、。1.2实验设备1.2.1机器视觉教学平台AI机器视觉教学平台（AI-HNP）是中智讯公司开发的一款面向人工智能相关专业的综合型实验设备，主要满足：Python程序设计、机器视觉、嵌入式Linux系统、边缘计算、人工智能中间件、智能+产业实践等课程的实验和实训，是基于新工科和工程教育思维和专业改革而设计的实验平台。AI机器视觉教学平台打破了传统以硬件平台来定义实验的困局，创新性的从专业学科建设角度来重新定义产品，从市场调研定制专业人才培养方案，从人培方案和技术架构来设计适合国情校情的教学大纲，让课程来定义实验，让实验来定义设备，能够配合专业教材完成人工智能相关专业核心课程实验。AI机器视觉教学
3、平台与中智讯开发的专业教材配套，可以满足人工智能相关专业的核心课程及专业方向课程的教学、实验和实训需求，包括：Python程序设计、嵌入式与传感器、机器视觉技术、智能边缘计算、Linux操作系统、Android应用技术、智联网无线技术、人工智能中间件、人工智能综合实训等。平台基本介绍AI机器视觉教学平台提供完整的硬件、软件、课程等教学资源，能够满足人工智能专业相关课程教学、实验、实训需求，同时配套的软件让教学更轻松，项目开发更容易，售后服务更便捷。硬件资源：AI机器视觉教学平台硬件主要由智能边缘计算网关、应用拓展模块、智能产业套件三部分构成，根据用户实际需求可进行定制。边缘计算网关：采用高性能
4、ARM CPU&GPU架构嵌入式边缘计算处理器，集成Linux、Python、机器学习、深度学习、ROS系统等运行环境，满足人工智能视觉、机器控制等算法、硬件、应用的开发和学习。应用拓展模块：实验平台可拓展工业级高清自聚焦摄像头、多维景深摄像头、麦克风阵列、AI NPU协处理模块、智联网无线AP等硬件模块，满足人工智能相关应用的开发和学习。智能产业套件：实验平台可选智联网产业应用套件，包括：智慧停车管理套件、智能人证闸机套件、智能语音家居套件、智能安防预警套件等，满足人工智能综合实训的实验实践需求。软件资源：AI机器视觉教学平台内置丰富的软件资源，方便用户进行课程教学、项目开发、售后服务等，包
5、括：智联平台、应用引擎、网络融合、远程协助、内网穿透等。智联平台：实验平台内置AI智联中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。应用引擎：实验平台内置Python Django Web引擎，提供智联网Web应用服务。同时为了解决web应用的部署和远程调用，为每个实验平台分配二级域名访问，实现实验平台web应用的远程访问和api调用。网络融合：实验平台内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、W
6、i-Fi、NB-IoT、LTE等传感网接入，为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。远程协助：实验平台内置SSH服务和VNC服务，支持终端的调试和桌面的远程调用。同时为远程访问提供二级域名及端口，提供多用户基于互联网远程登录实验平台，方便工程师异地远程进行软件调试、部署及故障跟踪。内网穿透：为了解决高校内网的网络中心和防火墙等限制，实现摄像头等局域网设备远程调用和编程，实验平台内置内网穿透服务，为USB摄像头和IP摄像头分配唯一的访问域名及编程接口，无需进行复杂的内网端口配置及网络权限申请即可远程调用。课程资源：AI机器视觉教学平台提供企业级教材和相关教学资源，能够
7、完成机器视觉、自然语言、嵌入式Linux、人工智能中间件、人工智能应用实训等课程的实验和实训需求。平台主要特性AI机器视觉教学平台基于新工科的教育理念，让教学更轻松，项目开发更容易，售后服务更便捷，更多的考虑实验的先进性、易用性、扩展性、包容性。先进性：超强性能：- AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏。- 选配NPU协处理器模块，直接运行神经网络模型，运算能力高达2.8 TOPs300mW。- 提供更丰富的扩展接口：双路USB3.0，四路USB2.0，RS232，RS485，嵌入式拓展接口等各种外设接口。智联平台- 实验平台内置AI智联网中间件引擎
8、，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。- 提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。应用引擎- 内置Python Django Web引擎，提供智联网Web应用服务。- 为每个实验平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。易用性：安全防护- 工业级铝合金外壳防护，教学易管理，耐摔耐用散热快。- 智联套件磁力吸合并供电，无需复杂的螺丝固定，方便使用。- 外设通过RJ45标准接口进行连接，替换传统饿插针接口，不易损坏。易学易用- 采用项目驱动式教学方法，提供
9、企业级教学课程及资源。- 严格按照教学大纲设计课程、实验和实训，教学资源与实验设备完全匹配。- 提供教材、微课视频、实验、实验视频、拓展实验、课程实训等线上线下教学资源。远程协助- 内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。- 为每个实验平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。扩展性：网络融合- 内置智联网多网协议网关服务，支持ZigBee、LoRa、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。- 为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。按需定制- 所有硬件单元采用模块化设计，可根据
10、需求进行弹性定制选型和搭配。- 提供可选的丰富的智能产业项目套件模块，可以完成各种AI应用场景的设计和创新。- 智能边缘计算网关平台提供嵌入式扩展接口，包含常用接口的拓展，包括GPIO、ADC、IIC、UART、PWM、SPI等。包容性：一机多用- 根据教学用途，实验平台可作为人工智能、智联网、嵌入式、移动互联网、智能产品等学科实验教学，提供不同的教学资源。- 实验平台可完成丰富的课程及实验，包括：Python程序设计、嵌入式Linux操作系统、机器视觉技术、自然语言处理、智联网网关、智联网无线通信、android应用技术、智联网中间件、智联网应用实训等。边缘计算网关智能边缘计算网关采用工业级
11、铝合金一体屏设计，AI最强嵌入式边缘计算处理器RK3399，4G+16G内存配置，10寸高清电容屏，运行ubuntu、ROS、android多操作系统系统，能够完成人工智能视觉、语言、机器控制等课程的教学和实验实践。智能边缘计算网关提供丰富的外设接口，易于功能扩展，方便开发调试。硬件资源：1. 核心单元：1）网关内置高性能处理器，六个ARM Cortex-A72&A53大小核CPU，四核Mali-T860 GPU。2）网关搭载4GB LPDDR4内存， 16GB EMMC储存。2. 显示系统：1）网关搭载10.1寸1280*800 LVDS高清屏，10点触控电容屏。3）工业级铝合金一体屏外壳，
12、活动式支撑架。3. 无线单元：1）内置2.4G&5G双频Wi-Fi模组，BLE4.1模组，支持Wi-Fi、BLE传感网设备接入。2）内置全网通LTE模组，支持LTE传感网设备接入。3）内置北斗、GPS双频卫星定位模组。4）内置LoRa&LoRaWAN双传感网AP模组，支持LoRa&LoRaWAN传感网设备接入，提供JTAG调试接口。5）内置ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。4. 外设接口：1）提供千兆以太网卡，RJ45接口。2）提供Type-C OTG，USB 3.0 Host*2，USB 2.0 Host*4。3）提供USB Debug UAR
13、T，RS232，RS485，HDMI。4）提供TF Card接口。5）提供MIC，喇叭。6）提供14PIN嵌入式拓展接口，包含GPIO，ADC，IIC，UART，PWM，SPI等扩展。软件资源：1. 操作系统：1）网关内置linux、ubuntu嵌入式操作系统，满足嵌入式操作系统教学。2）网关内置android移动互联网操作系统，满足移动互联网应用教学。3）网关内置DuerOS语音系统，支持语音识别、语义理解、语音合成、人机对话，集成技能开发平台，与智能硬件进行语音交互。4）网关内置ROS系统，满足机器臂、机器车系统教学。5）网关内置Ai Python运行环境，满足Python教学。2. 智联
14、平台： 1）网关内置AI智联网中间件引擎，集成AI系统运行环境、图像/视频算法库、神经网络算法库、智能硬件资源库。2）提供算法、模型、应用耦合的开发框架，实现算法、模型、硬件、应用的模块化统一接口，能够快速替换任意模块进行AI智联网应用开发。3）为每个网关平台分配唯一AI中间件二级域名，实现远程异地互联网AI中间件应用访问，远程创建AI智联网应用。3. 应用引擎：1）网关内置Python Django Web引擎，提供智联网Web应用服务。2）为每个网关平台分配唯一Web引擎二级域名，实现远程异地互联网Web应用访问。4. 网络融合： 1）内置智联网多网协议网关服务，支持ZigBee、LoRa
15、、LoRaWAN、BLE、Wi-Fi、NB-IoT、LTE等传感网接入。2）为异构网络提供认证服务、数据接入、地址解析、数据推送和网络配置服务。3）提供跟网关硬件绑定的唯一账号密钥认证，可生成二维码方便智联网应用扫描访问。5. 远程协助： 1）内置SSH服务，提供多用户远程登录网关平台，进行软件调试、部署及故障跟踪。2）为每个网关平台分配唯一SSH调试二级域名，实现远程异地互联网SSH登录访问。6. 内网穿透：1）网关内置Web摄像头服务，为网关平台摄像头提供唯一二级域名进行远程异地互联网接口调用。2）网关内置IP摄像头服务，无需进行摄像头端口映射，为每个摄像头分配唯一二级域名进行远程异地互联
16、网接口调用。应用拓展模块AI机器视觉教学平台提供丰富的应用拓展模块，可完成视觉、语言、感觉、控制等AI知识点学习和项目开发，用户可以根据应用需求可以合理选型和搭配。名称图片描述4G LTE模块1）网络：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；2）制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；3）工作频带：HSPA1900/2100，GSM 900/1800；4）高速USB 2.0接口、PCI-E接口；5）支持短信、数据、电话本、PCM语音功能；6）支持IPv4,IPv6协议；7）支持LTE多频；8）支持最大150M/50M
17、bps的理论上下行数据传输速率；9）可安装到智能网关板载使用。BDS&GPS模块1）北斗/GPS双系统模块；2）支持双频：北斗 B1、GPS L1；3）定位精度(RMS)：2.5m CEP；4）速度精度(RMS)：GPS/GNSS: 0.1m/s、北斗: 0.2m/s；5）可安装到智能网关板载使用。传感网AP模块1）LoRa&LoRaWAN双传感网AP模组，支持LoRa&LoRaWAN传感网设备接入，提供JTAG调试接口。2）ZigBee传感网AP模组，支持ZStack传感网设备接入，提供JTAG调试接口。AI高清摄像头1）1080P工业级AI宽动态摄像头。2）125度广角镜头焦距，支持自动聚
18、焦。3）提供远程网络视频远程传输功能，AI视觉图像视频捕捉处理功能。4）能够接入到AI机器视觉/语音教学平台使用。5）提供基于AI机器视觉/语音教学平台的人脸识别系统案例。多维景深摄像头1）通过立体视觉感知完成图像处理，支持语音识别、背景移除、增加现实、3D扫描、目标跟踪、面部处理等。2）深度视场(H xV D) : 91.2x65.5x100.6 3）RGB相机分辨率、帧率、视场：1080 p 30 fps，69.4x42.5x774）深度输出分辨率和帧率：1280x720 & 90 fps 5）深度距离：0.11m10m6）接口：USB 3.07）提供基于ROS系统的深度摄像SLAM导航和
19、构图智能产业套件智能+产业应用套件结合人工智能与智联网技术，实现垂直行业场景的项目原型设计和开发。智能停车管理套件停车信息展示模块（集成0.96寸oLED，4位数码管，五位开关），停车ETC管理模块（900M UHF RFID，ETC电机栏杆，集成USB串口），提供基于智能+互联网远程车牌识别智能停车场应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。智能人证闸机套件设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），RFID识别模块（125K&13.56M RFID，0.91寸oLED屏，继电器，集成USB串口），提供基于智能+互联网远程人脸识别&射频识
20、别人证开闸机应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。智能家居应用套件环境感知模块（集成温湿度、光照度、大气压力、三轴姿态、红外测距、空气质量），设备控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能家居手势识别&语音交互应用案例，基于AI中间件技术，提供包括算法、模型、硬件、应用全套源代码。智能安防预警套件安防预警模块（集成火焰、燃气、光栅、人体红外），控制模块（集成风扇、步进电机、蜂鸣器、RGB&LED、继电器），提供基于智能+互联网远程智能安防传感图像联动识别预警应用案例，基于AI中间件技术，提供包括算法、模型、硬件
21、、应用全套源代码。平台教学资源AI机器视觉教学平台能够满足人工智能专业核心课程和部分专业课程的授课、实验、实训。AI机器视觉教学平台可完成的主要课程如下：课程名称课程内容机器视觉技术机器视觉技术作为人工智能在感知领域的重要应用分支之一，是目前人工智能全面应用落地的成熟技术。本课程主要介绍机器视觉的基本理论、图像处理方法、主流算法及框架、机器视觉云接口及服务、机器学习应用等，通过项目驱动式案例及实验进行教学，让学生掌握机器视觉的基础知识和常用开发技术，为后续深度学习/神经网络学习提供扎实的基础。机器视觉技术课程教学大纲：机器视觉技术总学时64理论课时32实践课时32实验室与实践要求课程说明机器视
22、觉是用机器代替人眼来做测量和判断，属于人工智能认知领域的核心应用，本课程向学生介绍机器视觉的基本理论和方法，同时结合行业应用热点，通过大量的机器视觉应用案例，使学生了解人工智能在机器视觉领域的最新进展。 课程目标本课程在学习机器视觉技术的基本理论和方法的基础上，通过丰富的应用实践案例，使学生掌握机器视觉在人工智能领域的应用技能，培养学生应用机器视觉技术的创新设计能力。考核要求推荐教材名OpenCV3机器视觉Python语言实现第2版，刘波译，机械工业出版社教材单价购买网址课程安排理论课考核要求课时安排实验课章讲数章名讲名课程内容（知识点）了解熟悉掌握理论实践上机实验实验指标第一章机器视觉导论模
23、块一 机器视觉介绍1、机器视觉概念22、机器视觉理论的发展3、机器视觉的应用概述第二章图像与视觉系统模块一 图像与视觉系统硬件介绍1、摄像机透视投影模型22三维透视投影实验熟悉机器视觉相关的坐标系，以及摄像机透视投影和坐标变换相关原理2、图像坐标变换3、图像采样和色彩4、数字图像格式模块二 图像与视觉系统软件介绍1、OpenCV框架介绍221、OpenCV框架安装2、OpenCV打开摄像头拍照熟悉机器视觉OpenCV框架和应用2、OpenCV数据类型3、OpenCV应用概述第三章机器视觉算法模块一 图像变换1、图像色彩空间变换22图像水印去除实验熟悉图像变换的基础算法，掌握图像修复技术2、图像
24、修复和去噪3、傅里叶变换模块二 图像分割1、图像阈值分割22图像的背景和前景区域分割熟悉图像分割算法原理2、提取联通区域3、均值偏移分割模块三 图像特征提取1、图像灰度特征提取22图像轮廓特征提取实验熟悉图像特征提取算法原理2、图像轮廓特征提取模块四 图像边缘检测1、一维边缘提取22基于Canny算法的图像边缘检测熟悉图像边缘检测算法原理2、二维边缘提取模块五 数学形态学1、区域形态学22基于数学形态学的空心字转换熟悉数学形态学常用算法2、灰度值形态学模块六 直方图和模板匹配1、图像的直方图表示22人脸模板匹配实验熟悉模板匹配常用算法2、基于灰度值的模板匹配第四章机器视觉应用模块一光学字符识别
25、1、光学字符识别OCR技术原理介绍22基于光学字符识别的银行卡号识别熟悉光学字符识别技术2、光学字符识别案例模块二 人脸识别1、人脸识别技术综述221、视频流人脸检测和人数统计2、利用人脸识别实现系统登录掌握人脸检测和人脸识别技术2、人脸检测3、人脸识别模块三 目标检测与识别1、目标检测与识别技术综述22图像中人物和车辆等目标物体检测识别掌握目标物体检测和识别技术2、目标检测与识别案例模块四 目标跟踪1、目标跟踪技术介绍22视频流实时检测和追踪车辆掌握运动物体实时检测和跟踪技术2、目标跟踪案例第五章机器视觉云服务模块一 XX图像识别1、XX图像识别云服务介绍22基于XX图像识别云服务接口，实现
26、车辆型号识别掌握XX图像识别云接口调用方法2、XX车辆识别案例模块二 XX人脸识别1、XX人脸识别云服务介绍22基于XX人脸识别云服务接口，实现公众人物识别掌握XX人脸识别云接口调用方法2、XX人脸识别案例第六章深度学习应用模块一 手写字识别1、神经网络基础介绍22基于神经网络实现手写字符识别掌握神经网络图像分类识别的基本原理2、手写字分类识别案例模块二 猫狗识别1、深层神经网络介绍22基于深度神经网络的猫狗分类识别掌握深度神经网络分类算法的基本原理2、猫狗分类识别案例模块三 图像分类1、卷积神经网络介绍22基于卷积神经网络的CIFAR-10图像分类掌握卷积神经网络的基本原理2、CIFAR-1
27、0图像分类案例第七章机器视觉案例模块一 人脸识别控制ETC闸机1、机器视觉与智联网集成22人脸识别通过智联网控制ETC闸机开放掌握机器视觉与智联网技术整合技术原理2、人脸识别控制ETC闸机案例模块二 车牌识别控制小区门禁1、车牌识别应用概述22车牌识别控制小区门禁，并显示车牌号和车辆数量统计掌握机器视觉在智能交通中的应用技术原理2、车牌识别控制小区门禁案例模块三 手势识别控制智能家居1、手势识别原理介绍22手势控制智能家居设备，实现开关灯、窗帘和风扇掌握机器视觉在智能家居中的应用技术原理2、手势识别控制智能家居案例1.2.2智能监控实训平台智能监控实训平台是机器视觉技术在边缘计算设备上的典型应
28、用，与传统云端智能服务不同，该摄像头内置神经网络芯片，可以本地运行卷积神经网络等模型，自动根据模型在实时视频流中检测人像并进行匹配识别，一旦匹配后可以自动进行目标跟踪。智能监控实训平台产品特性如下：基于神经网络芯片实现边缘计算智能提供机器视觉人脸检测和识别模型功能提供实时视频流人像检测和人员统计功能提供目标人员检测匹配和跟踪功能全部源代码开放和详细的实验指导书智能监控实训平台可以完成丰富的实训项目：实训项目一：人脸识别1）基本介绍人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，通常采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸。相比其他生物特征识别方法，人脸识别具有其自身的优势：非侵扰性人脸识别无需干扰人们的正常行为就能较好地达到识别效果，无需担心被识别者是否愿 意将手放在指纹采集设备上，他们的眼睛是否能够对准虹膜扫描装置等等。只要在摄像机前 自然地停留片刻，用户的身份就会被正确识别。便捷性采集设备简单，使用快捷。一般来说，常见的摄像头就可以用来进行人脸图像的采集， 不需特别复杂的专用设备。图像采集在数秒内即可完成。友好性通过人脸识别身份的方法与人类的习惯一致，人和机器都可以使用人脸图片进行识别。 而指纹，虹膜等方法没有这个特点，一个没有经过特殊训练的人，无法利用指纹和虹膜图像 对其他人进行身份识别
