
飛凌嵌入式攜手瑞芯微正式加入2025年全國大學(xué)生嵌入式芯片與系統(tǒng)設(shè)計(jì)競賽,并在應(yīng)用賽道中設(shè)立專屬賽題。雙方選用基于瑞芯微RK3588芯片設(shè)計(jì)的ELF 2開發(fā)板作為參賽平臺,旨在通過此次合作,促進(jìn)產(chǎn)教融合,共同推動嵌入式系統(tǒng)創(chuàng)新人才的培養(yǎng)。
本屆大賽共吸引500余支隊(duì)伍選擇了瑞芯微&飛凌嵌入式賽題。經(jīng)過線上初審與分賽區(qū)復(fù)賽的嚴(yán)格篩選,最終64支隊(duì)伍脫穎而出,晉級全國總決賽,其中10支隊(duì)伍榮獲全國一等獎(jiǎng)。
傳統(tǒng)座艙系統(tǒng)存在操作復(fù)雜、視覺依賴度高、語義理解能力弱三大短板。
本項(xiàng)目基于【RK3588】ELF 2開發(fā)板高性能平臺,構(gòu)建了一款面向車載場景的多模態(tài)人機(jī)交互系統(tǒng)。系統(tǒng)集成疲勞監(jiān)測、面部解鎖、哨兵監(jiān)控等近十項(xiàng)功能模塊,支持語音與觸覺融合操作,交互自然高效。通過引入大語言模型作為語音中樞,系統(tǒng)具備出色的自然語言理解能力,能夠精準(zhǔn)響應(yīng)用戶的口語化指令,實(shí)現(xiàn)無需視覺干預(yù)的智能控制,有效提升駕駛安全性與使用便捷性。同時(shí),系統(tǒng)響應(yīng)迅速、支持模塊化擴(kuò)展,具備良好的實(shí)用價(jià)值與推廣前景。
中國老齡化加劇,獨(dú)居老人面臨跌倒致死率高、多病共存等嚴(yán)峻挑戰(zhàn)。為此,該團(tuán)隊(duì)開發(fā)了基于邊緣智能與三維姿態(tài)估計(jì)技術(shù)的非接觸式、高性價(jià)比監(jiān)護(hù)系統(tǒng),集成跌倒、服藥及久坐檢測功能。
系統(tǒng)架構(gòu):
硬件: 采用【RK3588】ELF 2開發(fā)板與OV9732雙目攝像頭,搭配3D打印外殼。
軟件: 技術(shù)鏈涵蓋雙目視覺(獲取深度信息)、自適應(yīng)光照(抗光線干擾)、優(yōu)化的YOLOv8(人體檢測追蹤)、RTMpose(提取17關(guān)鍵點(diǎn))、三維坐標(biāo)計(jì)算、多級報(bào)警機(jī)制。
交互: 配備Web可視化界面及四種報(bào)警方式。
核心功能:
跌倒檢測:融合YOLO置信度(60%)、加速度(20%)與角加速度(20%)加權(quán)判斷,結(jié)合過程分析顯著降低睡覺等場景誤報(bào)。
服藥檢測:首創(chuàng)全流程證據(jù)鏈,SIFT匹配藥盒特征并追蹤位置,語音提示,通過手-藥(<0.15m)與手-嘴(<0.15m)距離結(jié)合狀態(tài)機(jī)精準(zhǔn)判定服藥動作,覆蓋“提醒未服”盲區(qū)。
久坐提醒:基于軀干夾角(≥60°)與腿部夾角(≤120°)動作判斷,靜坐累計(jì)達(dá)2小時(shí)觸發(fā)語音提醒。
本項(xiàng)目通過創(chuàng)新算法融合與邊緣計(jì)算,實(shí)現(xiàn)了低成本、高精度、多功能的獨(dú)居老人智能監(jiān)護(hù),有效應(yīng)對老齡化社會健康管理難題。
為解決傳統(tǒng)雞蛋質(zhì)量檢測中存在的效率低、主觀性強(qiáng)、破壞性操作與分級不準(zhǔn)確等問題,該項(xiàng)目打造了一種基于邊緣AI的雞蛋質(zhì)量智能檢測與自動分級系統(tǒng)。系統(tǒng)融合視覺感知與光譜分析雙重機(jī)制,采用基于YOLOv8-Swin Transformer的先進(jìn)目標(biāo)檢測算法,對雞蛋表面微裂紋進(jìn)行高效識別。該算法結(jié)合YOLOv8的高性能檢測架構(gòu)與Swin Transformer的多尺度特征提取能力,具備以下優(yōu)勢:?
高精度檢測:Swin Transformer在COCO數(shù)據(jù)集上取得58.7box AP 和51.1mask AP,精準(zhǔn)識別蛋殼表面微裂紋;
魯棒性強(qiáng):多層次特征與全局注意力機(jī)制共同提升模型在復(fù)雜光照與多樣紋理下的穩(wěn)定表現(xiàn);
智能適應(yīng):無論是流水線速度的挑戰(zhàn),還是蛋品自然變異帶來的干擾,系統(tǒng)均能保持高識別率。?
該項(xiàng)目是一款基于【RK3588】ELF 2開發(fā)板設(shè)計(jì)的智能學(xué)習(xí)輔助系統(tǒng), 旨在通過多技術(shù)融合解決傳統(tǒng)學(xué)習(xí)場景中的效率與健康痛點(diǎn)。系統(tǒng)核心功能涵蓋五方面:
1、基于微表情訓(xùn)練集與YOLO模型,檢測眨眼頻率、打瞌睡、玩手機(jī)等行為,超時(shí)則觸發(fā)語音提醒;
2、通過AI視覺與超聲波傳感器(HC-SR04)實(shí)現(xiàn)桌面高度自適應(yīng)調(diào)節(jié),實(shí)時(shí)監(jiān)測坐姿并預(yù)警;
3、依托TEMT6000傳感器與PWM調(diào)光技術(shù),實(shí)現(xiàn)光照無級調(diào)節(jié)以保持環(huán)境光穩(wěn)定;
4、結(jié)合SHTC3溫濕度傳感器,通過加熱絲將溫度控制在舒適范圍(最高45℃,精度±0.2℃);
5、通過Qt本地界面與微信小程序記錄專注度、玩手機(jī)次數(shù)等指標(biāo),提供個(gè)性化學(xué)習(xí)建議。?
靈眸天樞-多模態(tài)協(xié)同智慧燈桿系統(tǒng)”是基于嵌入式異構(gòu)計(jì)算架構(gòu)的城市級智慧基礎(chǔ)設(shè)施核心節(jié)點(diǎn),以多功能智能燈桿為載體,深度融合環(huán)境感知、邊緣決策與多設(shè)備協(xié)同能力。
多模態(tài)環(huán)境感知:系統(tǒng)集成毫米波雷達(dá)、AI攝像頭、深度相機(jī)、氣象傳感器等感知單元,通過自主研發(fā)的時(shí)空對齊協(xié)議中間件實(shí)現(xiàn)異構(gòu)數(shù)據(jù)融合,構(gòu)建結(jié)構(gòu)化環(huán)境模型。支持車輛識別、行為分析、火災(zāi)預(yù)警、環(huán)境監(jiān)測等多維感知能力。
邊緣智能推理:搭載基于瑞芯微RK3588設(shè)計(jì)的ELF 2開發(fā)板,集成6TOPS算力NPU神經(jīng)網(wǎng)絡(luò)處理單元,運(yùn)行輕量化YOLOv11等AI模型,實(shí)現(xiàn)車型識別(98%準(zhǔn)確率)、跌倒檢測、火災(zāi)預(yù)警等實(shí)時(shí)邊緣AI推理,推理延遲低至35ms。
云邊端協(xié)同架構(gòu):采用三級分布式架構(gòu),邊緣端負(fù)責(zé)實(shí)時(shí)感知與決策,云端基于SpringBoot微服務(wù)和GraphQL協(xié)議實(shí)現(xiàn)萬級設(shè)備統(tǒng)一管控,支持Kafka消息隊(duì)列和WebSocket實(shí)時(shí)通信,確保系統(tǒng)高并發(fā)和低延遲響應(yīng)。
多設(shè)備聯(lián)動響應(yīng):通過云端智能調(diào)度,實(shí)現(xiàn)無人機(jī)(定位誤差小于1米)與移動機(jī)器人(路徑響應(yīng)小于100ms)的協(xié)同作業(yè),構(gòu)建“感知-決策-執(zhí)行”完整閉環(huán),在火災(zāi)、車禍等突發(fā)事件中提供快速響應(yīng)能力。
智能化設(shè)備控制:提供模塊化硬件設(shè)計(jì),功率檢測板支持0.1%精度的三合一能源監(jiān)控,閘門控制板采用增量式PID算法實(shí)現(xiàn)精確控制。集成UPS供電系統(tǒng),續(xù)航4小時(shí),應(yīng)急電源切換時(shí)間僅0.1秒。
該項(xiàng)目是基于ELF 2開發(fā)板設(shè)計(jì)并實(shí)現(xiàn)了一款多功能巡檢機(jī)器人,旨在為中小型驛站倉庫、寫字樓等場所提供智能化、自動化的安防巡查服務(wù)。系統(tǒng)以ROS 2 Humble版本為核心控制平臺,結(jié)合slam_toolbox和Navigation 2導(dǎo)航框架實(shí)現(xiàn)自主建圖與路徑規(guī)劃功能,使機(jī)器人能夠在復(fù)雜室內(nèi)環(huán)境中完成高效巡邏任務(wù)。?
機(jī)器人搭載激光雷達(dá)與IMU傳感器,通過SLAM技術(shù)構(gòu)建高精度地圖,并利用AMCL算法實(shí)現(xiàn)定位與導(dǎo)航。在視覺識別方面,采用YOLOv8目標(biāo)檢測模型對環(huán)境中的包裹狀態(tài)、門窗開合情況進(jìn)行實(shí)時(shí)識別與分析,有效判斷是否存在包裹破損或異常開啟情況,提升安全預(yù)警能力。?
此外,機(jī)器人集成MLX90640熱成像模塊,能夠?qū)Νh(huán)境中的熱源進(jìn)行非接觸式溫度監(jiān)測,識別異常高溫區(qū)域,及時(shí)發(fā)現(xiàn)潛在火災(zāi)隱患,實(shí)現(xiàn)多維度的安全檢測功能。所有檢測結(jié)果均可通過ROS 2的消息機(jī)制上傳至遠(yuǎn)程監(jiān)控終端,便于管理人員實(shí)時(shí)掌握現(xiàn)場狀況。?
整個(gè)系統(tǒng)具備良好的可擴(kuò)展性與穩(wěn)定性,支持多任務(wù)協(xié)同運(yùn)行,并可根據(jù)實(shí)際應(yīng)用場景靈活配置功能模塊。項(xiàng)目實(shí)現(xiàn)了從感知、決策到執(zhí)行的完整閉環(huán)控制流程,展示了機(jī)器人在智能安防領(lǐng)域的廣泛應(yīng)用前景,為推動智慧倉儲與樓宇管理的自動化升級提供了切實(shí)可行的技術(shù)方案。
