科展作品 智能居家監控 × 物件追蹤系統

智能監控與
物件追蹤系統

整合電腦視覺、多模態 AI 與物聯網雷達技術，打造全方位居家智能監控與個人物品管理助手。五大模式一鍵切換，從找鑰匙到守護家人安全，一套系統搞定。

YOLO26n 推論引擎 Google Gemini AI MediaPipe 姿態偵測 藍牙 BLE 雷達 Dlib 人臉識別 Edge-TTS 語音 Telegram 推播 Gradio Web UI
7+
專用 YOLO 模型
5
智能操作模式
270°
藍牙雷達掃描範圍
24/7
即時監控能力

壹 — 動機與目的

為什麼需要這套系統？

現代生活中，物品遺失、安全疏失與溝通盲點是居家管理的三大痛點，傳統監控系統僅能「被動記錄」，無法主動預防。

🔍
01 — 物品難以尋找
日常物品（鑰匙、錢包、眼鏡）頻繁失蹤，現有解決方案依賴人工記憶或單一藍牙標籤，無法主動辨識與定位。本系統透過 YOLO 視覺偵測 + BLE 雷達融合，實現精準追蹤。
🚸
02 — 兒童安全盲點
無法全天候人工看守危險物品或敏感區域（藥箱、廚房刀具、保險箱）。本系統的開櫃警示與安全監控模式，結合年齡辨識，實現智能化分級管控。
🏠
03 — 出門百密一疏
出門前遺漏物品、忘記帶傘是高頻困擾。系統整合人臉識別離家偵測、CWA 即時氣象資料與自定義攜帶清單驗證，讓每次出門萬無一失。

「我們不只是想做監控攝影機——我們想打造一個真正懂得家庭需求、能主動守護每個成員的 AI 管家。」

貳 — 五大操作模式

一套系統，五種智能場景

所有模式可一鍵切換，各自保留獨立設定狀態，透過主控台與觸控面板雙介面操作。

🔍
尋找物品模式
Item Search Mode
YOLO26n 多模型偵測結合 ESP32 BLE 雷達三角定位，追蹤充電器、鑰匙、錢包等 15+ 種物品。靜止超過 5 秒的物品自動觸發亂放警示，Gemini AI 輔助場景判讀。
YOLO26n BLE 雷達 Gemini 視覺 雙鏡頭錄影
🚪
離家提醒模式
Leaving Home Reminder
人臉識別觸發離家偵測，自動比對自定義攜帶清單，整合 CWA 氣象 API 判斷降雨機率，提醒攜帶雨具，視覺驗證確保萬無一失。
人臉識別 CWA 天氣 攜帶清單驗證
🚨
開櫃警示模式
Cabinet Alert
專用 YOLO 模型偵測指定區域的門扉開閉狀態，結合 Hybrid 人臉 + 年齡識別進行白名單 / 黑名單驗證，杜絕未授權人員存取藥箱等危險區域。
虛擬圍籬 年齡識別 權限管理
🔒
安全監控模式
Security Monitor
MediaPipe 手部追蹤 + Hysteresis 遲滯演算法，精確判定危險物品拿取行為。雙閾值機制大幅降低誤判率，對兒童或特定對象的危險操作即時發出警告。
MediaPipe 手勢 Hysteresis 演算法 即時警報
🧠
智慧行李助手
Intelligent Assistant
喚醒詞「智慧管家」啟動語音交互。Gemini AI 整合攝影機、雷達、SQLite 行為日誌，提供物品社交網絡分析、智慧推薦與週度遺失風險評估。
語音喚醒 社交網絡圖譜 風險預測 智慧推薦

參 — 技術架構

多模型協同 × 感測融合

採用 Multi-Model Inference 與 Sensor Fusion 架構，各層技術協同運作，兼顧效能與精確度。

系統運作流程

📷 攝影機陣列
🎤 麥克風輸入
📡 ESP32 BLE 雷達
↓
🧠  YOLO26n  ·  MediaPipe  ·  Dlib  ·  Faster-Whisper
↓
⚙️  Hysteresis 決策引擎  +  Gemini AI
↓
🔍
尋找物品
🚪
離家提醒
🚨
開櫃警示
🔒
安全監控
🧠
智慧助手
↓
🔊 語音提示
📲 Telegram 推播
⚠️ 螢幕警示

技術層級架構

介面層
Gradio 主控台 Touch UI Flask REST API
AI 推論層
YOLO26n (多模型集成) Gemini Vision API MediaPipe Pose + Hand Dlib Face Recognition
演算法層
Hysteresis 取放判定 Misplacement 亂放偵測 RSSI 三角定位 ItemSocialNetwork
通訊層
UDP Socket (BLE 雷達) Telegram Bot API ImgBB 雲端圖像
儲存層
SQLite carry_log.db system_config.json H.264 影片片段
視覺偵測
YOLO26n
yolo26n.pt 為基礎，搭配 7+ 專用模型並行推論，針對物品、開門、年齡分別優化
多模態 AI
Google Gemini
高層次場景理解、語音意圖辨識、物品位置合宜性評估
姿態追蹤
MediaPipe
BodyPoseTrackerV2 + HandTracker，3D 空間動作捕捉
人臉識別
Dlib + OpenCV
68 點特徵提取 + Deep Learning ResNet 特徵比對
語音合成
Edge-TTS
微軟神經網路 TTS，自然流暢中文語音回饋
語音識別
Faster-Whisper
本地高精度 STT，tiny 模型低延遲即時轉譯
資料視覺化
Plotly + NetworkX
270° 極坐標雷達圖、物品社交關聯圖譜
Web UI
Gradio 4.x
深色主題反應式 UI，generator 串流更新

核心演算法

⚖️ Hysteresis 遲滯取放判定
採用雙閾值機制避免誤判手部晃動：
距離閾值 PICKUP_THRESHOLD = 350px
穩定閾值 STABILITY_THRESHOLD = 50
動作必須持續至少 PICKUP_DURATION = 0.3s 才判定為有效拿取，大幅降低誤報率。
📍 物品亂放偵測
結合 Stationary Timer（靜止計時器）與 Gemini 的位置合宜性評估：物品靜止超過 5 秒，AI 判定位置異常時觸發警示。

配合 trigger_count / reset_count Hysteresis，防止警示閃爍。
📡 BLE RSSI 三角定位
ESP32-C3 直接驅動伺服馬達帶動藍牙接收器執行 270° 旋轉掃描，逐角度記錄 RSSI 訊號強度。演算法鎖定訊號最強角度，自動將馬達指向目標物品，回傳DIST: 角度, 距離格式供主控台解析。
🕸️ 物品社交網絡 (ItemSocialNetwork)
以 NetworkX 建構物品共現矩陣，追蹤每次外出的攜帶組合模式。SmartRecommender 根據外出場景推薦必帶清單，LossPredictor 提供週度遺失風險評估報告。

參之二 — 硬體整合

分散式硬體協同架構

Master PC 作為中心控制器，直接透過 Wi-Fi 協調 ESP32-C3/S3 與攝影機群組協同運作，省去中間層降低延遲。

💻
Master PC
Gradio UI
YOLO26n 推論
⟷
📡
ESP32-C3 / S3
BLE 掃描
伺服馬達控制
⟷
📱
目標裝置
手機 / AirTag
藍牙信標
📷
雙攝影機陣列
Camera 1 + Camera 2 同時推論，物品消失前 5 秒自動截取影片並轉碼 H.264
📲
Telegram 即時推播
asyncio 非同步廣播，支援多使用者訂閱，自動上傳警報截圖至 ImgBB 雲端
🔊
語音即時回饋
Edge-TTS 中文語音提示，async 音頻緩衝，喚醒詞「智慧管家」語音指令

肆 — 未來展望

下一步：讓系統更聰明

基於現有架構，規劃三個方向持續演進，朝向真正具備自我學習能力的居家 AI 助手邁進。

01
🤖
自適應模型微調
根據每個家庭的實際物品與環境，在本地對 YOLO 模型進行增量訓練，提升對家庭專屬物品的辨識準確率，無需重新收集大規模資料集。
02
📊
跨設備行為圖譜
擴展 ItemSocialNetwork 至多人家庭場景，建構每位成員的個人攜帶習慣模型，結合時序分析提供更精準的個人化遺失風險預警。
03
☁️
輕量化雲端部署
將 Gradio 主控台容器化部署至家用 NAS 或輕量主機，降低對高效能 PC 的依賴；保留本地 AI 推論以保護隱私，僅將警報事件上傳雲端。

「居家智能化不應只是高端消費品的特權——透過開源硬體與 AI 技術的結合，每個家庭都能擁有屬於自己的智能守護者。」