Sử Dụng InsightFace + ByteTrack Với Camera Tapo
Tổng Quan
Nghiên cứu này tập trung vào hệ thống điểm danh nhân sự tự động chi phí thấp bằng thị giác máy tính.
Hệ Thống Kết Hợp
- Phát hiện & nhận diện khuôn mặt: InsightFace
- Theo dõi đa đối tượng: ByteTrack
- Phần cứng camera: TP‑Link Tapo Camera
Camera được lắp cách xa cửa ra vào, mô phỏng bối cảnh văn phòng thực tế nơi nhân sự đi qua tự nhiên mà không cần tương tác với thiết bị.
Mục tiêu là ghi nhận điểm danh hoàn toàn tự động, không cần thẻ RFID, máy chấm công vân tay hoặc thao tác thủ công.
Kiến Trúc Hệ Thống
Thiết Lập Camera
- Một camera IP Tapo được gắn ở vị trí cách cửa ra vào một khoảng nhất định.
- Luồng video được xử lý liên tục.
- Nhân sự đi qua cửa theo cách tự nhiên.
Quy Trình Xử Lý
- Nhận luồng video đầu vào
- Phát hiện khuôn mặt
- Theo dõi khuôn mặt (ByteTrack)
- Nhận diện khuôn mặt (embedding InsightFace)
- Đối sánh danh tính
- Ghi log điểm danh
ByteTrack giúp hệ thống theo dõi đúng cùng một người qua nhiều khung hình, tránh gọi nhận diện lặp lại và tăng độ ổn định.
Tập Dữ Liệu Đánh Giá
Đặc Điểm Tập Kiểm Thử
- Tổng mẫu: 72 lần xuất hiện khuôn mặt
- Nhiều danh tính nhân sự
- Có khuôn mặt người lạ để kiểm tra khả năng từ chối
- Dữ liệu lấy từ camera thực tế, không phải ảnh chụp kiểm soát
Hiệu Năng Tổng Thể
| Chỉ số | Giá trị |
|---|---|
| Accuracy | 93.06% |
| Weighted F1 | 0.9297 |
| Macro F1 | 0.9313 |
| Weighted Precision | 0.9444 |
Thống Kê Bổ Sung
- Không thiếu phát hiện khuôn mặt
- Không có ảnh lỗi/corrupt
Kết Quả Theo Từng Lớp (Ẩn Danh Tính)
| Staff ID | Support | Precision | Recall | F1 |
|---|---|---|---|---|
| Staff-A | 5 | 1.00 | 1.00 | 1.00 |
| Staff-B | 15 | 1.00 | 1.00 | 1.00 |
| Staff-C | 9 | 1.00 | 0.89 | 0.94 |
| Staff-D | 10 | 1.00 | 0.80 | 0.89 |
| Staff-E | 7 | 1.00 | 1.00 | 1.00 |
| Staff-F | 6 | 1.00 | 0.67 | 0.80 |
| Unknown | 20 | 0.80 | 1.00 | 0.89 |
Phân Tích Lỗi
Các Trường Hợp Nhầm Lẫn Nhiều Nhất
| Thực tế | Dự đoán | Số lượng |
|---|---|---|
| Staff-D | Unknown | 2 |
| Staff-F | Unknown | 2 |
| Staff-C | Unknown | 1 |
Quan Sát
- Đa số lỗi xảy ra khi nhân sự bị gán sang Unknown, không bị gán nhầm sang người khác.
- Đây là kiểu lỗi an toàn, giúp tránh chấm công sai.
Điểm Nổi Bật
1. Tracking Giúp Ổn Định Nhận Diện
ByteTrack giúp hệ thống:
- Nhận diện một người một lần cho mỗi track
- Tránh nhận diện lặp ở từng khung hình
- Giảm chi phí tính toán
2. Camera Đặt Xa Vẫn Hoạt Động Tốt
Dù camera đặt xa cửa ra vào:
- Khả năng phát hiện vẫn ổn định
- Độ chính xác nhận diện vẫn duy trì >93%
3. Nhận Diện Người Lạ Hoạt Động Tốt
Hệ thống từ chối khuôn mặt lạ hiệu quả:
- Recall của lớp Unknown = 100%
- Một số khuôn mặt lạ vẫn khớp người đã biết; có thể cải thiện bằng tinh chỉnh threshold.
Ý Nghĩa Thực Tế
Lợi Ích Hệ Thống
Cách tiếp cận này cho phép xây dựng hệ thống điểm danh tự động hoàn toàn với:
- Không cần tương tác phần cứng
- Không cần máy chấm công vân tay
- Không cần thẻ RFID
- Chi phí lắp đặt tối thiểu
Yêu Cầu Tối Thiểu
- Một camera IP duy nhất
- Một máy chủ tính toán nhỏ
Hướng Cải Tiến
Các Bước Tiếp Theo
- Bổ sung fusion đa camera
- Cải thiện lọc chất lượng khuôn mặt ở khoảng cách xa
- Sử dụng temporal embedding averaging
- Tích hợp với hệ thống HR/payroll