Code nhận dạng biểu cảm trên khuôn mặt bằng thuật toán SVM sử dụng ngôn ngữ lập trình Python

Code nhận dạng biểu cảm trên khuôn mặt bằng thuật toán SVM sử dụng ngôn ngữ lập trình Python

“Dưới đây là hướng dẫn cài đặt môi trường và sử dụng mã nguồn để nhận diện biểu cảm trên khuôn mặt bằng thuật toán SVM sử dụng ngôn ngữ lập trình Python:

**Cài đặt Môi Trường:**

1. **Cài đặt Python 3.7.9 và Visual Studio C++:**
– Bắt đầu bằng việc cài đặt Python phiên bản 3.7.9 từ trang web chính thức của Python (https://www.python.org/downloads/release/python-379/).
– Sau đó, cài đặt Visual Studio C++ để hỗ trợ các thư viện Python cần thiết.

2. **Tải và Giải Nén Mã Nguồn:**
– Tải mã nguồn của dự án bằng cách sử dụng git clone hoặc tải mã nguồn dưới dạng ZIP từ trang dự án.
– Sau khi tải xong, giải nén mã nguồn vào một thư mục trên máy tính của bạn.

3. **Mở Terminal:**
– Trên Windows 11, bạn có thể chuột phải vào thư mục chứa mã nguồn và chọn “Open in Windows Terminal”.
– Trên Windows 10, bạn có thể sử dụng tổ hợp phím Shift + Chuột phải và chọn “Open PowerShell window here”.

4. **Cho Phép Terminal Chạy Script:**
– Trong cửa sổ PowerShell, chạy lệnh sau để cho phép thực thi các script: `Set-ExecutionPolicy -Scope CurrentUser -ExecutionPolicy remotesigned`.

5. **Tạo và Kích Hoạt Môi Trường Python Ảo:**
– Sử dụng lệnh sau để tạo một môi trường Python ảo: `python -m venv .venv`.
– Kích hoạt môi trường vừa tạo: `./.venv/Scripts/Activate.ps1`.

6. **Cài Đặt Các Dependency Cần Thiết:**
– Sử dụng lệnh `pip install -r requirements.txt` để cài đặt các thư viện Python cần thiết cho dự án.

7. **Kiểm Tra Sự Chuẩn Bị Hoàn Tất:**
– Nếu không có lỗi xuất hiện, chương trình đã sẵn sàng để sử dụng.

**Hướng Dẫn Sử Dụng:**

1. **Tải Dữ Liệu Đào Tạo và Datasets:**
– Tải bộ dữ liệu đào tạo và tập dữ liệu từ trang web dự án và giải nén chúng.

2. **Huấn Luyện:**
– Mở tệp `train_clf.py`.
– Đặt các loại cảm xúc mà bạn muốn bộ phân lớp huấn luyện trong biến `EMOTIONS_TO_TRAIN_FOR`.
– Chạy lệnh `python train_clf.py` để bắt đầu quá trình huấn luyện. Lưu ý rằng thời gian huấn luyện có thể kéo dài tùy thuộc vào số lượng cảm xúc bạn đã chọn.

3. **Chạy Nhận Diện:**
– Bạn có thể chạy nhận diện từ camera, tệp ảnh hoặc tệp video bằng cách sử dụng các tệp `predict_camera.py`, `predict_image.py`, và `predict_video.py` tương ứng.

4. **Tùy chỉnh Hiển Thị Đặc Trưng Khuôn Mặt (Tùy chọn):**
– Trong tệp `run_clf.py`, bạn có thể thiết lập mức độ chi tiết hiển thị các đặc trưng khuôn mặt bằng cách đặt giá trị cho biến `SHOW_FACE_DETAIL_LV`.

**Cơ Chế Hoạt Động:**

– Chương trình xây dựng một bộ phân lớp SVM sử dụng dlib để phát hiện và rút trích các đặc trưng khuôn mặt từ hình ảnh trong tập dữ liệu.
– Sau khi được huấn luyện, bộ phân lớp có thể nhận diện biểu cảm trên khuôn mặt với độ chính xác tương ứng với các cảm xúc đã được huấn luyện.”

“Sau đó, ta đưa các khuôn mặt đã phát hiện vào bộ nhận diện đường bao các đặc điểm khuôn mặt (shape_predictor_68_face_landmarks.dat). Đây là một tập dữ liệu đã được dlib huấn luyện trước để xác định các đặc trưng trên khuôn mặt từ hình ảnh, được biểu diễn bằng 68 điểm.”

“Trong tập hợp 68 điểm này, chúng ta quyết định loại bỏ các điểm từ 0 đến 5 và từ 11 đến 16, bởi vì các điểm này không cung cấp nhiều thông tin về biểu cảm khuôn mặt mà chúng ta đang quan tâm, điều này giúp tối ưu hóa tài nguyên cho các bước tiếp theo trong quá trình xử lý.”

“Khi áp dụng tập dữ liệu gốc có 68 điểm đặc điểm khuôn mặt vào bộ nhận dạng `shape_predictor_68_face_landmarks.dat`, chúng ta thu được 56 điểm biểu diễn các đặc điểm quan trọng trên khuôn mặt như mắt, lông mày, mũi, miệng và cằm. Để chuẩn bị dữ liệu cho việc huấn luyện, chúng ta loại bỏ 12 điểm không quan trọng.

Từ 56 điểm này, ta chọn điểm ở giữa mũi làm tâm (0, 0) và vẽ 55 vector tới các điểm còn lại. Việc này nhằm vector hóa và điều chỉnh vị trí của khuôn mặt sao cho nó nằm ở tâm trục toạ độ xOy. Điều này giúp bộ phân lớp có khả năng phân biệt các khuôn mặt ở bất kỳ vị trí nào trong ảnh.

Chúng ta sử dụng cột mũi làm chuẩn và xoay tất cả các vector sao cho trục x và y của khuôn mặt vuông góc với trục x và y của mặt phẳng hình ảnh. Điều này giúp khử độ nghiêng của ảnh, cân bằng khuôn mặt trong trường hợp khuôn mặt có góc nghiêng so với camera.

Tiếp theo, chúng ta chuẩn hoá các vector để giới hạn giá trị trong khoảng (-1, 1). Việc này giúp bộ phân lớp SVM có thể phân biệt các khuôn mặt có kích thước khác nhau.

Kết quả sau cùng của việc xử lý dữ liệu này được đưa vào bộ phân lớp SVM để huấn luyện. Thời gian huấn luyện sẽ thay đổi tùy thuộc vào số lượng các cảm xúc cần nhận dạng và kích thước bộ dữ liệu đầu vào.

Khi sử dụng bộ phân lớp SVM để nhận dạng dữ liệu mới, chúng ta nhận dữ liệu đầu vào từ các nguồn như camera, ảnh hoặc video. Dữ liệu này trải qua quy trình xử lý tương tự như quá trình chuẩn bị dữ liệu huấn luyện đã được mô tả ở trên, bao gồm: phát hiện mặt, lấy đặc điểm, vector hóa, căn chỉnh và chuẩn hoá. Dữ liệu đã qua xử lý được đưa vào bộ phân lớp SVM để nhận dạng, và kết quả nhận được là một trong các chuỗi kết quả có thể là: angry, disgust, fear, happy, sad, surprise, neutral.”