Итоговый проект по распознаванию лиц в Deep Learning School от МФТИ
Разработка пайплайна для задачи Face Recognition. Этот проект больше исследовательский, направленный на изучение новой архитектуры нейросети, чтения статей и постановки экспериментов.
В проекте использовался датасет celeba на 1000 классов: https://www.kaggle.com/kirillkruglikov/celeba-1k-classes
Основная часть:
- Изучить литературу, разобраться в том, как работают системы распознавания лиц
- Реализовать 2 из 3 частей пайплайна модели распознавания лиц:
- Face alignment
- Нейросеть для распознавания лица
- Обучить сеть для распознавания лиц с разными лосс-функциями: CE, triplet loss
- Реализовать функию подсчета метрики качества Identification rate
Дополнительная часть:
- Реализовать лосс-функцию ArcFace и обучить на ней сеть
- Реализовать третий из трех частей пайплайна модели распознавания лиц: детекцию лица на фото
- Дополнительные упражнения с обученной нейросетью для распознавания лиц: поиск треш-фото, адверсариал атаки
Основная часть:
- Изучить литературу, разобраться в том, как работают системы распознавания лиц
- Скачать датасет, посмотреть на фото.
- Обучить нейросеть для распознавания лиц (третий из трех этапов пайплайна) на лицах, которые уже детектированы и заалайнены;
- Обучить сеть для элайна, обучить сеть из пункта 3 на заалайненных своей сетью лицах
- Реализовать метрику качества ID rate, проверить точность распознавания сетей из пунктов 3 и 4
- Поставить эксперименты с разными лосс-функциями: CE, triplet margin loss
- Сделать выводы
Дополнительная часть:
- Изучить метрику ArcFace, прочитать статью
- Реализовать метрику ArcFace, обучить на ней сеть, сравнить с метриками CE и triplet margin, сделать выводы
- Обучить свою сеть для детекции лиц на фото, собрать весь пайплайн из этой сети и сетей из пунктов 3 и 4 основной части, постчитать метрику качества
- Реализовать поиск треш фото на обученной сети
- Эксперименты с атаками на изображения
- Face recogtinion pipeline clearly explained (medium): https://medium.com/backprop-labs/face-recognition-pipeline-clearly-explained-f57fc0082750
- Как работает распознавание лиц: https://trends.rbc.ru/trends/industry/6050ac809a794712e5ef39b7
- Face landmark detection using PyTorch: https://towardsdatascience.com/face-landmarks-detection-with-pytorch-4b4852f5e9c4
- Face detection in Python: https://machinelearningmastery.com/how-to-perform-face-detection-with-classical-and-deep-learning-methods-in-python-with-keras/
- Пример метрики для подсчета качества систем распознавания лиц: http://www.eecs.qmul.ac.uk/~sgg/papers/ChengEtAl_PR2020.pdf (секция 3.2.3)