[WWDC 2020] Vision

0. 시작에 앞서..

Detect Body and Hand Pose with Vision - WWDC20 - Videos - Apple Developer

WWDC 스터디에서 [Detect Body and Hand Pose with Vision] 영상을 보고 각자 공부를 해봤다.

Vision 기술을 통해서 얼굴과 몸, 손을 인식하고 움직임까지 감지한다. 이러한 기술을 어떻게 구현하는지 설명하는 동영상이다.

그 중에 손에 대해 요약해서 말하자면 손가락 관절 하나 하나에 포인트(랜드마크)를 찍어서 포인트가 어떻게 변하는지 감지한다.

또한 ARKit 과 Vision의 차이점에 대해서도 설명하고 있다.

• Landmarks 는 똑같이 제공하고 개수도 같다.
• Confidence 는 신뢰 값이라고 하는데 Vision만 제공한다.
• Purpose 는 Vision은 온라인, 오프라인 분석 도구고, ARKit은 실시간 모션 캡쳐이다.
• Availability 는 Vision은 워치를 제외하고 다 되는 것 같고, ARKit은 ARSession을 지원하는 후면 카메라만 가능하다.

이 영상을 보고 Vision에 어떤 기능이 더 있을지 궁금해서 공식문서를 찾아보았다.

---

1. Vision

정의

컴퓨터 비전 알고리즘을 적용하여 입력 이미지와 비디오에 대한 다양한 작업을 수행하는 프레임워크

개요

Vision Framework는 얼굴 및 얼굴 랜드마크 감지, 텍스트 감지, 바코드 인식, 이미지 등록 및 일반 기능 추적을 수행합니다. 또한 Vision은 분류 또는 객체 감지와 같은 작업에 사용자 지정 코어 ML 모델을 사용할 수 있다.

다음으로 Vision을 어떻게 활용하는지 여러가지 주제에 대해 알아보겠다.

https://developer.apple.com/documentation/vision

---

2. Topic of Vision

1. Essentials

컴퓨터 비전과 머신러닝을 사용함으로써 실생활의 인간의 활동을 분류하고 감지한다.

https://developer.apple.com/documentation/vision/building_a_feature-rich_app_for_sports_analysis

2. Still Image Analysis

정적인 사진 속 객체 분석하기, 카테고리와 검색을 위한 이미지 분류하기, 특징으로 이미지 유사성 분석하기

https://developer.apple.com/documentation/vision/detecting_objects_in_still_images

3. Image Sequence Analysis

이미지 장면 분석하기, 영상이나 사진속 사람 마스킹하기

https://developer.apple.com/documentation/vision/applying_matte_effects_to_people_in_images_and_video

4. Saliency Analysis

물체 배경 제거과 같은 세분화 작업, 선명도를 사용해 이미지의 관심 영역 강조

5. Object Tracking

실생활에서 유저의 얼굴 트래킹하기, 비디오에서 사각형 또는 다각형 트래킹하기

6. Rectangle Detection

이미지에서 카드나 사인 같은 사각형 특징 감지하기

7. Face and Body Detection

얼굴이나 몸 감지하기

8. Body and Hand Pose Detection

몸이나 손 모양 감지하기

https://developer.apple.com/documentation/vision/detecting_human_body_poses_in_images

9. Animal Detection

동물 감지하기

10. Trajectory Detection

탄도, 축구공의 궤적 감지하기

https://developer.apple.com/documentation/vision/identifying_trajectories_in_video

11. Contour Detection

등고선 감지

12. Optical Flow

광학 흐름 - 대상 이미지의 각 픽셀에 대해 방향 변경 벡터를 생성하는 개체입니다.

13. Barcode Detection

바코드 감지

14. Text Detection

글자 감지

15. Text Recognition

글자 인식

16. Request Progress Tracking

작업 진행률 요청 트래킹

17. Horizon Detection

수평선 감지

18. Image Alignment

이미지 정렬, 비슷한 이미지끼리 정렬하기

19. Object Recognition

실시간 영상에서 물체 인식하기

20. Machine Learning Image Analysis

머신러닝 이미지 분석, 비전과 CoreML을 쓴 이미지 분류, 꽃 분류를 위한 이미지 학습

21. Coordinate Conversion

변환 조정하기, 랜드마크 좌표계 조정

22. Utilities

다양한 비전 타입의 형상을 결정하는 유틸 방법

23. Common Data Types

원, 선의 타입

24. Errors

프레임 워크가 생성한 오류 식별 방법

25. Vision Framework Version

Vision 프레임워크의 버전 확인하는 방법

추후에 이러한 내용(Vision)을 사용해 앱을 개발할 기회가 생기면 해당 부분에 대해 자세하게 공부해볼 예정이다.