데이터셋 준비 하기

Cloud9에서 데이터셋 준비하기

Lookout For Vision 모델을 학습하는 데 사용할 이미지 데이터셋을 준비합니다. AWS Cloud9를 공장 서버라고 가정하고, 이 서버에서 가지고 있는 이미지를 사용합니다. Cloud9는 Amazon EC2 인스턴스에 대한 터미널을 제공합니다.

  1. AWS Management Console에서 Cloud9 서비스를 선택합니다.

  2. [Create environment] 버튼을 선택합니다.

  3. Name에 lookout-for-vision-factory-server을 입력합니다.
    Description에 It is an existing server in the factory, which already has images.를 입력합니다.

name-environment

  1. [Next step] 버튼을 클릭합니다.

  2. 설정을 변경하지 않고 [Next step] 버튼을 클릭합니다. 이 워크샵에서는 t2.micro 인스턴스 유형을 사용합니다.

  3. 구성한 내용을 확인하고 [Create environment] 를 클릭합니다. Cloud9가 환경을 설정하는 데 약 2분 정도 소요됩니다.

  4. 워크샵에서 사용할 이미지와 코드를 다운로드하고 실행하기 위해 아래 코드를 복사하고 붙여넣기 합니다.

pip3 install lookoutvision
git clone https://github.com/jiisoo/lookout-for-vision-workshop-kr.git
cd lookout-for-vision-workshop-kr
  1. 왼쪽 메뉴에서 다운로드한 데이터셋을 확인합니다. lookout-for-vision-workshop-kr 하위 폴더에 있는 dataset을 클릭합니다. train 폴더와 test 폴더가 존재하는 것을 확인하고 train과 test를 각각 클릭합니다. normal 폴더와 anomaly 폴더가 하위 폴더로 존재하는 것을 확인합니다.

dataset-structure

  1. 왼쪽 메뉴에서 lookout-for-vision-workshop-kr의 하위 폴더인 dataset을 클릭합니다. train 폴더를 클릭하고 하위 폴더인 normal 폴더를 선택합니다. 폴더 안에 있는 이미지 중 하나를 선택하여 사용할 이미지를 확인합니다. 이 워크샵에서는 주조에 사용되는 cast 이미지 데이터셋을 사용합니다.

cast

데이터셋을 저장할 S3 버킷 생성하기

  1. Amazon Lookout for Vision은 모델을 학습할 때, S3에 저장된 폴더의 구조를 이해하고 자동으로 레이블링합니다. 확인한 폴더 구조 그대로 S3에 저장합니다. AWS Management Console에서 S3 서비스를 선택합니다.

  2. [Create bucket] 버튼을 클릭합니다.

  3. Bucket name 에 lookout-for-vision-workshop-xxxxxxxx을 복사합니다. xxxxxxxx에 임의의 숫자를 작성하여 다른 계정의 버킷 이름과 겹치지 않도록 합니다. 이 숫자는 이후에 사용하기 위해 복사해둡니다. AWS Region이 US East (N. Virginia) us-east-1 이 맞는지 확인합니다.

create-bucket

  1. 서버에 있는 이미지를 모델 학습에 사용하기 위해 S3로 전송합니다. Cloud9로 돌아가 터미널에 아래 명령어를 입력합니다. xxxxxxxx를 복사해둔 숫자로 변경합니다.
aws s3 cp dataset s3://lookout-for-vision-workshop-xxxxxxxx/dataset/ --recursive