크라우드웍스 데이터라벨링 기초 강의_ 1. 데이터 라벨링 기초이론

🔅데이터라벨링 기초이론

✔️데이터라벨링이란?

인공지능 알고리즘 고도화를 위해 AI가 스스로 학습할 수 있는 형태로 데이터를 가공하는 작업.

학습을 하지않은 인공지능은 세상에 갓태어난 어린아이

 

✔️data labeling

인공지능이 학습할수있도록 라벨을 달아주는 작업

 

✔️라벨

데이터인식에 필요한 설명,정답과 같은 의미

 

✔️인공지능학습과정

데이터-수집-정제-라벨링-검수

 

학습에 적합한 데이터 수집

 

정제-오류제거, 크기 형식 변형, 불필요한 데이터제거, 개인정보 비식별화 처리

 

데이터라벨링=데이터가공

 

검수과정필요

 

✔️데이터라벨러-사람과AI를 이어주는 징검다리

 

'데이터 라벨러'에 의해 만들어진 '인공지능 학습용데이터'는 학습양이 많을수록, 또 학습이 많이 반복될수록 인공지능의 성능을 고도화 시킬수 있다.

 

453eb(exabyte)-2025년 지구에서 하루동안 생산될 데이터의 양을 조사 예측한 수치

하루에 5억트윗, 2940억개 이메일, 자동차 한대당 4TB데이터 생성

 

✔️데이터유형

이미지, 영상, 텍스트, 음성

 

 

✔️이미지데이터

-랜드마크나 손글씨, 얼굴인식, 질환 진단, 엑스레이 위험물 탐지 기술등에 활용

-바운딩, 감정분석, 키포인트,얼굴 랜드마크,ocr, 폴리곤, 폴리라

-bounding box:이미지에서 추출하고자 하는 대상을 네모난 박스로 표시하는 라벨링 기법

 

 

✔️영상데이터

-작업대상과 기준에 맞춰 영상을 찍어 업로드 하는 방식

-바운딩, 스켈레톤추출,특정구간추출, 시멘틱 세그멘테이

 

✔️텍스트유형

-가공:문장의미비교, 감정태깅, 키워드 찾기, 문장요약

 

 

✔️음성데이터

-상황별 맞춤 대화록 작성과 음성을 문서로 변환해주는 인공지능 음성인식 서비스는 물론, 자동변역, 영상자막등 다양한 곳에서 활용

-화자구분, 음성받아쓰기

 

 

 

🟢크라우스소싱

-대중(crowd)과 아웃소싱(outsourcing)의 합성어. 기업 활동의 일부과정에서 일반대중(크라우드워커)을 참여시키는 것을 의미

 

🟢크라우드워커

일장인이 기업의 업무 용역을 대행 수행하고 일정대가를 받는 경우를 의미

집이나 재택근무 등의 형태로도 업무 수행이 가능하고, 자유롭게 할당된 과제물을 수행하는 일자리

 

🟢데이터 라벨러

-데이터의 수집에서 가공에 이르기까지 인공지능 학습에 필요한 형태의 데이터를 만드는 사람.

 

🟢인공지능 학습용데이터

-인공지능이 학습을 통해 성능을 향상 시키는데 활용되는 데이터

 

🟢인공지능 학습용 데이터 구축

-임무정의, 데이터 획득, 데이터정제, 데이터 라벨링 등 인공지능 학습용 데이터를 구축하는 일련의 활동

 

 

🟢데이터 수집(획득)

인공지능의 기계학습에 필요한 데이터를 현실 세계에서 직접 수집 또는 생성하는 등 다양한 종류의 데이터를 모으는 작업

 

🟢데이터 정제

기계학습에 필요한 형식으로 맞추건, 불필요한 중복을 제거하며, 개인정보를 비식별화하여 처리하는 등 인공지능 학습에 적합한 형태로 바꿔주는 작업.

 

🟢데이터 라벨링

인공지능 알고리즘 고도화를 위해 AI가 스스로 학습 할수 있는 형태로 데이터를 가공하는 작업

 

🟢데이터 검수

데이터 라벨링이 올바르게 되었는지를 확인하는 작업

 

🟢라벨(레이블)
인공지능 학습을 위해 데이터를 부착하는 것으로 해당 대상에 대한 명칭 뿐 아니라 데이터 인식에 필요한 설명이나 정답과 같은의미

 

🟢챗봇

문자 또는 음성으로 대화하는 기능이 있는 컴퓨터 프로그램 또는 인공지능

 

🟢바운딩

이미지에서 추출하고자 하는 대상을 네모나 박스로 표시하는 라벨링 기법으로 데이터 라벨링 작업에서 가장 일반적으로 사용되는 유형

 

🟢태깅

이미지나 파일등에 이름을 붙이는 것으로 대표할 수 있는 키워드를 달아줌으로써 대상을 분류하는 작업

 

🟢전사

이미지나 영상 속의 문자를 텍스트로 옮겨 적는 작업

 

🟢감정분석

이미지나 영상 속 사람의 표정을 보고 어떤 감정 상태인지를 추론하는 라벨링 기법

 

🟢키포인트

작업대상의 특정 지점에 마우스를 클릭하여 점을 찍어주는 라벨링 기법

 

🟢얼굴 랜드마크

얼굴의 주요 불의에 마우스를 클릭하여 점을 찍어주는 라벨링 기법

 

🟢폴리곤

객체의 불규칙한 경계를 따라 점을 찍는 라벨링 기법

 

🟢폴리라인

여러개의 점을 연속적으로 그리는 라벨링 기법

 

🟢시멘틱 세그멘테이션

폴리곤, 폴리라인, 브러쉬 등을 사용하여 경계를 나누어 분할함으로써 이미지 내의 모든 대상의 위치 및 모양 등을 영역으로 분류해내는 라벨링 기법

 

🟢OCR(광학문자인식)

영상, 이미지 상의 텍스트를 기계가 읽을 수 있는 문자로 변화하는 라벨링 기법

 

🟢스켈레톤

대상의 특정 부위에 점을찍는 라벨링 기법

 

🟢특정 구간 추출

작업 대상이 사전에 제시된 기준에 해당하는 말이나 행동 등을 할때의 구간을 선택해 추출하는 라벨링 기법

 

🟢3D 라벨링 기법

육면체의 입체적인 박스를 생성하여 바운딩 하는 것과 같이 2차원 라벨리의 한계를 넘어 3차원의 입체적 표현을 가능케 하는 라벨링 기법

 

🟢복합 라벨링

여러개의 라벨링 기법을 복합적으로 사용하는 라벨링 기법\

 

🟢문자의미 비교

주어진 문장들의 의미가 같은 것인지 태깅하는 라벨링 기법

 

🟢감정태깅

제시된 글을 읽었을때 느껴지는 감정을 선택하는 라벨링 기법

 

🟢키워드 찾기

대화내용속에서 핵심이 되는 키워드를 찾는 라벨링 기법

 

🟢문장요약

글을 읽고 핵심이 되는 내용을 요약하는 라벨링 기법

 

🟢화자구분

제시된 음성을 모두 듣고 동일한 사람의 목소리인지를 판단해서 태깅하는 라벨링 기법

 

🟢음성받아쓰기

주어진 음성을 듣고 받아쓰는 라벨링 기법

 

🟢일반전사

사람이 말한 그대로 문자화하여 전사하는 방법

 

🟢이중전사

한글 맞춤법 표기에 따른 발음과 차이가 있는 경우, '발음 전사'와 '철자 전사'를 병행하여 작성하는 방법