평가 방법의 개요

작품을 제작했다면, 그것이 「어떻게 전달되었는가」「어떻게 체험되었는가」를 객관적으로 평가하는 것이 중요합니다. 이 섹션에서는 수업에서 사용하는 두 가지 주요 평가 방법을 소개합니다.

왜 평가하는가?

자신의 작품에 대해 「괜찮게 만들었다」「재미있는 것 같다」와 같은 주관적인 감각도 중요하지만, 그것만으로는 충분하지 않습니다. 평가를 함으로써:

• 의도가 전달되고 있는지 확인할 수 있다 — 「무서운 분위기」를 목표로 했는데 「즐겁다」고 느껴졌다면 개선의 실마리가 된다
• 개선점을 찾을 수 있다 — 수치나 그래프로 약점이 시각화된다
• 다른 사람과 공유할 수 있다 — 「왠지 좋다」가 아니라 데이터로 설명할 수 있다

측정하는 것

이 수업에서는 주로 다음 두 가지를 측정합니다.

인상

작품에서 받는 인상을 여러 개의 형용사를 사용해 평가합니다. 「밝다↔어둡다」「화려하다↔수수하다」와 같이 서로 대립하는 말의 쌍을 사용합니다.

→ SD법（Semantic Differential법） 으로 측정

UX（사용자 경험의 품질）

작품을 사용한 경험의 품질을 평가합니다. UX에는 크게 두 가지 측면이 있습니다:

품질	의미	예
실용적 품질（Pragmatic Quality）	사용의 편의성・이해하기 쉬움	「조작이 직관적」「금방 사용법을 알았다」
감성적 품질（Hedonic Quality）	즐거움・매력・새로움	「설렌다」「지금까지 없던 경험」

→ UEQ-S（User Experience Questionnaire - Short version） 으로 측정

그 밖의 평가 방법（참고）

이 수업에서는 주로 SD법과 UEQ-S를 사용하지만, 연구에서는 다음과 같은 방법도 자주 사용됩니다:

방법	측정 대상	특징
SAM	감정（쾌불쾌・각성도）	일러스트로 직관적으로 답할 수 있다
AttrakDiff	UX（실용적 품질・감성적 품질）	UEQ-S의 바탕이 된 방법
POMS2	기분（부정적인 측면）	의료・심리학에서 자주 사용
반구조화 인터뷰	체험의 상세	미리 질문을 준비하고, 답변에 따라 깊이 파고든다
텍스트 마이닝	자유 기술의 경향	어구의 빈도나 공기성（共起性）을 분석

비교하기・파고들기

평가를 더 깊게 하기 위한 방법:

• 요소를 바꿔서 비교한다 — 작품 안의 소리나 연출을 바꾼 버전을 준비해서 비교
• 매체를 바꿔서 비교한다 — 헤드폰 vs 스피커, 모니터 vs 프로젝터
• 기존 작품과 비교한다 — 비슷한 콘셉트의 작품이나 앱과의 비교
• 요인 분석 — SD법의 결과에서 인상의 카테고리를 통계적으로 추출