타당도, 신뢰도 그리고 객관도

안녕하세요. 

오늘은 타당도, 신뢰도, 객관도 세 가지에 대해 정리하겠습니다. 

 

먼저 타당도입니다. 

 

01 타당도

 

1. 타당도의 의미

 

타당도는 측정도구가 재려고 의도한 것을 어느 정도로 충실히 재고 있는지를 나타내 주는 것입니다.

타당도는 '무엇을 재고 있느냐'는 개념으로도 이해할 수 있습니다. 

 

---

타당도에도 여러 종류가 있습니다. 

 

내용타당도, 준거타당도, 구인타당도, 마지막으로 결과타당도가 있습니다. 

 

2. 내용타당도(목표타당도) (17 논술, 04, 07, 11 중등출제)

 

내용타당도는 검사가 측정하려는 내용을 얼마나 충실히 측정하고 있느냐에 타당성의 준거를 두는 타당도 입니다. 

 

(1) 문항의 대표성 또는 문항표집의 적절성으로 판단

 

검사의 내용타당도를 판단하기 위해서는 그 검사를 구성하고 있는 각 문항이 검사에서 측정하고자 하는 내용을

잘 대표하고 있으며, 전체 내용을 골고루 포함하고 있는지, 측정하고자 하는 내용과 거리가 먼 문항은 없는지를

따져 보아야 합니다. 이와 같이 문항의 대표성 정도가 내용타당도를 판단하는 기준이 됩니다. 

 

 

(2) 교육목표의 충실한 측정 여부 결정에 적용

 

학업성취도 검사의 경우 내용타당도는 주로 교수-학습 과정에서 설정했던 교육목표를 평가도구가

얼마나 충실히 측정하고 있느냐는 것을 결정할 때 적용됩니다. 

 

 

(3) 논리적 분석으로 검증

 

내용타당도는 내용의 논리적 분석에 근거하므로 검증은 전문가의 판단에 의해 이루어집니다. 

타당도가 객관적 수치로 제공되지 않기 때문에 검사 내용 전문가의 전문적 지식에 의해 주관적으로

판단될 수 밖에 없습니다.

 

(4) 목표지향평가에서 더욱 중요

 

목표지향 평가는 목표에의 달성여부를 판단하기 위한 것이므로 신뢰도는 있으면 좋은 부수적인 조건이지만,

내용 타당도는 반드시 있어야 할 필요조건입니다. 

 

 

(5) 이원분류표의 작성

 

내용타당도는 한 검사를 구성하는 문항들이 교육목표의 대표적인 내용들을 얼마나 충실히 담고 있는지에 의해

결정됩니다. 따라서 교육목표들을 명세화하고 이들을 내용 영역과 행동 영역으로 구분한 이원분류표를 작성할 경우

내용타당도를 높일 수 있습니다. 

 

 

---

 

3. 준거타당도 

 

(1) 예언타당도

 

미래의 행동 특성이 존재	1) 예언타당도는 평가도구가 피검사자의 미래의 행동이나 특성을 얼마나 정확하고 완전하게 예언하느냐를 판단하는 데 활용되는 타당도입니다.  2) 미래의 행동특성이라는 개념 속에는 학업성취도, 직장에서의 근무성적, 사회적 적응 등 다양한 속성을 포함합니다.
적성 검사에 주로 활용	예언타당도는 적성검사나 선발고사와 같이 예언을 주된 기능으로 하는 검사에서는 더 절실히 요구되는 성질입니다.
두 검사의 상관계수로 검증	예언타당도는 선행검사 X와 미래의 행동특성을 측정한 검사 Y와의 상관계수로 표현되므로 계량화됩니다.

 

(2) 공인타당도 (98 중등, 08 초등출제)

 

기존 검사와의 공통된 요인이 준거 기준	공인타당도는 해당 검사점수와 그 검사 이외에 현재 다른 어떤 검사점수 간의 상관관계로 추정합니다.
새로운 이론이나 검사 방식 모색에 유용	공인타당도는 새로운 이론이나 검사 방식을 모색할 때 유용하게 사용될 수 있는 타당도의 한 가지 방법이 될 수 있습니다.

 

---

4. 구인타당도

 

(1) 구인의 의미

 

-구인이란 측정하고자 하는 심리적 특성을 이루고 있는 속성들을 가설적으로 정한 것입니다. 

 

-구인타당도는 그 검사가 측정하고 하는 구인이 정말 존재하며, 검사가 그것을 제대로 측정하고 있는지를

확인하는 데 사용되는 타당도입니다. 

 

-구인타당도는 계량적 방법으로 검증되므로 과학적이고 객관적입니다.

 

-설정된 가설의 입증을 통해 확인되므로 가장 광범위한 증거와 많은 연구대상을 필요로 합니다. 

따라서 구인타당도의 검증에는 예언타당도, 공인타당도의 모든 과정도 포함됩니다. 

 

 

(2) 구인타당도의 검증방법

 

상관계수법	각 구인들에 의하여 얻어진 점수와 심리 특성을 측정하는 총점과의 상관계수에 의하여 타당도를 검증하는 방법으로 만일 특정 구인을 나타내는 점수와 심리적 특성 점수와의 상관계수가 낮으면 그 구인은 심리적 특성을 설명해주지 못함을 알 수 있습니다.
실험설계법	심리적 특성을 구성하는 심리적 구인을 실험집단에는 처치를 하고 통제집단에는 처치하지 않았을 경우, 실험집단과 통제집단에서 심리적 특성의 차이가 나타나면 그 구인은 심리적 특성을 설명하는 구인으로 간주할 수 있습니다.
요인분석 (factor analysis)	복잡하고 정의되지 않은 많은 변수들 간의 상호관계를 분석하여, 상관이 높은 변수들을 모아 요인으로 규명하고 그 요인의 의미를 부여하는 통계적 방법입니다.

 

 

---

 

5. 결과타당도 

 

-평가활동이 의도한 목적 달성 여부가 판단기준!

 

결과타당도란 평가를 실시하고 난 결과에 대한 가치판단을 의미합니다. 

평가활동이 원래 의도한 기능을 제대로 수행하거나 목적을 제대로 달성하고 있는지의 여부가 타당도 판단의

준거가 됩니다. 

 

 

 

---

 

02 신뢰도 (00, 01, 05, 08 중등, 12 초등출제 빈출)

 

(1) 신뢰도의 개념

신뢰도는 '얼마나 오차 없이 정확하게' 측정하고 있느냐를 나타내는 개념입니다. 신뢰도는 흔히 같은 대상에 대해

두 번 측정해서 얻은 두 개의 측정치 사이에 일관성이 있느냐는 뜻으로 해석하기도 합니다. 

 

 

(2) 타당도와 신뢰도의 관계

 

-신뢰도는 타당도의 필요조건

 

신뢰도가 있어야 타당도가 보장이 되므로 신뢰도는 타당도의 필요조건이 됩니다. 

 

-신뢰도와 타당도의 변화

 

신뢰도는 타당도의 선행조건이므로 신뢰도가 낮아지면 타당도가 낮아집니다. 그러나 신뢰도가 높다고 해서 반드시

타당도가 높아지는 것은 아닙니다. 

 

 

 

(3) 신뢰도 추정방법 (19 논술출제)

 

*동형검사 신뢰도(동형검사 계수)와 반분검사 신뢰도(동질성 계수)를 헷갈리지 않도록 한다. 

재검사 신뢰도	1) 재검사 신뢰도는 한 개의 검사를 같은 집단에게 두 번 실시해서, 그 전후의 결과에서 얻은 점수를 기초로 신뢰도를 추정하는 방법입니다.  2) 전후의 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점이기 때문에 안정성 계수라고도 합니다.
동형검사 신뢰도  (동형검사 계수)	동형검사 신뢰도는 미리 두 개의 동질성을 가진 것으로 추정되는 동형검사를 제작하고, 그것을 같은 피험자에게 실시해서 얻은 점수를 통해 신뢰도를 추정하는 방법으로, 동형성 계수라고 합니다.
반분검사 신뢰도 (동질성 계수)	1) 반분검사 신뢰도는 먼저 한 개의 검사를 한 피험 집단에게 실시한 다음, 그것을 적절한 방법에 의해 두 부분의 점수로 분할하고 이렇게 분할한 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계산하는 방법입니다.  2) 반분검사 신뢰도는 검사내용의 동질성을 나타내는 동질성 계수입니다.
문항내적 합치도	1) 한 검사에 있는 문항 하나하나를 각각 독립된 별개의 검사로 간주하여 그들 사이의 합치성, 동질성, 일치성을 종합하여 신뢰도를 추정하는 방법입니다.  2) 한 검사 내의 각 문항에 대해 피검사자가 얼마나 일관성 있게 반응하느냐 하는 것은 검사의 문항이 어느 정도 동질적이냐에 의해서 결정됩니다. 그러므로 문항내적 합치도를 검사의 동질성 계수라고 부릅니다.

 

 

(4) 신뢰도를 높이는 방법 

 

-문항수가 많을수록 신뢰도 증가

문항수가 많으면 많을수록 우연적 오차(추측)에 의한 영향을 적게 받으므로 신뢰도가 높아집니다. 

그러나 문항 수를 너무 많이 할 경우 문항의 대표성이 떨어지게 되므로

신뢰도가 증가하는 만큼 타당도가 높아지지는 않습니다. 

 

 

-문항난이도가 중간정도인 문항이 많을수록

한 검사 속에 어렵고 쉬운 문항이 많은 것보다는 중간 정도의 문항 난이도를 갖고 있는 문항이 많을수록

점수의 분산도를 크게 하기 때문에 검사의 신뢰도가 높아집니다. 

 

 

-문항변별도가 높을수록

변별도가 높은 문항을 많이 포함하고 있는 검사가 문항의 변별도가 낮은 문항을 많이 포함하고 있는 검사보다

신뢰도가 높습니다. 

문항의 변별도가 높은 문항이 많다는 것은 그만크 검사 점수와 분산을 크게 해준다는 뜻이 됩니다.

 

 

-문항의 범위가 좁을 때 

검사문항의 측정내용이 보다 좁은 내용일 때 신뢰도가 높아집니다. 

 

 

-문항표본이 적절할 때 

한검사에 포함되어 있는 문항표본이 문항 모집단을 잘 대표하도록 표집될수록 신뢰도가 높아집니다. 

 

 

-문항이 동질적일 때 

한 검사 속에 포함된 문장들이 동질적일수록 검사 내용의 의미가 분명해지며 동시에 신뢰도도 높아집니다. 

반면 한 검사에 이질적인 성질을 띤 문항이 섞여있는 정도가 높을수록 신뢰도는 낮아집니다. 

 

 

-검사의 목적에 적합한 집단에 실시할 때

한 검사의 신뢰도는 어떤 대상의 피검사집단에게 실시해서 얻은 것이냐에 따라 차이가 생깁니다. 

즉, 그 검사의 목적에 적합한 피검집단이 아닌 경우에는 검사점수의 변동이 커집니다. 

 

 

-전체 학생을 대상으로 할 때 

검사를 피검집단의 어느 부분의 학생에게만 실시하는 경우

예를 들어, 상부집단 혹은 하부집단 학생에게만 실시해서 나온 신뢰도는 낮아집니다.

그러므로 신뢰도를 높이기 위해서는 집단의 개인차의 범위가 커지도록 전체 학생을 대상으로 해야 합니다. 

 

 

-시간제한이 없는 역량검사일 때 

검사의 속도를 강조하는 속도검사보다 누구나 능력껏 풀어볼 수 있도록 되어 있는 역량검사가

신뢰도를 높일 수 있습니다. 

 

 

-검사환경이 일정할 때

검사 자소의 온도, 밝기, 소음, 시간 등이 일정할수록 신뢰도가 높아집니다. 

 

 

---

 

03 객관도 (03 중등출제)

 

 

(1) 객관도의 개념

 

객관도는 다음과 같이 분류할 수 있습니다. 

 

채점자 신뢰도	객관도는 채점자의 채점이 어느 정도 일관성이 있느냐의 정도를 밝혀주는 것으로, '채점자 신뢰도'라고도 합니다. 채점자 신뢰도는 채점자 간 신뢰도와 채점자 내 신뢰도로 구분할 수 있습니다.
채점자 간 신뢰도	한 문항에 대해 여러 사람의 채점 결과가 일치하는 정도
채점자 내 신뢰도	한 채점자가 같은 문항에 대해 여러 번 채점한 결과의 일치 정도

 

 

(2) 논문형 검사에서 객관도를 높이는 방법

 

1) 채점의 기준을 미리 정해둔다. 

2) 채점의 기준을 위해 모범 답안지를 만들어 둔다.

3) 답안지의 내용만 보고 채점하도록 하여 편견이나 오차가 작용하지 않도록 한다. 

4) 답안지는 학생 단위로 채점하지 말고 문항 단위로 채점합니다. 

5) 가능하면 혼자 채점하지 말고, 여러 사람이 채점해서 평균하도록 합니다. 

6) 문항에 따라 점수 비중을 달리 주어야 할 경우에는 미리 계획을 세웁니다.