신뢰도와 객관도

안녕하세요?

오늘은 아침에 공부한 신뢰도와 객관도 파트를 복습하겠습니다.

 

1. 신뢰도 (00, 01, 05, 08 중등, 12 초등 출제)

 

(1) 신뢰도란 무엇인가?

 

신뢰도는 '얼마나 오차 없이 정확하게' 측정하고 있으냐를 나타내는 개념입니다. 

신뢰도는 흔히 같은 대상에 대해 두 번 측정해서 얻은 두 개의 측정치 사이에 일관성이 있느냐는 뜻으로 해석하기도 합니다. 

 

 

 

 

(2) 타당도와 신뢰도의 관계는 어떤가?

 

-신뢰도는 타당도의 필요조건

신뢰도가 있어야 타당도가 보장이 되므로 신뢰도는 타당도의 필요조건이 됩니다. 

 

-신뢰도와 타당도의 변화

신뢰도는 타당도의 선행조건이므로 신뢰도가 낮아지면 타당도가 낮아집니다.

그러나 신뢰도가 높다고 해서 반드시 타당도가 높아지는 것은 아닙니다. 

 

 

 

 

(3) 신뢰도의 추정방법에는 어떤 것들이 있나? (19 논술 출제)

 

-재검사 신뢰도

① 재검사 신뢰도는 한 개의 검사를 같은 집단에서 두 번 실시해서, 그 전후의 결과에서 얻은 점수를 기초로

신뢰도를 추정하는 방법입니다. 

② 전후의 점수 사이에 어느 정도의 안정성이 있느냐를 보는 관점이기 때문에 '안정성 계수'라고도 합니다. 

 

-동형검사 신뢰도 (동형검사 계수)

동형검사 신뢰도는 미리 두 개의 동질성을 가진 것으로 추정되는 동형검사를 제작하고,

그것을 같은 피험자에게 실시해서 얻은 점수를 통해 신뢰도를 추정하는 방법으로, 동형성 계수라고 합니다.

 

-반분검사 신뢰도 (동질성 계수)

① 반분검사 신뢰도는 먼저 한 개의 검사를 한 피험 집단에게 실시한 다음, 그것을 적절한 방법에 의해 두 부분의 점수로 분할하고 이렇게 분할한 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계산하는 방법입니다. 

② 반분검사 신뢰도는 검사내용의 동질성을 나타내는 동질성 계수입니다. 

 

-문항내적 합치도

① 한 검사에 있는 문항 하나하나를 각각 독립된 별개의 검사로 간주하여 그들 사이의 합치성, 동질성, 일치성을

종합하여 신뢰도를 추정하는 방법입니다.

② 한 검사 내의 각 문항에 대해 피검사자가 얼마나 일관성 있게 반응하느냐 하는 것은 검사의 문항이 얼마나 동질적이냐에 

의해서 결정됩니다. 그러므로 문항내적 합치도를 '검사의 동질성 계수'라고 부릅니다.

 

 

 

 

 

(4) 그렇다면 신뢰도를 높이는 방법은?

 

 

-문항수가 많을수록 신뢰도 증가

문항수가 많으면 많을수록 우연적 오차(추측)에 의한 영향을 적게 받으므로 신뢰도가 높아집니다. 

그러나 문항 수를 많이 할 경우 문항의 대표성이 떨어지게 되므로 신뢰도가 증가하는 만큼 타당도가 높아지지는 않습니다. 

 

-문항난이도가 중간 정도인 문항이 많을수록 신뢰도 증가

한 검사 속에 어렵고 쉬운 문항이 많은 것보다는 중간 정도의 문항 난이도를 갖고 있는 문항이 많을수록 점수의 분산도를 크게 하기 때문에 검사의 신뢰도가 높아집니다. 

 

-문항변별도가 높을수록 신뢰도 증가

변별도가 높은 문항을 많이 포함하고 있는 검사가 문항의 변별도가 낮은 문항을 많이 포함하고 있는 검사보다 신뢰도가 높습니다.  문항의 변별도가 높은 문항이 많다는 것은 그만큼 검사 점수의 분산을 크게 해준다는 뜻이 됩니다. 

 

-문항의 범위가 좁을 때 

검사문항의 측정내용이 보다 좁은 내용일 때 신뢰도가 높아집니다. 

 

-문항표본이 적절할 때 

한 검사에 포함되어 있는 문항표본이 문항 모집단을 잘 대표하도록 표집될수록 신뢰도가 높아집니다. 

 

-문항이 동질적일 때

한 검사 속에 포함된 문항들이 동질적일수록 검사 내용의 의미가 분명해지며 동시에 신뢰도도 높아집니다. 

반면 한 검사에 이질적인 성질을 띤 문항이 섞여 있는 정도가 높을수록 신뢰도는 낮아집니다. 

 

-검사의 목적에 적합한 집단에 실시할 때 

한 검사의 신뢰도는 어떤 대상의 피검사집단에게 실시해서 얻은 것이냐에 따라 차이가 생깁니다. 

즉, 그 검사의 목적에 적합한 피검집단이 아닌 경우에는 검사점수의 변동이 커집니다. 

 

-전체 학생을 대상으로 할 때 

검사를 피검집단의 어느 부분의 학생에게만 실시하는 경우 예를 들어, 상부집단 혹은 하부집단 학생에게만 실시해서 나온

신뢰도는 낮아집니다. 그러므로 신뢰도를 높이기 위해서는 집단의 개인차의 범위가 커지도록 전체 학생을 대상으로 해야 합니다. 

 

-시간제한이 없는 역량검사일 때

검사의 속도를 강조하는 속도검사보다 누구나 능력껏 풀어 볼 수 있도록 되어있는 역량검사가 신뢰도를 높일 수 있습니다. 

 

-검사환경이 일정할 때

검사 장소의 온도, 밝기, 소음, 시간 등이 일정할수록 신뢰도가 높아집니다. 

 

 

 

---

2. 객관도 (03 중등출제)

 

 

(1) 객관도란 무엇인가?

 

채점사 신뢰도	객관도는 채점자의 채점이 어느 정도 일관성이 있느냐의 정도를 밝혀주는 것으로, '채점자 신뢰도'라고도 합니다. 채점자 신뢰도는 채점자 간 신뢰도와 채점자 내 신뢰도로 구분할 수 있습니다.
채점자 간 신뢰도	한 문항에 대해 여러 사람의 채점 결과가 일치하는 정도를 의미합니다.
채점자 내 신뢰도	한 채점자가 같은 문항에 대해 여러 번 채점한 결과의 일치 정도를 의미합니다.

 

 

(2) 논문형 검사에서 객관도를 높이는 방법은?

 

① 채점의 기준을 미리 정해둡니다. 

② 채점의 기준을 위해 모범 답안지를 만들어 둡니다. 

③ 답안지의 내용만 보고 채점하도록 하여 편견이나 오차가 생기지 않도록 합니다.

④ 답안지는 학생 단위로 채점하지 말고 문항 단위로 채점합니다. 

⑤ 가능하면 혼자 채점하지 말고, 여러 사람이 채점해서 평균하도록 합니다. 

⑥ 문항에 따라 점수 비중을 다르게 주어야 할 경우에는 미리 계획을 세웁니다. 

 

 

이상으로 신뢰도와 객관도 파트 복습을 마칩니다.