NACAC Survey on the SAT stirs up controversy

  •      Score Improvements of 20-30 points can be decisive
  •      Test Preparation efforts help, ever so slightly

The NACAC (National Association for College Admission Counseling) in September 2008 released a study by a special panel led by William Fitzsimmons, the dean of admission and financial aid at Harvard, on standardized testing and its effects on undergraduate admissions. The panel recommended that colleges drop the ACT or SAT as an admission requirement, and advised US News and World Report to remove standardized test scores from the criteria used in its college rankings. Now, however, the NACAC just released a new survey in May containing studies indicating that admissions offices are now more dependent than ever on standardized test scores.  What a difference eight months can make.

Actually, even the September 2008 panel survey found that college admission offices continued to attach ‘considerable importance’ to test scores. In 1995, less than half did; by 2005, 60% did. This contrasted with a decline of 10% in using GPA, as grade inflation depreciated this factor on many applications. The new survey, however, unearthed a rather startling discovery: “…in a substantial minority of cases, colleges report either that they use a cut-off test score in the admission process or that a small increase in test scores could have a significant impact on an applicant’s chances of being admitted.” (p.2, “Preparation for College Admission Exams,” by Dr. Derek Briggs, NACAC, May, 2009). It’s commonly acknowledged that selective schools use a cut-off score for the TOEFL IBT; for example a perfect score is 120: Stanford and Harvard have cut-offs of 100. This has not, however, been widely acknowledged when using standardized test scores.

This ‘small increase in test scores’ mentioned in the NACAC report was as little as 10 points on the SAT-CR section, and 20 points on the SAT-M section. Obviously, these point spreads are magnified when a student’s score reaches into the 700+ area. Assuming all the rest of an applicant’s qualifications are equal: GPA, transcript difficulty, recommendations, extracurricular, and essays, then admissions departments begin to rely ever more on standardized test scores.  By the way, the more selective institutions that responded to this survey (‘more selective’ defined as schools who accept less than 50% of its applicants) comprise a universe of 33.

Another area the NACAC survey measured was the effect of test preparation services on students’ scores. On average, an applicant’s SAT –CR score increased 8-10 points, and SAT-M, 18-20 points, with coaching.  These results were fairly constant over a series of studies conducted on test-takers from 1990-1992, and 2002-2004. Which immediately leads us to a very crucial question: if the standard increase attained through commercial test preparation companies is really 30 points, how is it that many give guarantees of 200 points or more?

The Wall Street Journal asked the same question in its article, “SAT Coaching Found to Boost Scores—Barely” (Wall Street Journal, 20 May 2009, http://online.wsj.com/article/SB124278685697537839.html). One of the companies profiled, Elite Educational Institute of Irvine, California, “advertises a 240-point average increase in SAT scores, calculating the increase in comparison with its own diagnostic exam.” (Ibid.) After an inquiry from a reporter, according to the Wall Street Journal, “the company plans to take the claim…off its website.” (Ibid.)  Kevin Sung, Elite’s COO, said through a spokeswoman, “Any test-prep company that gives you their (sic) own test with their (sic) own score scale could be accused of fudging the numbers to make students think they improved more than they really had.”

The debate over all aspects of standardized testing will continue in light of the NACAC surveys that seem to arrive with ever more frequency. American football has been described as a game of inches. It appears the SAT might be described as an exam of 30 points. At the highest level of competitive schools, once past the 700-sectional threshold, every single point begins to matter, or so says this recent batch of research from the NACAC.  

대학입학 상담가협회(NACAC) SAT영향력 조사

  • 20-30점이 결정적 요인이 된다
  • 시험준비기관의 도움은 미미하다

2008년 9월 대학입학 상담가 협회에서는 대학입학과 표준시험의 영향력에 대하여 Harvard 대학의 입학/재정 학장인 William Fitzsimmons가 이끈 특별 패널회의에서 연구결과를 발표했다.  그 패널회의에서는 대학들이 ACT, SAT의 표준고사의 성적을 빼도록 추천했으며, US News and World Report에는 대학의 등급에 사용되는 기준에서 표준고사 성적을 제외시킬 것을 건의했다.  그러나 현재 상담가 협회에서는 이번에 입학사정에서 이전보다 표준고사 시험성적에 더 의존적이었다는 결과를 5월에 발표했다.  이론과 실제의 8개월동안 너무 큰 차이가 생겼다. 

사실 2008년 9월 위원회  설문조사에서도 대학입학 사정실에서는 시험점수에 ‘상당한 중요성’을 두고 있는 것으로 밝혀졌다.  1995년에는 반정도의 학교가 그랬다; 2005년까지는 60%에서 그랬다.  한편, GPA는 점수인플레이션으로 많은 원서에서 10%의 평가절하되었다.  이번 설문조사에서 다소 놀라운 발견이 있었다.  “….상당수 소수계의 경우에 있어서, 대학들이 컷오프 점수를 적용하거나 또한 시험점수의 약간의 차이가 입학에 상당한 영향을 미친 것으로 보고되었다.” (p.2, “Preparation for College Admission Exams,” by Dr. Derek Briggs, NACAC, May, 2009).

보통 명문대학들에서 TOEFL IBT 점수에 컷오프를 사용하였다; 120점 만점에 Stanford, Harvard는 100점이 컷오프이다.  그러나, 표준시험 성적에 적용하지는 않았었다.

위원회 보고 서의 ‘시험의 미미한 높은 성적’ 은 SAT-CR의 10점, SAT-M의 20점 정도를 말한다.  결과적으로 이 점수차이는 학생이 각 영역에서 700점 이상을 받은 것을 의미한다.  모든 응시자의 다른 조건들(GPA, 학점의 난이도, 추천서, 특별활동, 에세이)이 동일하다고 할 때, 입학사정실은 표준시험 성적에 의존한다는 의미이다.  그런데, 우수 명문(응시자의 50%이하를 받아들이는 학교들)들이 이 설문조사에 참여하였으며, 모두 33개교 였다.

또 다른 설문조사는 시험준비 학원의 도움이 학생들의 점수에 영향력이 있는 지를 알아보는 것이었다.  평균적으로 SAT-CR은 8-10점이 상승하였고, SAT-M은 18-20점이 상승하였다.  이 결과들은 1990-1992년과 2002년-2004년에 걸쳐서 조사한 것이다.  그렇다면, 중요한 질문을 던지게 된다: 점수가 상업기관의 도움으로 30점이 상승된다면, 어떻게 이들은 200점 상승을 보장하는 것일까?

Wall Street Journal의 기사에서도 나타난다, “SAT  학원이 점수를 증대시키는가—거의 아니다” (Wall Street Journal, 20 May 2009, http://online.wsj.com/article/SB124278685697537839.html).  이런 회사 중의 하나인 엘리트(Elite Educational Institute of Irvine, California)에서는 “진단평가 점수와 비교하여 240점을 상승시킬 수 있다”고 광고한다.  Wall Street Journal의 기자의 질문에서 엘리트 학원장인 Kevin Sung은 “회사가 웹사이트에서 이 광고를 삭제할 계획이다.  어떤 회사이든지 자신들이 만든 시험지로 자신들이 만든 점수표를 사용하여 학생이 실제 실력이 오른 정도 보다 점수가 많이 나오는 미봉책을 쓴다”고 대변인을 통해 전했다.

표준시험의 모든 국면에 대한 토론이 이 위원회에서는 안건으로 자주 거론될 것이다.  미식축구는 인치의 경기로 묘사되어 왔다.  SAT에서는 30점이 문제가 되는 시험인 것 같다.  최고의 명문대들에서는 700점대의 문턱을 넘으면, 일점이 문제시된다는 점을 이 위원회의 최근 연구에서 알 수 있다.