[[분류:TEPS]] [include(틀:TEPS 관련 문서)] [목차] == 개요 == [[TEPS]]의 논란거리를 서술하는 문서이다. == 학습 교재의 퀄리티 == '''실제 TEPS 시험은 어려운데 시중에서 판매되는 TEPS 교재는 왜 이렇게 쉬운걸까?''' '''TEPS'''는 2016년 이후로 청해와 독해 영역에서 학술적으로 낯선 소재와 특이한 상황에서의 대화 상황을 많이 출제함에 따라서, 폭넓은 상황에 대한 이해와 순발력을 테스트하는 경향을 보이고 있다. 그러나 시중에서 판매되는 기출 문제집과 사설 문제집들은 지나치게 '''난이도가 쉽고 오래된 기출 문제'''를 수록하거나 지나치게 '''정형화된 소재가 등장하는 문제'''들만을 수록하였다. 이로 인해 '''더욱 참신한 소재를 문제화하고, 암기와 해석만으로 쉽게 풀리는 문제들을 배제하며, 논리적인 정확성을 평가하는 문제를 통해 순수한 영어 숙련도를 측정하는''' 2016년 이후의 최신 경향의 '''TEPS'''를 준비하기에 부족하다는 비판을 받고 있다. 더더구나 '''TEPS'''의 경우 시험 회차마다 출제 경향과 난이도가 물타기를 타기 때문에 '''불텝스'''인 회차에서는 시중에서 판매하는 문제집을 풀어도 점수는 오히려 떨어지는 기현상이 나타나기도 한다. == 시험 성적 산출 방식에 대한 논란 == === 시험 회차 별 유불리가 존재하는가? === TEPS는 시험 회차 별로 점수 분포가 일정하지 않아 [[대박달]]의 회차와 [[쪽박달]]의 회차가 극명하게 갈린다. '''TEPS'''의 성적 분포는 그야말로 [[복불복]]이다. 시행된 지 20년이 되어가는 시험인데도 출제기관인 [[서울대학교 언어교육원]]이 시험 회차마다 난이도를 널뛰기 하듯이 조정하고 '''TEPS''' 시험의 베일에 휩싸인 성적 산출 방식으로 인해 응시자들의 성적 분포가 시험 회차 별로 일정하지 않은 경우가 많다. 이로 인해 공부를 했어도 실제 시험에서 실수 한두개만으로도 자신의 성적이 급격히 떨어지는 상황도 비일비재하다. 게다가 자신이 응시하는 회차에 성적이 잘 나오는 응시생들이 많고 밑으로 깔아주는 응시생들이 적은 경우에는 다른 회차의 시험보다 성적이 낮게 나올 가능성이 높다. 특히, '''TEPS'''는 1년 중에 [[의대]] [[치대]] 및 [[약대]] 입시과 [[외고]] 입시의 데드라인이 임박한 시즌인 8월과 9월의 시험 난이도가 상당히 높은 편이고 다른 어느 달의 시험보다도 가장 많이 응시한다. 반면에, 10월부터 12월 시험의 경우에는 [[의대]]와 [[치대]], [[약대]]를 준비하는 수험생들과 [[외고]]를 준비하는 수험생들이 이탈하고 이를 감안해서 쉽게 출제되기에 점수 따기가 상당히 쉬워진다. [[영어]]는 괜찮게 하지만 '''TEPS'''의 이런 스타일을 싫어하는 사람들 중 일부는 차라리 [[TOEFL]]을 보겠다는 극단적인 선택을 하기도 한다. [[파일:TEPS 228회 성적분포.png|align=center]] '''2017년 2월 18일''' (228회) 시험에서 독해 영역이 과도하게 쉽게 출제되어 특정 구간대에 점수 쏠림 현상이 심해지면서 응시자들의 점수 분포가 다른 회차의 시험과는 다른 양상을 보여주었고, 동점 구간에 있는 응시자들의 점수는 급격하게 떨어지게 되었다. 그로 인해 '''801'''점 이상의 점수 분포가 '''8.17%'''로 다른 회차보다 많이 줄어들었다. 그 회차에서 예상보다 낮은 점수를 받은 응시자들이 '''TEPS'''의 성적 산출 방식에 큰 의문을 제기하게 되는 계기가 되었다. 자세한 내용은 [[TEPS#s-4.2.2|아래]] 참조. [[파일:TEPS 231회 성적분포.png|align=center]] '''2017년 4월 2일''' (231회) 시험에서 '''801'''점 이상의 점수를 받은 응시자 비율이 전례없이 무려 '''18.24%'''까지 늘어나게 되었다. 해당 회차의 시험은 응시자들에게 점수를 후하게 준 것이다. 231회 응시자 중에서 평상시에 '''700'''점대를 유지했던 사람들이 '''801'''점을 넘기는 상황이 속출하였고, 그 회차의 시험을 보지 않았던 사람들은 상당히 후회하게 되었다. === 문항 반응 이론이 실제로 적용되고 있는가? === 동일한 영역 내에서 틀린 개수가 같으면 틀린 문제와 상관없이 해당 영역의 점수가 똑같다는 의혹이 제기된 적이 있다. 2017년 2월, '''TEPS''' 성적 산출 방식에 대하여 의문이 제기되는 전례없는 사태가 발생했다. '''TEPS''' 228회 시험 성적이 발표되었던 날인 2017년 2월 24일, [[해커스]] 홈페이지의 [[http://www.hackers.co.kr/?c=s_teps/teps_board/B_others_teps_qa|해커스 텝스 자유게시판]]을 중심으로 [[TEPS 관리위원회]]에서 응시자들이 영역별로 틀린 개수만 보고 임의로 점수를 부여한 것이 아니냐는 논란이 대두되었다. ==== [[TEPS 관리위원회]]의 입장 ==== [[TEPS 관리위원회]]의 설명에 의하면 원래부터 '''TEPS'''는 상대평가 방식으로 성적을 산출하였다. 응시자의 맞은 문제와 틀린 문제는 공개하지 않고 영역마다 파트 별로 백분위만 공개하고, 절대평가와 상대평가 방식을 절충하여, 영역별 만점을 백분위에 맞춰서 대략적인 점수를 산출하고 동점자 구간에 따라서 미세하게 ±로 조정된 실제 조정 점수를 부여하는 방식이었다. 그래서 1000점이 아니라 990점이 만점이고 0점이 아니라 10점이 최저점인 것이다. 이는 [[TOEIC]]도 마찬가지. TEPS 관리위원회에 따르면 TEPS의 성적은 '''문항 반응 이론'''을 이용해 계산된다고 한다. '''TEPS 관리위원회''' 측에서 '''TEPS'''의 채점 방식을 설명한 글에 따르면 '''TEPS는 문항의 난이도 및 변별도 그리고 영역별 특정 가중치 등을 표준화된 절차에 따라 적용하고 있으며, 측정학적 방법인 동등화를 통해 회차가 다르더라도 동일 점수는 같은 의미를 지니도록 채점되며, 고전 검사 이론에서는 정답을 선택한 문항의 수가 같으면 동일한 점수를 얻지만 문항 반응 이론이 적용된 TEPS에서는 정답문항 수가 같을지라도 각각 다른 점수를 얻을 수 있다'''고 하였다. 즉, 간단히 말해서 사람들이 많이 틀리는 어려운 문제를 틀리는 사람과 적게 틀리는 쉬운 문제를 틀리는 사람은 동일 회차 시험 동일 영역에서 한 문제씩을 틀렸더라도 다른 점수를 받을 수 있다는 것이다. 한편, 2014년에 정재헌 [[TEPS 관리위원회]] 기획관리실장은 '''TEPS''' 성적이 상대평가 방식인 것은 사실이지만, 표본 집단이 크기 때문에 어느 한 명의 성적이 나머지 모든 응시자의 성적에 유의미한 영향을 미치는 것은 아니다"라고 밝힌바 있다. [[http://news.mt.co.kr/mtview.php?no=2014022011090010473|#]] 그러나 이러한 주장에 대한 반례로 의심할 수 있는 의혹이 해커스 커뮤니티에서 제기된 것이다. ==== 의혹의 내용 ==== 그런데 알고 봤더니 동일 영역에서 동일한 개수의 문제를 틀린 모든 사람은 해당 영역에서 동일한 점수를 받은 것으로 드러난 것이다. 상세하게 추론된 점수는 다음과 같다. ||<table align=center><table width=100%><-3> '''제228회 시험 응시자들이 추론한 틀린 갯수에 따른 점수''' (2017년 2월 18일자) || ||<:> '''틀린 개수''' ||<:> '''청해 영역 총점'''[* 1개와 6개는 사이 점수가 밀려야한다는 논란이 약간 있다. 즉, 2개가 382고 7개가 318이라는 논란이 아직 남아있으나 문항 관계없이 특정 오답 수에서 해당 점수만 나온다는 논란의 핵심은 동일하다.] ||<:> '''독해 영역 총점''' || || '''0''' || 396 || 396 || || '''1''' || 382 || 372 || || '''2''' || 364 || 344 || || '''3''' || 349 || 322 || || '''4''' || 337 || 308 || || '''5''' || 327 || 293 || || '''6''' || 318 || 279 || 또한 사용자들의 주된 추측에 따르면, 각 영역별 점수는 문제를 맞힌 개수에 따른 백분위와 큰 관련이 있는 것으로 보인다. 예를 들어, 독해 영역 문제 중 2 문제가 매우 어려워 40개와 39개를 맞힌 사람의 비율은 매우 낮고, 38개를 맞힌 사람의 비율은 압도적으로 높다면, 40 ~ 38개를 맞힌 사람의 독해 점수는 이론적 만점인 396점에 비해 크게 낮지 않지만, 37개를 맞힌 사람의 점수는 폭삭 떨어지게 되는 것이다. 실제로 최초로 논란이 발생한 회차의 독해 영역은 상대적으로 다소 쉽게 출제되었다는 평을 받았고, 이에 따라 문제를 많이 맞힌 사람의 비율이 높아지면서 40개 중에서 한 문제만 틀리더라도 점수가 상당히 빠르게 떨어지는 것으로 드러났다. 396점 만점에 40문제이므로 문제당 평균 9.9점에 해당한다고 볼 수 있지만, 실제로는 정답 개수가 40개인 사람과 39개인 사람의 점수 차는 24점, 39개와 38개의 점수 차는 28점, 그 이후로 22, 14, 13점, 이런 식으로 격차가 9.9점보다 훨씬 크고, 그 격차 자체도 일정하지 않은 것으로 보인다. 아무리 상대평가 기준이 적용되었다 해도 문제 당 20점은 기본이고 30점 가까이 빠진다는 것은 굉장히 납득하기 어려운 일이다. 하물며 그것이 고배점 문제여서가 아니라 문항 관련 없이 단순 오답 개수라면 응시생들을 더 납득시키기 어려워진다. ==== 의혹에 대한 쟁점 ==== 이번 논란이 사실이라면 응시자 표본의 실력이 상향평준화가 될수록 높은 성적을 받는 것이 어려워진다. 게다가 이번 논란의 근거가 어디까지나 네티즌들의 가채점 및 추정 자료라는 점을 제외한다면 '''같은 영역 내에서 틀린 개수가 같아도 틀린 문제가 다르면 해당 영역의 점수가 달라질 수 있다'''는 점에 대해서 반례가 생겼다고 봐도 무방하다. '''TEPS''' 시험에서 점점 응시자가 감소함에 따라서 표본 집단의 규모가 감소하고 있고 의대, 약대, 로스쿨, 대학원, 편입, [[전문연구요원]], 외고, 공무원을 준비하는 수험생들만 응시하여 '''TEPS''' 응시자들에 대한 표본 집단이 '''모집단에 대한 대표성'''을 잃어감에 따라서 '''모집단에 대한 추정 오류'''가 발생하여 절대평가의 특성이 약화되고 있는 점에서 문항 반응 이론을 통해 응시자들의 성적을 채점한다는 [[TEPS 관리위원회]]의 설명이 응시자들 사이에서 쉽게 받아들여지지 못했다. ==== 현재 상황 ==== 이후 2018년 5월 12일 시험부터 New TEPS가 적용되었다. 청해 영역은 전체 40문제에 240점 만점, 독해 영역은 전체 35문제에 240점 만점이다. 어휘와 문법은 각각 30문제에 60점 만점이다. 각 문항별 정답률에 기반하여 채점을 한다는 주관사의 설명대로 이번 의혹이 제기되었던 해커스 텝스 자유게시판에서 1문제를 틀려도 각각 다른 점수를 받았다는 New TEPS 응시생들의 제보가 올라오면서 [[TEPS 관리위원회]]의 주장은 다시 사실로 받아들여졌다. 다만, 한 문제당 배점이 거의 비슷했던 Old TEPS와는 달리 New TEPS에서는 상당히 널뛰기 식으로 편차가 심해졌다. 해당 커뮤니티의 제보에 따르면 독해 영역에서 한 문제당 17점이 감점되었다고 주장하는 네티즌도 있다. 해당 커뮤니티에서는 평균적으로 청해 한문제 당 6 ~ 7점, 독해 한문제 당 6 ~ 8점 정도의 배점인 것으로 추정하고 있다. Old TEPS에 비해 New TEPS는 각 영역 별로 제시문의 난이도가 낮아짐에 따라서 영어에 대한 문해 난이도는 확실히 낮아졌고 이에 따라서 변별력은 다소 줄어들었다. 이에 따라 특정 영역의 난이도가 쉬울 경우 한 문제를 틀리면 동점자가 많을 가능성이 높아 감점 폭이 Old TEPS 시절에 비해서 더 커질 수 밖에 없을 것으로 추정된다. == 성적 환산표에 대한 응시생들의 불만 == ||<table align=center><table width=100%><table bordercolor=#F9B600><table bgcolor=#FFFFFF><rowbgcolor=#F9B600> '''{{{#white TEPS 등급}}}''' || '''{{{#white New TEPS}}}''' || '''[[TEPS|{{{#white Old TEPS}}}]]''' || '''[[TOEIC|{{{#white TOEIC}}}]]''' || '''[[TOEFL|{{{#white TOEFL}}}]]''' || ||<|3> {{{#002E88 ''' 1+''' }}} || 600 || 990 || 990 || 120 || || 563 || 950 || 990 || 120 || || '''526''' || '''901''' || '''970''' || '''115''' || ||<|2> {{{#002E88 '''1''' }}} || 488 || 850 || 945 || 111 || || '''453''' || '''801''' || '''920''' || '''107''' || ||<|2> {{{#002E88 '''2+''' }}} || 419 || 750 || 885 || 103 || || '''387''' || '''701''' || '''855''' || '''99''' || ||<|2> {{{#002E88 '''2''' }}} || 355 || 650 || 810 || 93 || || '''327''' || '''601''' || '''755''' || '''86''' || ||<|2> {{{#002E88 '''3+''' }}} || 297 || 550 || 690 || 79 || || '''268''' || '''501''' || '''625''' || '''71''' || ||<|2> {{{#002E88 '''3''' }}} || 241 || 450 || 550 || 63 || || '''212''' || '''401''' || '''480''' || '''52''' || ||<|2> {{{#002E88 '''4+''' }}} || 184 || 350 || 410 || 42 || || '''163''' || '''301''' || '''360''' || '''28''' || ||<|2> {{{#002E88 '''4''' }}} || 134 || 250 || || || || '''111''' || '''201''' || || || ||<|2> {{{#002E88 '''5+''' }}} || 83 || 150 || || || || '''55''' || '''101''' || || || ||<|2> {{{#002E88 '''5''' }}} || 27 || 50 || || || || '''0''' || '''10''' || || || ||<-5><#F9B600> {{{#white '''▲ TEPS 관리위원회'''가 제공한 성적 환산표 (2018)[* 굵은 글씨는 커트라인 점수.]}}} || [[TEPS 관리위원회]]에서 '''TEPS 성적'''과 [[TOEIC]] 성적 및 [[TOEFL]] 성적 간의 [[http://www.teps.or.kr/InfoBoard/ConversionTable|점수 환산표]]를 제공하고 있다. 동일인에게 각 시험을 친 뒤, 점수를 제공 받아 통계적 분석을 했다고 설명되어 있다. 이 환산표가 다른 시험과 상관관계가 높다고 되어 있는데, 아무래도 후발주자이다보니 '''이렇게 환산하면 다른 공신력 있는 [[시험]]과 결과가 일치해요'''라고 홍보할 필요가 있긴 하다. 그래서 공식 홈페이지에서 환산표를 제공하는 것으로 보인다. '''TEPS 관리위원회'''와 [[서울대학교 언어교육원]]에서 '''TOEIC'''과 '''TOEFL'''과 비교한 점수 산정 방식 중 텝스의 난이도를 다른 어학 시험보다 편향적으로 조금 높게 선정했다는 논란도 있다. '''TEPS 관리위원회'''와 '''서울대학교 언어교육원'''이 산정한 점수 환산표에서 '''TEPS 556'''점 ('''New TEPS''' 301점)은 '''TOEIC 700'''점, '''TOEFL IBT 80'''점과 동일한 수준으로 환산된다. 반면에 [[서울시립대학교]] 편입 전형의 [[공인영어시험|공인 영어 시험]] 환산표에서는 '''TEPS 572'''점 ('''New TEPS 309점''')을 '''TOEIC 700'''점, '''TOEFL IBT 75'''점과 동등한 수준으로 간주하고 있다. [[http://admission.uos.ac.kr/files/iphak/pyunib/ilban/2017_pyunib_161130.pdf|2017학년도 '[[서울시립대학교]]' 편입학 모집 요강]]의 '''21''' ~ '''23''' 페이지 (표지 페이지 포함)에 '''서울시립대학교'''가 참조하는 점수 환산표가 있다. 7급 공무원 공인영어 성적 기준표에도 TEPS 700점 ('''New TEPS''' 386점)이 토플 IBT 86점, 토익 790점과 동등한 선으로 제시했다는 점에서 서울대학교 언어교육원이 제시한 공인 영어 환산표가 신뢰가 가능한지 의구심이 들 수 있다. 즉 텝스를 실제 출제된 시험 난이도보다 더 어렵다는 듯이 점수를 편향적으로 책정했을 가능성이 있다. [[카투사]] 지원 자격을 위한 공인 영어 성적 커트라인도 [[TOEIC]] 780점, TEPS 690점 ('''New TEPS''' 380점), [[TOEFL]] 83점을 동일한 선에서 제시한다. 하지만, 서울대와 텝스 관리위원회에서 제시한 기준과 비교해보면 텝스 관리위원회에서 제시한 점수 환산표에서 텝스 점수가 일플레 되었다는 의심이 들 수밖에 없다. 그런데 여기서 따져봐야 할 부분이 뭐냐하면 애초에 변별력이 없고 자기 실력보다 점수가 뻥튀기해서 숫자놀음하기 쉬운 시험인 [[TOEIC]]을 요령이나 편법이 안먹히서 변별력이 있는 다른 영어 시험의 점수와 비교하려는 데에서 비롯되었다. [[TOEIC]]은 영어 실력으로 900점을 넘기는 사람들도 있고 찍기로 900점을 넘기는 사람들도 있는 반면, '''TEPS''' 및 [[TOEFL]]의 경우에는 요령이 통하지 않아 영어 실력에 비례해서 정직하게 점수가 나온다. 이런 점을 고려해볼 때 애시당초 '''TEPS''' 및 [[TOEFL]] 성적과 [[TOEIC]] 성적을 정확하게 환산한다는 것은 불가능에 가까운 일이라고 할 수 있다.