파이썬으로 어휘 소검사 자동 채점하기(실패의 흔적)

이미지가 안 보이면 새로고침을 해주세요.

• 옵시디언에서 노트 내용을 유사도 높은 순으로 보여주는 플러그인에서 cosine similarity라는 수학 공식을 활용합니다. 이 수학 공식으로 어휘 소검사 채점을 편리하게 할 수 있지 않을까 하는 아이디어를 갖고, 챗지피티 도움을 받아 파이썬에서 구현해 보고자 시도해 봤습니다.
• 수검자 반응과 각각의 정답을 단순히 수학적으로 비교하는 것에 성공했습니다.
• 하지만 유사도의 역치를 어느 수준으로 잡느냐에 따라서 정답/오답이 판가름 나기 때문에 이를 어느 정도로 잡을 것인지도 난제입니다.
• Result: (‘Incorrect’, [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.22360679774997896, 0.0, 0.2886751345948129])
• 가령 각각의 정답과 수검자 반응의 유사도가 위와 같이 계산된다고 할 때 역치를 0.29로 잡으면 오답 처리되고, 역치를 0.28로 잡으면 정답 처리됩니다.
• 더욱이 수검자 반응의 문자적 내용 너머의 의미를 포착하는 데까지 이르기 위해서는 머신러닝을 통해서 강화 학습 해나가면서 정답/오답 판별의 정확도를 높이는 수밖에 없는 것 같습니다. 기초적인 코딩 수준에서 해결할 수 있는 문제는 아닌 것 같은데, 이 문제를 어떻게 풀 수 있을지 궁금합니다.
• 평가나 상담에서 실제로 쓸 만한 프로그램을 개발하는 것이 꿈입니다. 해결하고 싶은 문제를 잘 모아두고, 하나씩 해결해 보고자 합니다.