이동규

개발 잘하고 싶다

1. 논문 정보

  • 제목: Can Large Language Models Provide Feedback to Students? A Case Study on Chatgpt
  • 저자: Wei Dai et al
  • doi: https://doi.org/10.35542/osf.io/hcgzj
  • 키워드: GPT, assignments, Automated Feedback, Feedback Generation

2. 요약

이 논문은 학생 과제에 대한 피드백 생성을 위해 ChatGPT 사용의 가능성을 탐구하는 것이 목표이다. 데이터셋 확보를 위해 호주 대학의 학생들로부터 비즈니스 시나리오와 관련된 데이터 과학 프로젝트 제안서를 제출받았다. 제안서는 프로젝트 설명과 비즈니스 모델을 포함해야 한다. 강사들은 제출된 제안서를 다섯 가지 측면(목표, 주제, 이익, 참신함, 명확성)에 따라 평가하고 텍스트 피드백을 제공했다. 학생들의 개인 정보를 제거한 후, 최종적으로 103명의 학생 제안 보고서와 관련된 강사 피드백을 수집했다.

이후 ChatGPT를 사용하여 학생들의 제안 보고서에 대한 텍스트 피드백을 생성하기 위해, 다음과 같이 프롬프트를 설계했다: “다음 보고서 텍스트에 대해 프로젝트의 목표, 데이터 과학 주제의 적합성, 비즈니스 이익, 참신함/창의성 및 보고서의 전반적인 명확성 측면에서 피드백을 제공하시오.” 각 학생의 제안 보고서 텍스트를 프롬프트 아래에 삽입하고 ChatGPT에 제출하여 생성된 피드백을 얻었다. ChatGPT에 의해 생성된 피드백의 길이는 표Ⅰ에서 확인할 수 있다.

그림입니다. 원본 그림의 이름: CLP000041485629.bmp 원본 그림의 크기: 가로 1369pixel, 세로 403pixel

수집된 강사와 ChatGPT 피드백을 바탕으로 다음 세 가지 연구 질문에 따라 연구를 수행했다.

RQ1: ChatGPT에 의해 생성된 피드백의 가독성은 어느 정도인가?

RQ2: 학생들의 성과를 평가할 때 ChatGPT에 의해 생성된 피드백이 강사에 의해 생성된 피드백과 얼마나 일치하는가?

RQ3: ChatGPT에 의해 생성된 피드백이 학생의 학습을 위한 효과적인 피드백 구성요소를 어느 정도 포함하고 있는가?

RQ1을 위해, 세 명의 전문가가 각 피드백의 가독성과 일관성을 0부터 4까지 점수로 평가했다. RQ2에서는 ChatGPT가 생성한 피드백이 학생 성과에 대한 강사의 피드백과 얼마나 일치하는지를 측정했다. 이를 위해 두 명의 전문가가 ‘극성’(긍정적, 부정적 또는 없음)을 판단했다. RQ3는 Hattie와 Timperley의 Four levels(Task, Process, Regulation, Self) 피드백 모델을 사용하여 두 명의 전문가가 206개 피드백에 주석 처리하여 결과를 수집했다.

3. 결론

그림입니다. 원본 그림의 이름: CLP00003cb85305.bmp 원본 그림의 크기: 가로 673pixel, 세로 555pixel

그림입니다. 원본 그림의 이름: CLP00003cb80001.bmp 원본 그림의 크기: 가로 713pixel, 세로 307pixel

표Ⅲ에서 확인할 수 있듯이, ChatGPT가 생성한 피드백은 강사 피드백보다 더 상세하고 가독성이 뛰어났다.

또한, ChatGPT 피드백은 학생들의 과제에서 주제를 평가하는 부분에서 강사 피드백과 가장 높은 일치도를 나타냈다.

마지막으로, ChatGPT 피드백은 강사 피드백에 비해 학생들이 과제를 더 효과적으로 완료할 수 있도록 과정에 대한 피드백을 제공하는 것으로 나타났으며, 이는 표Ⅴ에서 확인할 수 있다.

4. 느낀점

본 논문을 통해 ChatGPT를 사용하여 학생들의 학습을 돕기 위한 피드백을 효과적으로 제공할 수 있음을 확인할 수 있었습니다. 그리고 학생들의 과제를 데이터로 변환하는 과정에서 개인 식별 정보의 처리가 매우 중요함을 알게 되었습니다.

흥미로운 점은 표Ⅰ에서 강사와 ChatGPT가 제공한 피드백의 글자 수 비교였는데, 강사의 피드백 글자 수가 훨씬 적은 것이 제가 가진 데이터에서도 확인된 특징이었습니다. 물론, 피드백의 글자 수가 많다고 해서 반드시 더 효과적이라 할 수는 없지만, ChatGPT가 강사 피드백과 높은 일치도를 보여준 점은 주목할 만했습니다.

이는 Chat GPT가 강사의 노동을 대체하면서 학생들에게 유용한 피드백을 제공할 수 있는 가능성을 실험을 통해 입증한 것으로, 제 연구 주제를 진행하는 데 있어 좋은 동기부여가 되었습니다.

댓글남기기

참고