학위 논문 진행 상황: 1회차(2024.02.07)
들어가기 전에
논문 리뷰를 통한 문헌 조사를 마무리 하고, 본격적인 연구를 진행하게 되었다. 이 기간동안 개인 연구를 진행하며, 진행된 개인 연구에 대해 격주로 프로젝트 보고서를 작성하여 기록하였다.
1. 개요
이 보고서는 ‘프로그래밍 학습 지원을 위한 LLM 기반 피드백 시스템’ 프로젝트의 주간 진행상황을 요약하며, 이번 주는 프로젝트 제목을 확정하고 예비 연구 방향을 설정했습니다. 또한, 연구 방향 중 첫 번째 단계인 ‘파이썬 프로그래밍 초보자 정의’를 완료했습니다.
2. 지난 주간의 요약
IRB(연구윤리위원회)의 규정을 준수하기 위해, 수집할 데이터를 학생들이 작성한 논문에서 파이썬 초보자가 자주 저지르는 코드 실수로 변경했습니다.
3. 이번 주간의 진행 상황
[완료된 작업]
프로젝트 제목: ‘프로그래밍 학습 지원을 위한 LLM 기반 피드백 시스템: 프롬프트 엔지니어링과 전문가 평가의 접목’
예비 연구 방향: 문헌 조사와 분석을 통해 프로젝트 구현까지의 9단계 연구방향을 예비적으로 도출했습니다.
① 파이썬 프로그래밍 초보자 정의: 명확하고 구체적인 기준으로 정의하여 연구 대상을 구체화
② 파이썬 초보자의 흔한 실수 데이터 수집: 공식 문서, 블로그, 기술 관련 기고문을 통해 초보자들이 자주 저지르는 실수에 대한 데이터를 수집
③ 코드 피드백 모듈을 위한 프롬프트 설계: 효과적인 코드 피드백을 제공하기 위해 필요한 프롬프트를 설계
④ 프롬프트 엔지니어링을 통한 피드백 생성 및 수집: GPT-3.5를 사용해 피드백을 생성하고, 교육 전문가의 평가를 위해 결과를 수집
⑤ 교육 전문가에 의한 Likert 척도 평가: 수집된 피드백을 3인의 교육 전문가가 Likert 척도를 사용하여 평가
⑥ 피드백 최적화: 전문가 평가를 통해 높은 4점 이상의 피드백을 추출하고, 4점 미만의 피드백을 보완
⑦ GPT-3.5 파인튜닝: 최적화된 피드백을 바탕으로 GPT-3.5 모델을 파인 튜닝
⑧ 시스템 플로우 설계: 파인 튜닝된 모델과 피드백 메커니즘을 통합할 웹 기반 시스템의 전반적인 작동 흐름과 구조 설계
⑨ 개발 환경 구축 및 시스템 구현: 설계된 시스템 플로우를 바탕으로 개발 환경을 구축하고, 웹 기반 프로그래밍 학습 지원 시스템을 개발하여 구현
파이썬 프로그래밍 초보자 정의: 학습 경험과 학습자의 어려움을 고려하여 다음과 같이 정의했습니다.
① 프로그래밍 경험: 대상 학습자는 파이썬 프로그래밍 경험이 6개월 미만인 초보자로 정의. 이 기간은 프로그래밍 기초를 배우고 실습을 시작하기에 충분한 시간이지만, 아직 실력이 숙달되지 않은 상태
② 학습 어려움: 이 학습자들은 기본적인 파이썬 명령어 사용에 있어서도 문법적인 실수를 자주 저리는 경향이 있음. 예를 들어, 문자열 포매팅, 변수 할당, 간단한 함수의 사용 등이 있음. 특히, 알고리즘을 요구하는 반복문을 사용할 때 더 큰 어려움을 격는 경향이 있으며, 프로그래밍적 사고와 문제 해결 기술이 아직 충분히 발달하지 않았음을 알 수 있음
③ 연구 대상으로서의 중요성: 이러한 초보자들은 수업 현장에서 흔히 볼 수 있는 대표적인 학습자 유형. 초보자의 어려움을 극복하고 프로그래밍 학습 과정을 개선하기 위한 효과적이고 즉각적인 피드백 시스템이 필요
[진행 중인 작업]
파이썬 초보자의 흔한 실수 데이터 수집: 저희 회사에서 개발한 파이썬 기초 프로그래밍 교육 과정(표 1 참조)의 주제와 내용을 기반으로 키워드를 선정했습니다. 이를 통해 공식 문서, 블로그, 기술 관련 기고문, 온라인 포럼 등 다양한 소스에서 파이썬 초보자들이 자주 겪는 질문과 실수를 수집하고 있습니다.
4. 다음 주간의 계획
- 데이터 수집 진행 상황: 파이썬 초보자가 자주 하는 실수에 대한 데이터를 지속적으로 수집할 예정입니다.
- 초기 분석 시작: 수집된 데이터에 대한 초기 분석을 시작할 계획입니다.
- 피드백 프롬프트 초안 작성: 데이터 수집과 초기 분석 후, 여유가 된다면 수집된 데이터를 기반으로 파이썬 초보자들을 위한 피드백 프롬프트의 초안을 작성할 예정입니다.
댓글남기기