LLM 기반 프로그래밍 피드백 도구 시리즈: 제품 분석-코들(codle)
논문 리뷰도 중요하지만, 이미 상용화된 서비스를 조사하는 것도 좋은 연구
지도 교수님이 문헌 조사 뿐만 아니라, 나 같이 시스템을 개발하는 경우는 어떤 기업이 논문이나 특허보다 제품 자체를 먼저 올리는 경우가 있으니 제품들을 먼저 찾아보라고 추천하셨다.
그러한 이유로 내가 생각하는 시스템과 비슷한 제품을 찾던 중, 2024 교육 박람회에서 우연히 발견했던 업체인 코들(codle)을 알게되어 리뷰하게 되었다.
1. 제품 정보
- 이름: 코들(codle)
- 출처: https://about.codle.io/
2. 요약과 결론
[주요 기능]
① 자동 채점: 문제에 등록된 테스트 케이스를 사용하여 학생이 작성한 코드를 자동으로 채점
② 오류도우미: 학생이 코드를 실행하여 오류가 발생했을 때, 아래 그림 1과 같이 작성한 코드와 오류 메시지를 제공
그림 1. 오류도우미 예시
그림 2에서 보여지는 것처럼, 오류도우미를 열면 작성한 코드와 오류 메시지에 대해 GPT 기반 AI가 즉시 피드백을 제공
그림 2. ChatGPT 기반 AI 피드백 예시
[기술적 특징]
제21회 대한민국 교육박람회 현장에서 제품을 테스트하고 카탈로그를 통해, GPT 기반 피드백 생성에서 어떤 독특한 접근 방식을 사용했는지 추측해볼 수 있다. 그림 3에 나타난 바와 같이, 학생이 작성한 코드를 실행하면 컴파일러 모듈에서 실행 결과인 오류 메시지를 생성한다. 이후 코드 피드백 모듈에서 두 개의 프롬프트를 결합하여 하나의 프롬프트를 생성한다. 특히 주목할 부분은 피드백 프롬프트로, 이는 학생이 실습한 코드, 컴파일러 모듈에서 생성한 오류 메시지, 학습을 돕기 위한 제약조건(예: 정답 코드를 직접 제시하지 않음), 그리고 쿼리(오류의 원인과 해결 방법 제시)를 결합한 것으로 추측된다.
그림 3. 오류도우미 결과 화면 출력 전 시스템 플로우 및 프롬프트 프로토콜
이 프롬프트를 GPT API에 요청한 후, 응답 결과를 모달창을 통해 채팅 형태로 보여줌으로써 사용자가 피드백 결과를 강조해서 볼 수 있도록 하고, 채팅 방식의 제공을 통해 상호작용 요소를 강화한 것으로 보인다.
3. 느낀점
2022 개정 정보 교과에 맞춰 개발된 AI 디지털 교과서를 박람회에서 직접 테스트하며 AI 피드백 시장 현황을 파악할 수 있어 의미 있는 경험이었습니다. 특히, 이번에 리서치한 ‘코들’ 제품은 정보 교과에 특화된 시스템으로, 그들이 설계한 것으로 예상되는 그림 3의 시스템에서 새로운 아이디어를 얻을 수 있었습니다.
그러나 코들의 오류 도우미가 제공하는 AI 피드백은 정답을 제시하지 않아 학습에 도움이 될 수 있지만, 단지 정답 맞추기에 초점을 맞추고 추가적인 학습 피드백을 제공하지 않아 다소 아쉬웠습니다. 이러한 코들의 피드백 방식을 보완하기 위해 제가 생각한 파인튜닝 과정을 추가한다면, 입문 학습자에게 더 친화적인 피드백을 제공할 것으로 기대됩니다.
댓글남기기