• 데이터를 기반으로 한 의사결정의 중요성이 커지면서 데이터의 시각적 추상화 역시 주목 받고 있다. 정형적 데이터를 주로 활용하던 전통적인 학습 관리 시스템은 빅데이터, 머신러닝, 클라우드 컴퓨팅의 기술을 기반으로 비정형 데이터까지 포함, 학습 효과성과 교수학습 지원을 강화하고 있다. 이미 캔바스, 무들, 블랙보드를 비롯한 상용 시스템들은 학습분석 기술을 활용해 학습 포기자/ 중도탈락자 식별과 같은 유의미한 결과를 선보였다. 머신러닝과 같은 기술의 발전과 함께 분석역량의 고도화는 과거에는 소설 속에만 있었던 지능형 학습 지원 서비스, 우수학습자의 학습 기록 기반의 학습 콘텐츠/경로 추천 등을 이룰 수 있게 해주고 있다.

• xAPI/ IMS Caliper과 같은 표준은 기존 SCORM에 비해 훨씬 유연한 방법으로 비정형적 데이터 수집과 상호 운용을 가능하게 하고, 이를 활용한 혁신적 학습 분석 실험의 결과들이 ATD와 같은 유수 글로벌 컨퍼런스를 통해서 선보이고 있다.

 1. 이러한 분석의 결과는 어떻게 표현될까?

• 사실, 빅데이터가 아무리 많이 쌓여 있다 한들, 데이터 시각화 없이 일반적인 사람의 눈으로는 데이터에 존재하는 패턴과 변칙들에 숨겨진 비효율적 요소들을 찾아내기란 거의 불가능하다. 일단 눈으로 보이지 않으면 문제를 찾아 해결하기는 커녕 이해하기도 버겁다. ‘어떤 데이터를 분석할 것인가’라는 분석 목표를 정의하고, 이를 위한 지표 개발, 그리고 그 지표를 측정하기 위한 데이터셋을 구조화하는 작업 매우 중요하다. 그 과정이 선행되어야 머신러닝을 통한 추론을 진행할 수 있으므로! 하지만, 그렇게 추론된 데이터를 사용자들이 통찰하기 용이하도록 제공되지 못한다면 아무 의미 없는 일일 수 밖에 없다. 그래서 데이터 시각화가 중요한 영역이라는 것이다. 지난 몇년간, 빅데이터, 클라우드, 학습분석, 머신러닝 등 이를 기반으로 한 지능형 서비스에 대해, 우리는 마치 금광을 발굴한 광부-아니, 정확하게 는 광산의 사업주-마냥 지금껏 경험해보지 못한 그 광맥과 같은 가능성에 대해서 기대를 해왔다.

• 모든 사람들의 기대를 한몸에 받아왔던 학습 분석, 머신러닝은 실제 우리 주변의 서비스에 어떻게 접목되고 있을까? 어떤 분석 목표를 수립했고, 이를 위한 지표와 데이터셋을 정의 했으며, 어떤 알고리즘으로 머신러닝이 추론/학습해 낼 수 있도록 구성했을까? 또한 사용자에게 통찰을 주기 위한 데이터 시각화에는 어떤 형태로 구성이 되었을까? 

•  본 포스팅에서는 타 서비스에서는 학습 분석데이터를 어떻게 서비스에 접목 시키고 있는지를 살펴보고자 한다. 사실상, 학습분석이 가져다 줄 우리의 미래에 대한 서비스 유스케이스와 대상별 가치제안(Value Proposition)은 이미 수차례 선행 연구조사가 수행되었다. 현장 활용 사례를 살펴보기 전에 선행 조사결과를 정리해보자.

2. 무엇을 수집해야하나?

• 학습 분석을 위해 수집·분석할 수 있는 데이터의 유형을 다섯 가지 유형으로 구분했고 수집되는 데이터 중, 다섯가지 유형에 포함될 수 있는 데이터 규명작업을 IMS Global을 중심으로 추진 중에 있다. 1) 디지털 콘텐츠가 발생시키는 데이터 (Learning Content Data) 2) 학습 플랫폼을 통해 발생하는 학습 활동 데이터 (Learning Activity Data) 3) 교육기관에서 교육 프로그램 운영 중에 발생하는 데이터(Operational Data) 4) 학습자의 경력과 인맥에 대한 데이터(Career Data) 5) 학습자 또는 교수자의 프로파일링 중에 발생하는 데이터(Profile Data)

3. 어떻게 쓰일까?(인용 : 유재택 외 3인, 2013)

(1) 학습 분석 대시보드(Analytics Dashboard)

• 학습 플랫폼이나 학습용 소프트웨어에서 발생하는 로그 데이터들은 매우 기술적인 포맷의 데이터로서 일반 사용자들에게 제공되지 않는 유형의 데이터이다. 보통 로그 데이터는 제한적으로 데이터 마이닝을 위한 소프트웨어를 이용해서 분석 작업을 할 때 사용되기는 했지만, 테이블, 그래프 등 시각화된 포맷으로 가공되어 교수자나 학습자 등 최종 사용자에게 제공되는 정보는 아니었다. 학습 분석 대시보드 기능은 로그 데이터를 개인 사용자 또는 집단에게 이해하기 쉽게 시각화하여 제공하는 기능이다. 분석 대시보드는 로그 데이터 외에도 다양한 소스로부터 데이터를 수집하여 표현 할 수 있는데, 온라인 학습 지원을 위해 운영되는 헬프데스크에 요청된 로그, 전자문서 형태로 제출된 리포트, 다양하게 사전에 설정된 변수들 간의 상관관계 등을 종합적으로 분석하여 시각화할 수 있다.

• 분석 대시보드를 통해서 제공된 정보를 통해 학습자들은 동료 집단 중에서 자신의 (시험 성적, 포럼 기여도, 온·오프라인 세미나 참석/참여 정도에 대 한) 상대적 위치를 파악할 수도 있다.

(2) 예측 분석(Predictive Analytics)

• 인구 통계적 수치(demographics)나 과거 성취도 (attainment) 등과 같은 정적인 데이터와 로그인 패턴, 온라인 토론 참여 정도 등과 같은 동적인 데이터 등 학습자 통계 데이터의 패턴을 이용해서 사용자를 분석하는 방법을 말한다. 예측 분석은 위험 단계나 우수 단계에 위치한 학습자들의 궤적을 그려서 개별적으로 필요한 시점에 처방적 조치를 제안 할 수 있는 이점이 있다. 예를들어 예측분석을 통해 위험 단계의 궤적에 근접한 학습자에게 경고 메시지를 전달하고 평균이나 우수 단계로 진입하기 위한 활동 궤적을 안내 할 수 있다. 지금까지 총괄평가를 통과할 수 있는지 여부를 판단하는 가장 신뢰할 수 있는 방법은 학습을 시작하는 시점에 시험을 치르게 해서 판단하 는 방법이었다. 그러나 이 방법은 정적이고 학습 현황을 반영하지 못하는 제한점이 있기 때문에 실시간 학습 현황과 수준을 토대로 판단하기 위해서는 예측 분석 방법이 더욱 효과적이라고 할 수 있다.

(3) 적응형 학습 분석(Adaptive Analytics)

• 적응형 학습 플랫폼은 특정한 (대수학, 광합성, 치과시술절 차 등) 주제에 대한 학습자의 이해 정도를 측정해서 세부적인 피드백을 제공하고, 후속 조치로서 관련된 디지털 자원을 학습 자에게 제공하는 모델이다. 측정하는 방법 중 한 가지는 교과 과정을 기반으로 한 시험을 통해 진단하는 것인데 현재 기술로 가장 신뢰 할 수 있는 방법이기 때문에 선호되고 있다. 이 모델의 특징은 학습자가 선택한 주제에 대해 현재 어떤 수준의 이해에 도달했는지를 진단해서 적절한 콘텐츠를 표현(adaptive presentation of content)해 주는 것이다. 경우에 따라서는 학습자가 이해 할 수 없는 난이도의 콘텐츠를 생략 할 수 도 있기 때문에 동적인 학습자인지 또는 적응형 콘텐츠 전달환경에 관한 모델링이 필요하다. 무엇보다 이 모델은 풍부한 자원을 바탕으로 운영 가능한 것이어서 기존의 학습 플랫폼처럼 소프트웨어적인 기능만 제공하는 빈병 같은 모습과는 대조된다. 다시 말해, 플랫폼의 기능이 강조되지만 이 플랫폼은 풍부한 자원들로 채워진 상태에서 출발해야 한다.

(4) 소셜네트워크 분석(Social Network Analytics)

• 소셜네트워크 분석은 이미 잘 알려진 형태의 관계망 분석 모델이다. 이 분석 모델은 사람들이 어떻게 관계망을 형성하고 유지하는지에 대한 이해를 돕기 위해 이용되며 주제어에 대한 빈도 나 트렌드를 관계망과 연계해서 분석할 수도 있다. 사람들은 소셜네트워크를 이용해서 서로 다른 유형의 관계를 형성할 수 있 는데, 직접적인 영향을 끼치는 관계에서부터 간접적인 관계까지 관계 설정의 정도나 범위가 다양해지고 있다. 교육 분야에서는 학습자의 개인적 관계 설정이나 그룹의 구조가 효과적인 학습에 미치는 효과가 있는지에 대한 분석이 주관심 대상이 된다.

(5) 담화 분석(Discourse Analytics)

• 학습 플랫폼이 제공하는 로그인 횟수, 게시글 조회수, 메시지 등록건수 등과 같은 정량적인 정보는 매우 단순 한 것이고, 학습분석 관점에서는 너무도 당연한 기능이라고 할 수 있다. 학습 분석에서는 정량적인 데이터 이상의 것이 필요하고 교수자에게는 학습 활동의 질적인 기여도를 판단 할 수 있는 데이터가 제공될 필요가 있다. 담화 분석이란 활동의 내실을 판단하기 위한 모델이다. 패턴 인식이나 구문 분석 기술 분야에서 오랫동안 연구되던 주제인데, 이제 교육 분야에 본격적으로 적용을 시도 할 수 있는 여건이 조성 되고 있다. 관련 연구들은 교사들이 에세이나 토론 글에 어떻게 첨삭을 하는지, 쓰기와 말하기가 학습에 어떻게 영향을 주는지, 어떻게 컴퓨터가 우수한 논쟁 글을 인식하는지에 대한 분석이 한창 진행 중이다.

(6) ICT를 활용한 평가(Assessment using ICT)

• ICT를 이용한 평가는 단순히 선택형 문항이나 진위형 문항 이상의 평가 방식에 활용될 수 있어야 한다. 이를 위해서는 학습자가 얼마나 학습을 했는지, 어느 정도나 문제 해결능력을 향상 시켰는지에 대한 판단을 할 수 있도록 과정 데이터를 수집하고 분석할 수 있어야 한다. 현재 고려할 수 있는 방법은 앞서 고려 한 바와 같이 로그 데이터와 클릭스트림 데이터를 수집해서 분석하는 것이다. 그러나 이 방법은 수준을 측정하기에 충분하지 않기 때문에 제한점을 극복하기 위해서 컴퓨터 게임에 적용된 기법을 고려해 볼 수 있다. ‘스텔스 평가(stealth assessments)’ 방식이 고려될 수 있는데, 이것은 게임의 중요한 부분으로 평가 되는 수행 데이터 수집방식과 유사하게 평가과정을 교육 프로 그램에 녹여 넣는 방식이다. 이 방식은 학습자에게 평가 부담감 을 없애기 위해 평가라는 절차를 학습 과정 중에 흐릿하게 녹여서 통합하는 방식이다.

4. 어떤 가치를 제안(Value Proposition)할 수 있을까?

• 빅데이터를 활용한 학습분석이 도입될 경우 대상별로 아래와 같은 가치를 제공해줄 수 있다고 한다. 우리 학습 관리시스템은 현재 이런 서비스를 제공하고 있는가?

(1) 학습자 관점

-학습 활동과 진도를 측정하여 학습을 지원할 수 있다.

-학습 활동 과정에서 생성된 기록과 형성평가/총괄평가 혹은 학습자가 인지하지 못하지만 시스템이 학습자의 이해 정도를 평가할

수 있는 스텔스 평가 등을 통해 개선된 피드백 제공할 수 있다.

-학습자의 학습 패턴을 기반으로 정상적인 학습 과정을 완료할 수 있을 지에 대한 사전 예측을 통해 조기 경보 제공할 수 있다.

-학습자의 선행 학습 수준, 선호도, 집중 시간 등의 데이터를 기반으로 개인화된 학습 경로 생성 및 학습 자원을 제공할 수 있다.

(2) 교수자 관점

-우수학습자의 패턴 분석을 통해 학습 콘텐츠, 학습조직, 학습패턴 등을 비교분석 할 수 있고, 이러한 데이터를 기반으로 자신의 교수방법의 개선 방향을 도출할 수 있다.

-학습진척도를 모니터링하여 의미있는 교수 개입과 상호작용을 증진시킬 수 있고 학습내용을 학습자 집단의 요구에 맞춰 수정할수 있다.

-도움이 필요한 학습자를 확인할 수 있고 학습 진척도를 예측하여 교수 개입을 가늠할 수 있다. 물론 교육기관에서는 교수자가 적

정 시점에 개입을 했는지 여부에 대해서 파악할 수도 있다.

-학습자와 학습성과, 학습 활동 등을 측정하여 정확한 학습자에 대한 이해를 할 수 있고, 이를 바탕으로 개별 학습자에 맞춤형 대응과 조언 을 해줄 수 있다.

-학습 참여 부진 학생과 그룹을 조기에 발견하여 해당 학생과 그룹을 대상으로 집중 관리를 할 수 있다.

-모든 학습자가 지필 고사에 강한 것은 아니다. 학습자별로 학업 수행 능력을 측정할 수 있는 방법이 다를 수 있으므로 학습자의 패턴과 성향에 대한 총체적 분석은 학습자의 성취도를 표현할 수 있는 기회를 확대해서 제공해줄 수 있다.

-개인과 그룹에 대한 학습 결과를 직관적으로 표현하는 시각화를 도입함으로써 학습 촉진을 향상 시킬 수 있다.

-콘텐츠 노출 빈도, 학습자 참여율, 학습자의 태도 등 정량적인 데이터는 사실을 기반으로 한 개선된 학습 경험과 자원을 설계 능력을 제공할 수 있다.

(3) 교수설계자 서비스 방안

-교수모형을 분석하고 교수적 개입의 효과를 측정하며 커리큘럼의 질을 향상시킬 수 있다.

-학습 계획안과 학습 자료를 비교 및 평가하여 난이도를 조절하고 학습자가 요구하는 학습자원을 제공할 수 있다.

-학습 선호도를 확인하고 교수적 개입을 계획하고 난이도 및 학습경로의 전형(모범 사례)을 보여줄 수 있다.

(4) 교육기관 서비스 방안

-교육과정 운영을 모니터링하고 교육자원에 대해 평가하여 학습자의 학습효과를 분석할 수 있다.

-학습자의 학습과정을 예측하여 학습자가 주의할 수 있도록 경고할 수 있다.

-학업을 지속 할 수 있도록 이에 대한 예측모형을 만들어 적용할 수 있다.

-학급 및 그룹의 활동 및 결과에 대한 효과성 측정에 유용하고, 기관에서 제공한 학습 환경의 효과성 및 타당성에 대한 모니터링 및 측정 데이터 제공하기에 용이하다.

-수강 재등록율 제고를 위한 전략 수립용 기초자료를 제공할 수 있다.

-교수자의 교수학습 효과 향상을 위한 개입의 적정성과 교육과정 만족도 제고를 위한 전략 수립용 기초자료를 제공할 수 있다.

-기술적 이슈에 미리 대응이 가능하다. 학습자의 활동 기록을 통해 사전 대응이 가능하다.

(5) 교육정책 및 교육과정 입안자 서비스 방안

-교육기관들을 비교하여 벤치마킹할 수 있는 우수사례를 찾아 공유할 수 있다.

-입안된 교육정책과 품질 인증 가이드라인을 알릴 수 있다.

-생산성을높이고주요사건에신속한답변을할수있으며수행을분석할수있다.

기관의정책효과모형을만들수있고변화관리를위한계획을세울수있다.

■ 참고문헌 및 출처

• 유재택, 신성욱, Robert J. Abel (2013),  "표준화 이슈리포트 : 학습 분석 기술 활용 가능성 및 전망", KERIS. 

• Dribbble (https://dribbble.com/shots/2672263-Student-Task-App).

• IMS Global (2014), “Learning Measurement for Analytics Whitepaper”, IMS Global.

• Michael de Raadt (2012.07.26), "Analytics: getting helpful information out of an LMS",   

• Simon Buckingham Shum (2012), “Learning Analytics”, UNE- SCO Policy Brief, UNESCO IITE.