xAPI와 IMS Caliper Analytics는 학습활동 정보 수집을 위한 대표적인 표준이다. 두 표준은 학습활동 정보를 LRS에 저장하기 위한 목적성이나 수집과정 등 구현할 대상에 대해 유사성을 가지고 있지만, 데이터 규격에 사용하는 어휘나 실제 데이터를 서술하는 방법 등에 약간의 차이점을 가지고 있다. xAPI는 어떤 종류의 학습 경험에 대해서도 서술 할 수 있는 방법을 제공하고 있으며, 그 대상은 전통적인 온라인 학습환경 외에 VR/AR, 물리적 학습활동까지 포함한 분산 학습환경을 고려하고 있다.
반면 Caliper Analytics는 IMS가 정의한 프로파일의 전처리 과정을 정의하는 부분부터 출발하였다. xAPI의 경우 분산된 콘텐츠와 저장소를 활용하는 방안을 규정하고 있지만, Caliper Analytics는 LTI와 연계한 가장 일괄적인 저장 방식과 참여 측정에 기반한 규격 정의, 실시간 학습 피드백 등에 집중하고 있는 분야가 미묘하게 다르다고 볼 수 있다.
학습표준에 대해 선행연구를 수행한 이재호(2018)는 2016년 IMS 분기 미팅에서 발표된 xAPI와 IMS Caliper와의 비교 자료를 바탕으로 두 표준의 유사성과 차이점을 다음과 같이 7가지 항목에 대해서 정의하고 있다.
1. Use-Cases, Scenarios and Motivations
xAPI 표준은 어떤 종류의 학습 경험에 대해서도 서술할 수 있는 방법을 제공하고 있으며 그 대상은 디지털 학습장치에 한정되지 않고 물리적인 행위까지 포함할 수 있도록 정의한다. 반면, Caliper Analytics는 IMS Global에서 기획하는 학습분석 프레임워크의 전처리 과정을 정의하는 부분부터 출발하였다. 또한 현재 진행 중인 표준 개발동향을 살펴보면 xAPI의 경우 분산된 콘텐츠와 분산된 저장소를 활용하는 방안 등을 규정하고 있지만. Caliper Analytics는 LTI와 연계한 일괄적인 저장방식과 Engagement에 기반한 규격 정의와 실시간 학습 피드백 등 집중하고 있는 분야가 미묘하게 다르다.
2. Service Endpoints
xAPI(Actor/Verb/Object)와 Caliper Analytics(Actor/Action/Actvity)가 모두 트리플 구조를 가진 데이터 모델을 활용하지만 세부적인 구조나 활용 측면에서 차이점을 보인다. 특히 xAPI는 LRS로부터 CRUD(Create, Read, Update, Delete) 기능을 모두 지원할 것을 권하고 있으나, Caliper Analytics의 Sensor API는 저장소의 데이터를 읽는 것은 표준으로 정의하고 있지 않은 점이 눈에 띈다. 이런 차이는 분산된 LRS의 활용을 전제로 하고 있는 xAPI의 주요 요구사항으로부터 도출된 결과로 분석할 수 있는데, 이를 통해 통합 데이터 분석을 위한 강점을 지니고 있다 평가할 수 있다.
3. Data Models
두 표준의 가장 큰 차이점으로 Caliper Analytics는 Learning Activity Metric Profile을 통해 학습활동을 명시적으로 정의하고 그 범위 내에서 데이터를 서술하도록 규정한다. 반면, xAPI는 기본적인 데이터구조만을 정의할 뿐 학습 영역에 따라 해당 커뮤니티에서 자율적으로 결정한 Recipe를 활용하도록 권장한다. 각각의 데이터 구조는 유사한 특징을 가지고 있는데 Actor, Activity, Object의 경우 유사하게 Agent, Group, Content 등을 서술할 수 있고 각각 구조적인 Entity를 서술하는 등 거의 동일한 특성을 지닌다.
4. Security Mechanism
보안이나 정보보호의 이슈는 최소한의 인증절차로서 O’Auth1.0을 규정하고 이에 관한 상세한 활용방안을 규정하는 xAPI와는 달리 Caliper의 경우 API Key를 사용하고 약간의 보안을 수행할 것을 권장하는 것에 그치고 있다. 특히 Caliper Analytics의 경우 표준 개발과정에서 보안이슈에 대한 논의는 아직 본격적으로 진행되지 않은 것으로 보인다.
5. Transport Mechanism
전송방식에 대해서는 두 표준이 큰 차이점을 보이지 않으며 모두 HTTP나 HTTPS를 활용하여 JSON 혹은 JSON-LD형식으로 전송하는 방법을 정의한다. 다면 Caliper Analytics의 경우 모범 사례를 통해 API Key를 활용하는 예시를 자세하게 서술하고 있어 조금 더 활용적인 측면이 높다고 볼 수 있다.
6. Vocabularies, Metric Profiles, Profiles and Recipes
Caliper Analytics의 Learning Activity Metric Profile에서는 데이터의 규격이 명시적으로 정의되어 정해진 범위 내에서 활용되므로 표준을 준용하는 시스템 간에는 최대한의 상호운용성을 제공한다. 이는 서로 다른 기관, 환경, 장치를 활용하는 환경에서도 동일한 형식의 데이터를 생산함으로써 분석 단계에서 발생할 수 있는 모호성을 최소화한다. 하지만 반대로 이런 명시적인 규격은 개방적인 데이터 정의에 경직된 특성을 지니기도 하는데 기술의 발전이나 사회적 흐름에 따라 기존의 표준으로 적용할 수 없는 환경이 발생하는 경우 IMS Global의 절차를 거쳐 새로운 데이터가 정의되기 전까지는 분석에 활용하는데 제약이 따를 수 밖에 없는 특징이 있다.
7. Data Science
실제 학습분석을 수행하는데 있어 생기는 다른 요구사항들을 고려한 표준항목은 양측 모두 아직 정의되어야 할 항목이 많은 것으로 평가된다. xAPI의 경우 O’Auth를 활용한 데이터 유효성의 검사를 규정하고 있지만, 상이한 시스템 간의 호환을 위한 절차나 확장된 데이터 규격 호환 등이 표준에 언급되어 있지는 않다. Caliper Analytics는 Metric Profile을 통해 명확한 데이터를 정의하고 있어 유효성 검증이나 상호호환성에 강점이 있지만, 실제 데이터를 처리하는 절차나 마찬가지로 확장된 데이터 규격 등을 활용하는 방법은 정의하지 않는다. xAPI에서 정의하는 표준의 범위는 기초적인 학습 경험데이터의 정의와 데이터 전송에 필요한 정보 등을 포함하는 전송 규격으로 한정한다. Caliper Analytics와는 다르게 xAPI에서는 데이터의 실제 콘텐츠까지는 정의하지 않는다. 이는 규격을 세분화되고 명시적으로 표현함으로써 xAPI가 지향하는 유연함과 개방성을 잃을 것을 우려하였기 때문이다. ISO에서는 xAPI와 Caliper Analytics에서 서술한 데이터에서 같은 대상을 정의하는 어휘를 매핑하고 연결하는 방안을 논의하고 있으나 xAPI 명세서가 발전 중이고 앞으로도 다양한 분산 학습환경을 지원하기 위한 목적임을 고려했을 때 매핑 방식의 호환은 새로운 노력이 지속적으로 필요하다는 한계가 있다. 학습분석 적용 기관에서는 두 가지 표준을 종합적으로 활용하기도하고 둘 중 하나의 표준을 채택하기도 한다. ADL initiative에서 연구하는 TLA(Total Learning Architecture)는 Caliper Anlaytics를 배제하고 xAPI로 단일화를 채택했다.