앞으로 2-3개의 글을 통해 CMS로 대회를 개최하는 방법을 소개하려고 합니다.
이번 글에서는 CMS의 구조를 간단하게 소개하고, CMS를 이용해 대회를 만들고 간단한 Batch 문제를 업로드하는 방법을 소개합니다. SPJ/Grader/Interactive 문제를 업로드하는 방법과 더 정교하게 채점환경을 구축하는 것은 다음 글에서 소개하도록 하겠습니다.
대부분의 내용은 CMS 1.4 Document를 번역한 것이며, CMS 세팅 방법은 vultr의 Ubuntu 18.04를 기준으로 설명합니다.
제출 결과 토큰이나 코드 인쇄 등 자주 사용하지 않는 몇몇 기능은 생략했습니다.
CMS 소개
개요
CMS(Contest Management System)는 IOI(국제정보올림피아드), KOI(한국정보올림피아드)와 같은 여러 프로그래밍 대회를 개최할 수 있는 소프트웨어입니다. 한국에서는 한국정보올림피아드와 국제정보올림피아드 계절학교에서 사용해서 여러 학생들에게 익숙하기 때문에, 여러 소규모 대회에서도 CMS를 사용해 대회를 개최하는 모습을 볼 수 있습니다.
CMS 구조
Online Judge는 사용자에게 보여지는 웹사이트, 사용자의 제출을 하는 채점 프로그램, 대회에 관련된 전반적인 정보를 저장하는 데이터베이스 등 다양한 서비스로 구성되어 있습니다. CMS는 어떤 서비스에서 충돌이 있을 경우 빠르게 회복하고, 대회 참가자 수에 따라 쉽게 확장을 할 수 있도록 각 서비스를 모듈 형태로 설계했습니다. CMS를 구성하는 핵심 서비스는 다음과 같습니다.
AdminWebServer: 대회에 관련된 정보(문제, 참가자, 대회 시간 등)를 수정하는 웹서비스입니다.ContestWebServer: 참가자가 대회에서 사용(문제 지문 다운로드, 정답 코드 제출 등)하는 웹서비스입니다.EvaluationService: 제출에 대한 큐(Queue)를 구성하고, 제출을 컴파일하거나 채점하는 작업을Worker에게 넘겨줍니다.Worker:EvaluationService로부터 참가자의 제출을 넘겨 받아 채점을 하는 채점기입니다.
ScoringService: 각 제출의 채점 결과를 수집한 뒤 점수를 계산합니다.ProxyService: 계산된 점수를 랭킹에 반영합니다.RankingWebServer: 스코어보드를 보여주는 웹서비스입니다. 보안을 위해 CMS 코어 서비스와 다른 서버에서 작동합니다.ResourceService: 모든 서비스를 관리합니다.LogService: CMS에서 발생하는 모든 로그를 수집합니다.
ResourceService, ContestWebServer, Worker는 대회의 규모에 따라 여러 개를 동시에 작동시킬 수 있습니다. 만약 여러 개의 서버에서 서비스를 실행한다면, 모든 서버에서 ResourceService를 실행해야 합니다.
예를 들어 테스트케이스(채점 데이터)가 많다면 한 번에 여러 테스트케이스를 채점하기 위해 여러 개의 Worker를 사용해야 합니다. 만약 참가자가 굉장히 많은 경우, 홈페이지를 그리는 것 또한 부담이 많이 되기 때문에 ContestWebServer를 여러 개 실행시켜 홈페이지 랜더링에 가해지는 부하를 줄일 수 있습니다.
RankingWebServer는 DB에 직접 접근할 수 있는 서비스의 수를 제한하기 위해 의도적으로 CMS의 코어 서비스와 분리되어 있습니다. 그러므로 ProxyService로 부터 정보를 넘겨 받아 스코어보드를 갱신합니다.
대회의 진행 상태는 모두 PostgreSQL DB에 저장됩니다. 그렇기 때문에 DB가 정상적으로 작동하는 한 다른 모든 서비스는 독립적으로 시작하고 중지할 수 있습니다. 다시 말해, CMS는 DB에 의존하기 때문에 DB가 손상되면 신속하게 조치를 취해야 합니다.
CMS 설치와 실행
한 서버에서 모든 서비스를 실행하는 방법을 다룹니다. 만약 CMS를 여러 개의 서버에 분산시켜서 실행하고 싶다면 실제 대회 열어보기 문단을 참고해주세요.
CMS 소스코드 다운로드
wget -c https://github.com/cms-dev/cms/releases/download/v1.4.rc1/v1.4.rc1.tar.gz
tar -zxvf v1.4.rc1.tar.gz
cd cms
필요한 패키지 설치
CMS에서 사용하는 패키지 설치
sudo apt install build-essential openjdk-8-jdk-headless fp-compiler postgresql postgresql-client python3.6 cppreference-doc-en-html cgroup-lite libcap-dev zip
Do you want to continue?가 나올 경우 Y를 선택하면 됩니다.
파이썬 모듈 다운로드
sudo apt install python3.6-dev libpq-dev libcups2-dev libyaml-dev libffi-dev python3-pip
sudo pip3 install -r requirements.txt
sudo python3 setup.py install
config 파일 수정
config 파일 생성
cd config
cp cms.conf.sample cms.conf
cp cms.ranking.conf.sample cms.ranking.conf
config 파일 수정
cms.conf 수정
59번째 줄에서
your_password_here을 적당한 문자열로 수정 (DB 계정 비밀번호로 사용)
(스코어보드가 필요하다면) cms.ranking.conf 수정
cms.conf 159번째 줄에서
usern4me과passw0rd를 적당한 문자열로 수정cms.ranking.conf 12, 13번째 줄에 위에서 설정한
usern4me과passw0rd입력cd ..
config 수정 사항 적용
(주의) conf 파일을 수정한 뒤에는 아래 명령을 반드시 실행해야 합니다.
sudo python3 ./prerequisites.py install
만약 root유저라면 sudo python3 ./prerequisites.py –as-root install
DB 설정
sudo su - postgres
createuser –username=postgres –pwprompt cmsuser
(이후 cms.conf에 입력한 DB 비밀번호 입력)
createdb –username=postgres –owner=cmsuser cmsdb
psql –username=postgres –dbname=cmsdb –command=’ALTER SCHEMA public OWNER TO cmsuser’
psql –username=postgres –dbname=cmsdb –command=’GRANT SELECT ON pg_largeobject TO cmsuser’
exit
cmsInitDB
Screen 설치
CMS는 여러 서비스를 동시에 돌려야 하며, 각 작업은 포그라운드에서 돌아가기 때문에 한 서비스를 실행하면 콘솔을 사용하지 못하게 됩니다. 따라서 screen을 이용해 각 서비스를 서로 다른 screen에 올려서 실행할 것입니다.
sudo apt-get install screen
CMS 실행
어드민 계정 생성
cmsAddAdmin 어드민아이디
Admin with complete access added. Login with username admin and password 000000 형태로 나오는 비밀 번호를 기억하세요.
AdminWebServer 실행 (포트 기본값 : 8889)
screen -S AWS
cmsAdminWebServer
ctrl+A D를 이용해 스크린에서 빠져나올 수 있습니다.
LogService 실행
screen -S Log
cmsLogService
ctrl+A D를 이용해 스크린에서 빠져나올 수 있습니다.
대회 생성
AdminWeb(기본값: http://아이피:8889)에서 대회를 만들면 /contest/x 형태의 URL이 나옵니다. 이때 x가 대회의 ID입니다.
아래 명령어를 실행하면 대회 진행을 위해 필요한 서비스들이 모두 실행됩니다. ContestWebServer(CWS)의 포트 기본값은 8888입니다.
screen -S Resource
cmsResourceService -a x (x는 정수)
ctrl+A D를 이용해 스크린에서 빠져나올 수 있습니다.
대회 설정
대회는 제한 시간, 문제, 참가자 등으로 구성됩니다. 각종 설정 방법을 알아봅시다.
실제로 문제를 업로드하고 채점하는 것은 아래 실제 대회 열어보기 문단을 참고해주세요.
대회 파라미터 설정
/contest/대회ID에 들어가면 가장 먼저 볼 수 있는 Contest configuration탭에서 대회와 관련된 각종 파라미터를 설정할 수 있습니다.
Token은 약 10년 전 IOI에서 사용된 것으로 알고 있는데 요즘은 사용하지 않습니다. 궁금하신 분들은 공식 문서를 참고해주세요.
Start time과 End time은 말 그대로 대회 시작/종료 시간을 의미합니다. UTC 기준으로 입력해야 하는 것에 주의하세요. 만약 USACO처럼 Timeframe 방식으로 대회를 열고 싶다면 Length of the contest에 대회 시간을 초 단위로 입력하면 됩니다.
Analysis mode는 대회가 끝난 뒤(End time 이후) 업솔빙 용도로 제출을 열어두는 것입니다. 대회 결과에는 반영되지 않습니다. Analysis mode를 대회 종료 직후에 바로 시작하는 것은 권장하지 않습니다. 아래 참가자 설정 문단을 참고하세요.
Timezone을 Asia/Seoul로 설정합시다.
참가자 설정
AdminWeb의 홈으로 돌아간 다음, 좌측 탭에서 create new user를 클릭하면 참가자를 추가할 수 있습니다. Timezone을 적당히(한국: Asia/Seoul) 설정합시다.
해당 유저를 대회 참가자로 등록하고 싶다면, 해당 대회에 들어간 뒤 users > Select a new user에서 유저를 추가하면 됩니다.
delay time/extra time을 이용해 하드웨어 이슈 등 일부 참가자에게 문제가 발생했을 때 대회 시작 시간/종료 시간을 초 단위로 미룰 수 있습니다. Delay/Extra time을 이용해서 어떤 참가자의 대회 종료가 늦어질 경우, 해당 참가자만 Analysis mode가 늦게 시작합니다.
문제 종류
Batch
stdin/stdout을 이용하는 일반적인 문제입니다.
정답이 하나라면 white-diff를 사용하여 채점하면 되고, 정답이 여러 개 존재할 수 있다면 참가자의 출력이 정답인지 확인하는 프로그램(스페셜 저지)인 checker를 작성해야 합니다.
Batch with Grader
Programmers에서 주로 볼 수 있는 함수 구현 문제입니다. 참가자는 출제자가 제공하는 grader.cpp파일을 이용해 실행 결과를 확인할 수 있습니다.
채점 방식으로 white-diff와 checker 중 하나를 선택할 수 있습니다.
OouputOnly
코드가 아닌 출력 결과를 제출하는 문제입니다. white-diff나 checker를 이용해 채점할 수 있습니다.
Communication(Interactive)
공식 문서를 참고하세요.
점수 산출 방식
각 문제의 점수를 산출하는 방식에는 3가지가 있습니다.
IOI 2010-2012: 토큰을 사용한 제출들과 가장 마지막 제출 중 점수 최댓값IOI 2013-2016: 모든 제출 중 점수 최댓값IOI 2017-: 모든 제출에서 각 서브태스크 점수의 최댓값의 합집합
| Token? | Subtask 1 | Subtask 2 | Subtask 3 | Total | |
|---|---|---|---|---|---|
| Submission 1 | X | 10 | 0 | 0 | 10 |
| Submission 2 | O | 0 | 45 | 35 | 80 |
| Submission 3 | O | 5 | 50 | 30 | 85 |
| Submission 4 | X | 5 | 50 | 40 | 95 |
| Submission 5 | X | 0 | 45 | 35 | 80 |
IOI 2010-2012방식의 경우, 토큰을 사용한 2/3번 제출과 가장 마지막 제출인 5번 제출 중 점수가 가장 큰 3번 제출(85점)이 최종 점수가 됩니다.IOI 2013-2016방식의 경우, 모든 제출 중 점수가 가장 큰 4번 제출(95점)이 최종 점수가 됩니다.IOI 2017-방식의 경우, Subtask 1에서는 1번 제출(10점), Subtask 2에서는 3번 제출(50점), Subtask 3에서는 4번 제출(40점)이 적용되어 최종 점수는 100점입니다.
최근에 개최되는 대부분의 대회는 IOI 2017- 방식을 사용합니다.
실제 대회 열어보기
서버 구성
Worker를 담당할 채점 서버 2대, RankingWebServer를 담당할 스코어보드 서버 1대, 다른 모든 서비스를 담당할 메인 서버 1대를 사용할 것입니다.
메인 서버는 Vultr Cloud Compute(4CPU/8GB)를, 스코어보드 서버는 Vultr Cloud Compute(2CPU/4GB)를, 채점 서버는 Vultr High Frequency Compute(2CPU/4GB)를 사용할 것입니다. 운영체제는 모두 Ubuntu 18.04를 사용합니다.
CMS v1.4는 C++11만 지원하기 때문에 C++17 관련 설정 작업도 같이 해야합니다.
메인 서버 설정
CMS 소스코드를 다운로드합시다.
wget -c https://github.com/cms-dev/cms/releases/download/v1.4.rc1/v1.4.rc1.tar.gz
tar -zxvf v1.4.rc1.tar.gz
cd cms
CMS v1.4는 C++11만 지원합니다. C++17로 바꿔줍시다.
cd cms/grading/languages
vim cpp11_gpp.py
32/35번째 줄에서
Cpp11Gpp을Cpp17Gpp로 수정37/44번째 줄에서
C++11을C++17로 수정68번째 줄에서
-std=gnu++11을-std=gnu++17로 수정mv cpp11_gpp.py cpp17_gpp.py
cd ../../..
vim setup.py
196번째 줄에서 모든
11을17로 변경
config 파일을 수정합시다.
cd config
cp cms.conf.sample cms.conf
cp cms.ranking.conf.sample cms.ranking.conf
vim cms.conf
28-41번 줄을 삭제합니다. (Worker를 2개만 사용합니다.)
27번째 줄의 localhost를 1번 채점 서버의 아이피로 바꿔줍니다.
28번째 줄의 localhost를 2번 채점 서버의 아이피로 바꿔줍니다.
22/23/24/25/26/29/30/31/32/37/45번째 줄의 localhost를 메인 서버의 아이피로 바꿔줍니다.
45번째 줄에서 DB 비밀번호를 설정합니다. pw라고 합시다.
145번째 줄의 localhost를 스코어보드 서버의 아이피로 바꿔줍니다.
145번째 줄에서 스코어보드 통신 아이디/비밀번호를 설정합니다. user / pw라고 합시다.
vim cms.ranking.conf
12/13번째 줄에서 username과 password를 cms.conf에서 설정한 스코어보드 통신 아이디/비밀번호로 지정 (user / pw)
cd ..
모든 서버에서 일일이 수정하는 것은 귀찮기 때문에, 메인 서버에서 수정한 cms 폴더를 통째로 다른 서버에 전송할 것입니다. scp를 이용해 cms 폴더를 전송합시다.
scp -r ../cms root@아이피:~/
필요한 패키지를 설치하고 config 파일을 적용합시다.
sudo apt install build-essential openjdk-8-jdk-headless fp-compiler postgresql postgresql-client python3.6 cppreference-doc-en-html cgroup-lite libcap-dev zip
sudo apt install python3.6-dev libpq-dev libcups2-dev libyaml-dev libffi-dev python3-pip
sudo pip3 install -r requirements.txt
sudo python3 setup.py install
sudo python3 ./prerequisites.py –as-root install
DB 설정을 합시다. 외부 서버(스코어보드 서버, 채점 서버)에서 메인 서버의 DB에 접속할 수 있어야 하므로 postgres 설정을 조금 수정해야 합니다.
sudo su - postgres
createuser –username=postgres –pwprompt cmsuser
(이후 cms.conf에 입력한 DB 비밀번호 입력)
createdb –username=postgres –owner=cmsuser cmsdb
psql –username=postgres –dbname=cmsdb –command=’ALTER SCHEMA public OWNER TO cmsuser’
psql –username=postgres –dbname=cmsdb –command=’GRANT SELECT ON pg_largeobject TO cmsuser’
exit
sudo vim /etc/postgresql/10/main/postgresql.conf (postgres 버전에 차이가 있을 수 있음)
58번째 줄에 listen_addresses = ‘123.456.78.90,111.222.333.44,55.666.77.8’ 처럼 사용하는 서버들의 IP를 적어줍니다.
sudo vim /etc/postgresql/10/main/pg_hba.conf
모든 서버에 대해, host cmsdb cmsuser 서버IP/32 md5 를 추가합니다.
sudo /etc/init.d/postgresql restart
cmsInitDB
Screen을 설치합시다.
sudo apt install screen
어드민 계정을 생성하고 AdminWebServer를 실행합시다. 아이디는 admin, 비밀번호는 rootroot라고 합시다.
cmsAddAdmin -p rootroot admin
screen -S AWS
cmsAdminWebServer
ctrl+A D
LogService를 실행합시다.
screen -S Log
cmsLogService
ctrl+A D
Admin Web에서 대회를 하나 만들고 대회를 실행합시다.
screen -S Resource
cmsResourceService -a 1
ctrl+A D
스코어보드 서버 설정
메인 서버를 세팅하면서 CMS 소스 코드를 스코어보드 서버에 전송했습니다.
필요한 패키지를 설치하고 config 파일을 적용합시다.
cd cms
sudo apt install build-essential openjdk-8-jdk-headless fp-compiler postgresql postgresql-client python3.6 cppreference-doc-en-html cgroup-lite libcap-dev zip
sudo apt install python3.6-dev libpq-dev libcups2-dev libyaml-dev libffi-dev python3-pip
sudo pip3 install -r requirements.txt
sudo python3 setup.py install
sudo python3 ./prerequisites.py –as-root install
스코어보드 서버를 실행합시다.
screen -S Ranking
cmsRankingWebServer
ctrl+A D
채점 서버(Worker) 설정
메인 서버를 세팅하면서 CMS 소스 코드를 스코어보드 서버에 전송했습니다.
필요한 패키지를 설치하고 config 파일을 적용합시다.
cd cms
sudo apt install build-essential openjdk-8-jdk-headless fp-compiler postgresql postgresql-client python3.6 cppreference-doc-en-html cgroup-lite libcap-dev zip
sudo apt install python3.6-dev libpq-dev libcups2-dev libyaml-dev libffi-dev python3-pip
sudo pip3 install -r requirements.txt
sudo python3 setup.py install
sudo python3 ./prerequisites.py –as-root install
Worker를 켭시다.
screen -S Resource
cmsWorker
ctrl+A D
유저 추가
Admin Web을 이용해 testuser를 하나 추가합시다.
Batch 문제 업로드
Admin Web 메인 페이지 좌측 탭에서 Tasks > create new task...를 눌러서 a-plus-b라는 문제를 하나 만듭시다.
- Statements는 문제 지문을 의미합니다. 한글 디스크립션의 경우, Language code는
ko-kr로 지정하면 됩니다. - Feedback level은 채점 결과를 참가자에게 얼마나 자세하게 알려줄지 결정합니다. 직접 설정해서 확인해보시기 바랍니다.
- Score options는 위에서 설명한 점수 산출 방식입니다.
- Task type은 Batch, Compilation은 self-sufficient, Output evaluation은 white diff로 합시다.
- Test cases는 채점 데이터를 의미합니다.
01.in/01.out, 02.in/02.out처럼 입출력 파일 쌍을 맞춰서 업로드하시면 됩니다. - Score type settings은 공식 문서를 참고해주세요.
테스트케이스를 적당히 올리면 문제가 완성됩니다.
위에서 미리 만들어준 대회에 들어간 뒤, Tasks에 a-plus-b문제를 추가하면 대회에서 문제를 풀어볼 수 있습니다. 채점이 잘 되는지, 문제를 푼 뒤 스코어보드에 잘 반영되는지 확인해보시면 이번 글은 마무리가 됩니다.