[review#14] Characteristics of Scoring rules

1. Symmetry (대칭성)

주어진 사건 t = 0과 t = 1에 대해, 스코어링 룰이 다음 조건을 만족하는 경우

\(f_1(x) = f_0(1 – x)\)

• \(f_0(x)\): 타입 t = 0에서 보고된 후행 확률 x의 점수.
• \(f_1(x)\): 타입 t = 1에서의 점수.

한쪽 타입에서의 점수는 다른 타입에서의 점수를 반전하여 동일한 형태로 계산된다.

2. Strict Properness (엄격한 적합성)

스코어링 룰이 엄격히 적합하려면 예측 확률 P가 관측 확률 Q와 일치할 때만 최대 점수를 가져야 한다.

\(S(P, Q) \leq S(Q, Q), \quad \text{and equality if and only if } P = Q.\)

3. Convexity (볼록성)

스코어링 룰의 기대값 \(G(P) = S(P, P)\)는 P에 대해 볼록(convex)이어야 한다.
적합성을 보장하는 핵심 성질이며, 확률 분포 간의 차이를 측정할 때 중요하다.

4. Properness without Strictness (비엄격 적합성)

\(S(P, Q) = 1 – |P – Q|\): 이는 적합하지만, 엄격히 적합하지는 않는다.

5. Weighting (가중치 적용)

특정 사건에 가중치를 부여하여 스코어링 룰의 민감도를 조정

\(S(P, Q; w) = w(Q) \cdot S(P, Q)\)

w(Q): 특정 사건 Q의 중요성을 나타내는 가중치 함수

6. Additivity (가법성)

스코어링 룰이 독립적인 사건에 대해 점수를 합산할 수 있는 구조

\(S(P_1 \times P_2, Q_1 \times Q_2) = S(P_1, Q_1) + S(P_2, Q_2)\)

7. Sensitivity to Extremes (극단값 민감성)

로그 스코어는 극단적 확률값(e.g., \(P \to 0\))에 매우 민감하며, 점수가 발산할 수 있다.
반대로, 이차 스코어는 극단적 값에 덜 민감하지만 패널티가 약할 수 있다.

8. Multi-Class Extension (다중 클래스 확장)

다중 클래스 문제에서는 스코어링 룰을 각 클래스의 확률 벡터로 확장해야 한다.

\(S(P, Q) = \sum_{i=1}^m q_i \cdot s(p_i)\)

References

Gneiting, T., & Raftery, A. E. (2007). Strictly proper scoring rules, prediction, and estimation. Journal of the American statistical Association, 102(477), 359-378.
wiki: https://en.wikipedia.org/wiki/Scoring_rule