함께 움직인 두 변수

설정값 하나가 결과에 영향을 주는지 확인하려고 같은 입력으로 여러 조합을 돌려 봤다.

대상 3종 × 설정 5단계 = 15조합

그 값을 올리면 결과도 따라 올라갈 것으로 예상했는데 표가 그렇게 나오지 않았다.

Open Table of contents

증상 — 단조롭지 않은 결과

한 대상은 예상대로 올라갔다.

설정 낮음      1,803
설정 중간      1,975
설정 높음      4,759
설정 더 높음  13,626
설정 최대     14,887

그런데 다른 대상은 중간이 제일 컸다.

중간  12,126
높음   6,636
최대   6,468

한 칸만 어긋나면 측정이 튄 것으로 보고 넘어가기 쉽다.

그런데 그 칸을 그냥 넘기면 나머지 칸의 해석도 같이 흔들린다. 그래서 그 칸이 왜 어긋났는지를 먼저 보기로 했다.

표에 부수적인 요인의 부착 여부를 적은 열이 하나 더 있었고 그것을 함께 놓아 봤다.

설정 낮음      1,803   부착 없음
설정 중간      1,975   부착 없음
설정 높음      4,759   부착 있음
설정 더 높음  13,626   부착 있음
설정 최대     14,887   부착 있음

값이 뛰는 위치가 부착이 붙는 위치와 정확히 일치했다.

그러면 결과의 변화가 내가 재려던 값 때문인지 함께 움직인 그 값 때문인지가 안 갈린다. 두 변수가 같이 움직이면 각각의 효과가 분리되지 않는다.

그래서 부착이 없는 칸끼리만 모아서 비교해 봤다. 한 요인을 고정하면 남은 차이는 재려던 값에서 온 것이 된다.

낮음  1,803
중간  1,975   (+9%)

다른 대상에서도 같았다.

낮음  5,063
높음  6,636
최대  6,468

설정을 최대로 올려도 30% 안쪽이다. 처음 표에서 크게 보였던 차이의 대부분은 함께 움직인 쪽에서 온 것이었고 부착이 있는 칸은 4,759 → 13,626 → 14,887 로 크게 뛰었다.

이 패턴이 한 번만 나온 것인지 확인하려고 다른 대상으로도 같은 측정을 돌렸다. 거기서도 같은 자리에서 같은 모양이 나왔다.

두 대상에서 재현되면 우연으로 보기 어렵다. 다만 재현됐다는 것이 원인을 확정해 주지는 않아서 두 변수를 분리하는 문제는 그대로 남았다.

완전히 분리하려면 한 변수를 아예 차단한 조건에서 다시 재야 하는데 그 조건을 만들 수 없었다. 그래서 결론에 분리되지 않는다는 것을 그대로 적었다.

각 칸을 몇 번씩 돌렸는지도 함께 밝혔는데 한 번만 돌린 칸에서는 작은 차이를 의미로 읽으면 안 되기 때문이다. 측정끼리 서로 영향을 주지 않도록 동시에 돌리지 않고 하나씩 순서대로 돌렸다.