Advocatus Diaboli

Orthogonal Array(이하 OA)라고 하면, 일반적으로 Pair-wise Coverage(Strength 2)를 갖는 것으로 생각하고 또 그것이 많이 쓰이지만 꼭 그렇지만은 않다. 심심한 분들은 http://www2.research.att.com/~njas/oadir/index.html 을 방문해보길 바란다. 그리고 OA의 경우는 n-wise Coverage를 만족한다고 적기 보다는 Strength n이라는 표현을 더 많이 쓴다. Strength 3을 가지는 OA를 한번 구경이나 해보자. 1 1 1 1 1 1 2 2 1 2 1 2 1 2 2 1 2 1 1 2 2 1 2 1 2 2 1 1 2 2 2 2 자, 세 Parameter 간에서 100% 조합을 가지는지 한번 체크해보자. :...

» More

Orthogonal Array(이하 OA)의 속성 중 재미있는 것은 Balanced 하다는 것이다. OA가 Balanced TestCase를 제공하기 때문에 다소 적용이 힘들더라도 보람은 있는 것이다. 사실 이것이 Pair-wise Testing에 비해 얼마나 큰 강점이 되는지는 벡터 공간에서 각각의 접근법으로 도출된 TC들을 위치시켜놓고 생각해봐야 하는데, 수학자가 아닌 이상 따져보는게 쉽지는 않다. :-) 그리고 난 지금까지 테스팅을 해오면서 그닥 그 효과를 절실하게 누려본 적은 없는 것 같다. 어쨌든 이 Balanced 한 속성이 Pair-wise Testing과 구별되는 점인데, 그 의미를 따져보면, 두 ...

» More

다음과 같이 5개의 Parameter를 지닌 System under Test(이하 SUT)를 생각해보자. Parameter A는 4개의 Value(혹은 Level)를 가지고 있고, Parameter B, C, D, E는 각각 2개의 Value를 지니고 있다. 이렇게 Mixed Level로 이루어진 SUT의 경우, 어떻게 하면 최적의 Orthogonal Array(이하 OA)를 구할 수 있을까? [Step 1] Degrees of Freedom을 계산한다. 'Quality Engineering Using Robust Design'이라는 책을 보면, Degrees of Freedom(자유도)를 계산하는 자세한 방법이 나오지만, 우리 수준에서는 통상 각 Parameter의 Value 수(Level)에서 1을 뺀...

» More

가끔씩 풀 조합, 그러니까 All Combination(AC)를 돌려달라고 요구하는 분들이 계신다. 아무리 TC 개수가 어떻고 소요시간이 몇만년이 걸리고 등등을 설명해도 안통하는 분들이 계신다. 그래서 난 편법을 쓴다. 효과를 정량적으로 증명하기에는 내 수학적 지식이 너무 짧아서 너무나도 어렵고 여러 과제를 진행해 본 경험상 '예상 외로 효과가 있었소' 라고 말은 할 수 있겠다. 다음과 같은 시스템을 생각해보자. 여기서 AC를 만든다면, TestCase의 수는 3 X 2 X 3 X 6 X 2 = 216 개가 된다. 간단한 시스템이기 때문에 엄청나게 큰 수는 아니지만, 그렇...

» More

좋은 방법론이 쏟아져 나온다. 그 좋은 방법론을 어떻게 적용했는지에 대한 예들이 쏟아져 나온다. 하지만 여기서 한번 쯤 생각해봐야 하는 것은 그 좋은 방법론을 써서 얼마나 좋은 품질의 제품을 만들었나, 하는 점이다. 그 좋은 방법론을 적용한 성공 사례 세미나를 듣게 되면 그 좋은 방법론이 빚어낸 결과물에 대한 이야기는 쏘옥 빠지고 개발 프로세스 중 일정 부분을 따와서 예전엔 저랬던 것을 현재는 이렇게나 개선되었다고만 말한다. 좋은 방법론을 써서 효율이 향상되었건 말건 결국 그 결과물에 대한 평가는 고객들이 하는 것이다. 실제로 좋은 방법론...

» More