[ expertory ]

[expertory] Verification의 다양성(Diversity)은 외부적관점(External perspective)이 규정하는 개방성 중 무엇을 받아들이는가를 봅니다. 원천(Source)은 누구에게서 오는지를, 종류(Type)는 어떤 속성의 정보인지를, 형식(Format)은 어떤 형태로 오는지를 규정합니다.

• 원천 (Source): 정보가 누구에게서 오는지를 가리지 않습니다. 특정 원천만 수집 대상으로 한정하지 않고, 확인 가능한 모든 원천에서 온 정보를 받아들입니다.
• 종류 (Type): 정보의 속성을 가리지 않습니다. 어떤 속성의 정보인지는 수집 시점에 판단하지 않고 구조화단계(Structure stage)에서 판단합니다.
• 형식 (Format): 정보가 오는 형태를 가리지 않습니다. 형태가 달라도 원본 그대로 받아들이고, 표준 형태로의 변환은 구조화단계에 맡깁니다.

[expertory] Verification의 유연성(Flexibility)은 외부적관점(External perspective)이 규정하는 개방성 중 범위가 늘어나는 상황에 얼마나 열려 있는가를 봅니다. 원천 확장(Source expansion)은 새로운 원천이 더해질 수 있음을, 종류 확장(Type expansion)은 새로운 종류가 더해질 수 있음을, 시기(Timing)는 수집 시점과 주기를 하나로 고정하지 않음을 규정합니다.

• 원천 확장 (Source expansion): 수집 대상 원천은 닫힌 목록이 아닙니다. 새 원천이 나타나면 기존 수집 방식을 바꾸지 않고 더할 수 있어야 합니다.
• 종류 확장 (Type expansion): 수집 대상 정보의 종류도 닫힌 목록이 아닙니다. 새 종류의 정보가 필요해지면 이미 수집한 원자료에 영향을 주지 않고 더할 수 있어야 합니다.
• 시기 (Timing): 수집 시점과 주기를 하나로 고정하지 않습니다. 원천마다 정보가 바뀌는 속도가 다르므로, 원천의 성격에 맞는 시점과 주기로 수집합니다.

[expertory] Verification의 불변성(Immutability)은 내부적관점(Internal perspective)이 규정하는 원칙 중 원본을 손대지 않는다는 부분입니다. 한번 들어온 원자료는 원본 그대로 보존하고, 수정은 구조화단계(Structure stage)에서 별도로 이루어집니다. 수집단계는 원자료를 고치거나 덮어쓰지 않습니다.

[expertory] Verification의 원자성(Atomicity)은 내부적관점(Internal perspective)이 규정하는 원칙 중 수집이 전부 이루어지거나 전부 이루어지지 않는다는 부분입니다. 형식이 예상과 다르면 아무것도 적재하지 않고 중단해, 일부만 들어가 어중간하게 섞인 상태를 만들지 않습니다. 중단된 수집은 원인을 확인한 뒤 처음부터 다시 수행합니다.

[expertory] Verification의 멱등성(Idempotency)은 내부적관점(Internal perspective)이 규정하는 원칙 중 같은 것을 다시 넣어도 결과가 달라지지 않는다는 부분입니다. 이미 수집된 것과 같은 식별자의 원자료는 다시 적재하지 않고 건너뜁니다. 같은 원자료를 실수로 두 번 넣어도 중복이 생기지 않습니다.

[expertory] Verification의 정체성(Identity)은 리빙 스탠다드(Living Standard)가 바뀌는 동안에도 같은 표준임을 유지하는 조건을 규정합니다. 무버전성(Versionlessness)은 지금의 표준만 유효함을, 누적성(Cumulativity)은 표준이 바뀌는 계기를, 재처리성(Reprocessability)은 재평가를 실제로 가능하게 하는 조건을, 소급성(Retroactivity)은 과거 레코드까지 새 표준으로 다시 처리하는 선택을 규정합니다.

• 무버전성 (Versionlessness): 표준의 과거 버전을 별도로 인정하지 않고, 지금 이 순간의 표준만 유효합니다. 이전 표준을 과거의 정답으로 남겨두지 않습니다.
• 누적성 (Cumulativity): 표준은 이상현상(Anomaly)이 누적될 때 바뀝니다. 기존 표준으로 설명되지 않는 사례가 쌓이면 표준 자체를 개정합니다.
• 재처리성 (Reprocessability): 재평가를 선언에 그치지 않게 만드는 조건입니다. 수집단계의 불변성(Immutability)이 원자료를 보존하므로, 표준이 나아지면 구조화를 처음부터 다시 수행해 더 나은 결과를 새로 만들어낼 수 있습니다.
• 소급성 (Retroactivity): 표준이 바뀌면 이미 처리된 과거 레코드도 새 표준으로 전면 다시 처리하며, 새로 들어오는 레코드에만 새 표준을 적용하지 않습니다. 재처리성을 실제로 끝까지 쓰는 선택입니다.

[expertory] Verification의 개정 방식(Revision method)은 리빙 스탠다드(Living Standard)가 실제로 바뀌는 절차를 규정합니다. 점증적 변경(Incremental Change)은 변경의 단위를, 근거 기록(ADR)은 변경 경위를 남기는 방식을, 권한 행사(Exercise of authority)는 누가 변경을 확정하는가를 정합니다.

• 점증적 변경 (Incremental Change): 표준을 한 번에 크게 바꾸지 않고, 작은 단위로 하나씩 개정합니다. 변경 단위가 작아야 각 변경의 영향을 확인하고 필요하면 되돌릴 수 있습니다.
• 근거 기록 (ADR): 표준이 바뀔 때마다 무엇을 왜 바꾸었는지 경위를 함께 남깁니다. 근거 기록은 관리 계층(Management layer)에 쌓입니다.
• 권한 행사 (Exercise of authority): 표준을 바꿀 최종 판단은 사용자(워킹그룹)가 내립니다. 판단이 갈리는 변경은 승인을 거쳐야 확정되며, 승인되지 않은 변경은 표준에 반영하지 않습니다.

[expertory] Verification의 무손실성(Losslessness)은 스테디 코히어런스(Steady Coherence)가 규정하는 네 관계 중 위(수집단계)와의 관계입니다. 표준 형태로 바꾸는 과정에서 수집된 정보를 잃거나 왜곡하지 않아야 합니다. 보존성(Preservation)은 정보를 잃지 않음을, 비왜곡성(Non-distortion)은 정보의 뜻을 바꾸지 않음을 규정합니다.

• 보존성 (Preservation): 재구성 과정에서 정보를 버리지 않습니다. 여러 지점을 하나로 병합하더라도 병합된 지점 수는 별도로 남기고, 레코드를 삭제하지 않습니다.
• 비왜곡성 (Non-distortion): 표준 형태로 옮기는 과정에서 원자료의 뜻을 바꾸지 않습니다. 표준에 맞지 않는 값은 임의로 고쳐 넣지 않고, 원자료와 대조할 수 있는 상태로 둡니다.

[expertory] Verification의 공시성(Synchrony)은 스테디 코히어런스(Steady Coherence)가 규정하는 네 관계 중 옆(같은 시점의 다른 레코드)과의 관계입니다. 지금 이 순간 모든 전문가의 정보가 같은 기준으로 다뤄져야 합니다. 일관성(Consistency)은 같은 형식으로의 통일을, 상호교환성(Interchangeability)은 원천과 관계없이 같은 방식으로 다룰 수 있음을 규정합니다.

• 일관성 (Consistency): 같은 종류의 정보는 원천과 관계없이 같은 형식으로 통일합니다. 원천마다 다른 표기와 단위를 하나의 표준으로 맞춥니다.
• 상호교환성 (Interchangeability): 재구성된 레코드는 어느 원천에서 왔든 다음 단계가 완전히 같은 방식으로 다룰 수 있어야 합니다. 원천에 따라 처리 방식이 달라지는 예외를 두지 않습니다.

[expertory] Verification의 통시성(Diachrony)은 스테디 코히어런스(Steady Coherence)가 규정하는 네 관계 중 시간(같은 레코드의 과거 상태)과의 관계입니다. 한 전문가의 정보가 시간에 따라 어떻게 바뀌어왔는지를 추적할 수 있어야 합니다. 변경 감지(Change Detection)는 새로 들어온 정보의 성격을 구분하는 출발점을, 이력 관리(History management)는 그 변화를 쌓아두는 방식을 규정합니다.

• 변경 감지 (Change Detection): 통시성 판별의 출발점입니다. 새로 들어온 정보가 완전히 새로운 레코드인지, 이미 있는 레코드가 갱신된 것인지를 먼저 구분합니다.
• 이력 관리 (History management): 갱신된 레코드는 이전 상태를 덮어쓰지 않고 이력으로 남깁니다. 이는 레코드의 과거 상태를 보존하는 것이므로, 표준의 과거 버전을 인정하지 않는 무버전성(Versionlessness)과 충돌하지 않습니다.

[expertory] Verification의 필요충분성(Necessity and Sufficiency)은 스테디 코히어런스(Steady Coherence)가 규정하는 네 관계 중 아래(검증단계)와의 관계입니다. 구조화가 만들어내는 결과는 검증단계가 판정할 후보 풀(Candidate pool)이며, 이 후보 풀은 너무 많지도 너무 적지도 않아야 합니다. 필요성(Necessity)은 불필요한 것을 넘기지 않음을, 충분성(Sufficiency)은 판정에 필요한 것을 빠뜨리지 않음을 규정합니다.

• 필요성 (Necessity): 검증단계가 판정에 쓰지 않는 정보는 후보 풀에 싣지 않습니다. 넘기는 정보가 많을수록 판정의 부담만 커집니다.
• 충분성 (Sufficiency): 검증단계가 판정에 필요한 정보는 빠짐없이 후보 풀에 싣습니다. 정보가 모자라면 판정 자체가 불가능해집니다.

[expertory] Verification의 확인 범위(Verification scope)는 대상요건(Object requirement)이 규정하는 무엇을 보는가 중 게시될 것만 확인한다는 부분입니다. 구조화단계에는 게시되지 않을 정보도 있을 수 있지만, 검증단계는 그중 게시단계(Publish stage)에서 실제로 보여줄 정보만 확인 대상으로 삼습니다. 확인 범위와 게시 범위가 같아야 확인되지 않은 정보가 게시되지 않습니다.

[expertory] Verification의 판단 근거(Grounds for judgment)는 대상요건(Object requirement)이 규정하는 무엇을 보는가 중 판단의 재료를 다루는 부분입니다. 검증을 수행하려면 수집단계와 구조화단계가 지나온 상태와 변화 이력을 볼 수 있어야 합니다. 구조화단계의 통시성(Diachrony)이 남긴 이력이 판단의 재료로 쓰입니다.

[expertory] Verification의 타당성(Validity)은 판단요건(Judgment requirement)이 규정하는 조건 중 판단자 개인이 자격을 갖추는가를 봅니다. 독립성(Independence)은 제3자의 확인에 기대지 않음을, 이해상충 방지(Conflict of Interest)는 판단자가 대상과 무관함을, 최종 완성(Human-in-the-loop)은 사람이 최종 판단을 내림을 규정합니다.

• 독립성 (Independence): 협회와 같은 제3자의 확인에 기대지 않고, [expertory]가 스스로 확인할 수 있는 것만 다룹니다. 남의 판단을 빌려오지 않고 직접 확인해야 결과가 신뢰받습니다.
• 이해상충 방지 (Conflict of Interest): 판단자는 확인 대상과 개인적·금전적 이해관계가 없어야 합니다. 독립성이 제3자에게 기대지 않는 조건이라면, 이해상충 방지는 판단자 본인이 대상과 관련되지 않는 조건입니다. 판단자 규모에 따라 회피·기피·제척을 함께 적용합니다.
• 최종 완성 (Human-in-the-loop): 시스템이 판단의 기반이 되지만, 최종 판단은 사람이 내립니다. [expertory]의 고객인 정보 이용자와 정보 제공자가 사람이므로, 이 단계는 사람의 판단으로 완성됩니다.

[expertory] Verification의 신뢰성(Reliability)은 판단요건(Judgment requirement)이 규정하는 조건 중 판단자들 사이에서 일관되는가를 봅니다. 평가자 간 신뢰성(Inter-rater Reliability)은 일관성의 기준을, 기준 정렬(Calibration)은 판단자가 소수일 때의 보장 장치를, 합치도 측정(Agreement measurement)은 판단자가 여럿일 때의 보장 장치를 규정합니다.

• 평가자 간 신뢰성 (Inter-rater Reliability): 같은 사례는 누가, 언제 보더라도 같은 결론에 이르러야 합니다. 타당성 조건을 모두 갖추어도 판단이 사람마다 달라지면 결과를 신뢰할 수 없습니다.
• 기준 정렬 (Calibration): 판단자가 소수일 때는 공통 체크리스트로 판단 항목을 맞춥니다. 같은 사례를 함께 판단해 보며 판단자 사이의 기준 차이를 좁힙니다.
• 합치도 측정 (Agreement measurement): 판단자가 여럿일 때는 판단 결과가 얼마나 일치하는지를 정량적으로 측정합니다. 합치도가 낮게 나타나면 기준을 다시 정렬합니다.

[expertory] Verification의 거절 옵션(Reject Option)은 논리요건(Logic requirement)이 규정하는 결론 방식 중 결론을 보류하거나 거절할 권리입니다. 판단 근거가 불충분하면 억지로 결정하지 않고 보류합니다. 누군가 정보를 게시해 달라고 요청하더라도, 적절하지 않으면 거절할 수 있어야 합니다.

[expertory] Verification의 정밀도 우선(Precision over Recall)은 논리요건(Logic requirement)이 규정하는 결론 방식 중 오류의 비대칭성을 받아들이는 태도입니다. 확인되지 않은 것을 보여주는 오류는 확인된 것을 보여주지 못하는 오류보다 무겁습니다. 따라서 애매한 정보는 제외합니다.

[expertory] Verification의 표현 범주(Representational category)는 충실성기준(Fidelity standard)이 규정하는 왜곡 없는 전달 중 표시 자체의 품질을 봅니다. 해석 가능성(Interpretability)은 별도 설명 없이 뜻을 알 수 있는지를, 이해 용이성(Ease of Understanding)은 전문 용어 없이 이해되는지를, 간결성(Concise Representation)은 필요한 만큼만 보여주는지를 규정합니다.

• 해석 가능성 (Interpretability): 게시되는 모든 표시는 별도 설명 없이도 그 자체로 무엇을 뜻하는지 알 수 있어야 합니다. 뜻을 알기 위해 다른 화면이나 문서를 찾아봐야 하는 표시는 게시하지 않습니다.
• 이해 용이성 (Ease of Understanding): 게시되는 표시는 전문 용어 없이도 명확히 이해되어야 합니다. 검증 절차 내부에서 쓰는 용어와 화면에 보여주는 말은 구분해 관리합니다.
• 간결성 (Concise Representation): 검증 결과를 전달하는 데 필요한 만큼만 보여줍니다. 필요 이상의 정보는 판정의 핵심을 흐리므로 덜어냅니다.

[expertory] Verification의 그래픽 무결성(Graphical Integrity)은 충실성기준(Fidelity standard)이 규정하는 왜곡 없는 전달 중 시각적 표현을 다루는 부분이며, 그래픽 효과의 크기를 실제 데이터 효과의 크기로 나눈 거짓 계수(Lie Factor)가 1에서 벗어나지 않게 하는 것을 목표로 합니다. 명확한 라벨링(Clear Labeling)은 표시의 뜻을 충분히 설명하는지를, 데이터 변화 우선(Data Variation)은 화면의 차이가 실제 검증 내용의 차이인지를, 차원 제한(Dimensions)은 크기나 면적으로 과장하지 않는지를, 맥락 유지(Context)는 일부만 잘라 다른 인상을 주지 않는지를 규정합니다.

• 명확한 라벨링 (Clear Labeling): 표시가 무엇을 뜻하는지 애매하게 두지 않고 충분히 설명합니다. 검증되었다는 표시를 붙일 때는 무엇을 언제 확인했는지를 함께 보여줍니다.
• 데이터 변화 우선 (Data Variation): 두 항목이 화면에서 다르게 보인다면 그 차이는 실제 검증 내용의 차이여야 하며, 디자인 재량에서 비롯되어서는 안 됩니다. 한 전문가의 정보만 더 크거나 화려하게 보이면 사용자는 그 전문가가 더 검증되었다고 오해할 수 있습니다.
• 차원 제한 (Dimensions): 표현에 쓰는 차원의 수는 데이터가 가진 차원의 수를 넘지 않습니다. 하나의 수치를 크기나 면적으로 표현하면 차이가 실제보다 크게 느껴지므로, 신뢰성이나 검증 항목 수 같은 값에도 이 기준을 적용합니다.
• 맥락 유지 (Context): 검증된 사실의 일부만 잘라 보여주어 전체와 다른 인상을 주지 않습니다. 확인 범위(Verification scope)에 따라 확인된 부분만 보여줄 때에도, 그 표현이 실제와 다른 인상을 주지 않는지 게시단계가 한 번 더 살핍니다.