신뢰 가능한 시스템 구축 방법

[질문]

고객사의 자산을 관리하고, 효율적인 투자를 제안하는 컨설팅업체입니다. 다양한 고객사의 변화된 상황을 경영진에서는 주기적으로 보고서를 요청하는 상황이라, 6개월 전쯤 담당 부서에서 바이브 코딩을 이용해서 자동 리포트 생성시스템을 구축했습니다. 처음에는 별 문제없이 반복적인 업무를 해결할수 있게 되어서, 편리하게 사용하는 상황이었습니다.

당연히 AI를 통해서 제작된 시스템이라 그런지 원하는 기능에 대한 빠른 보완도 가능했고, 경영진들또한 빠른 피드백에 만족스러운 반응이었습니다. 고개사에도 AI를통해서 빠른 결과를 도출하는 업체로 마케팅을 대대적으로 진행까지 한 상황입니다.

몇일전쯤에 법인정산을 위해서 회계데이터와 비교하던중, 우연히 특정데이터가 누락된 현상을 발견하게 되었습니다. 잘못된 KPI보고를 생성한 상황이라 투자/전략 방향에 오류가 발생한 심각한 문제가 발생했습니다. . 단순한 수치의 문제가 아니라 데이터와 보고서를 기반으로 판단하는 구조상 앞으로 발생할 문제가 너무 많습니다..

비개발자인 직원이 개발한 바이브코딩 결과물을 가지고, 책임을 져야하는 상황에 오니, 혁신적인 시스템이라고 좋아하던 경영진분들이 너무 냉정히 지네요.. 나름대로 수습을 해보려고 팀원들과 같이 머리를 굴려봤지만, 기존에 제작할때와 버전이 달라져서 수정하려할수록 더욱더 결과물이 이상하게 나오고 있습니다.

이전 문제야 그렇다고 쳐도, 수정된 바이브코딩 결과물을 신뢰할수가 없네요. 신뢰할수 있는 시스템을 설계하거나 만드는 방법, 또는 평가할 방법이 없을까요?

[답변]

안녕하세요. IT전문 컨설턴트입니다.

바이브코딩을 통해서 제작된 시스템는 아직까지는 안전하지 못합니다. 물론 몇년이 지나면 더 좋은 AI를 통해서 안정적인 바이브코딩을 진행할수 있을 가능성은 높지만, 현재 작성자분이 경험하셨듯이 100%의 신뢰를 할수는 없습니다.

바이브코딩 기반의 시스템은 운영시스템으로는 아직까지 위험도가 높습니다. 회사 업무를 보조하는 실험용 시스템으로 인지하시고 어느정도 사용을 한 이후 AX를 전문으로 하는 기업이나, 업무지원시스템을 구축하는 업체를 통해서 시스템을 구축하는 전략을 추천드립니다.

특히 아래와 같은 상황이 전개될때는 더욱더 심각하게 고민해야 합니다.

1. 회사의 핵심 데이터가 입력되기 시작할때

2. 여러 사람이 동시에 쓰기 시작할 때,

3. 의사 결정에 사용되기 시작할때

컨설팅 현장에서 사용하는 [업무용 바이브코딩 시스템에 대한 리스크 진단]를 공개합니다. 잘 활용해서 좋은 시스템 설계를 진행해 보세요.

1. 구조&유지보수 (2개 이하면 구조 붕괴 위험)

-시스템 구조를 문서로 설명할수 있다.

-다른 사람이 1~2주안에 이해 가능하다.

-코드/로직이 일관된 규칙으로 작성되어 있다.

-기능 추가시 기존 기능이 잘 않 깨진다.

2. 개인 의존도. (1개 이하면 퇴사시 시스템 조요 수준)

-만든 사람이 없어도 운영이 가능하다.

-장애 발생 시 다른 사람이 대응 가능하다.

-핵심 로직이 문제화 되어있다.

3. 데이터 신뢰성 (2개 이하면 잘못된 의사결정 위험)

-데이터 입력 시 검증 로직이 있다.

-계산 결과를 사람이 검증한 적 있다.

-데이터 오류 발생 시 추적 가능하다.

4. 보안&권한 (2개 이하면 보안 사고 가능성 높음)

-사용자별 권한 관리가 있다.

-로그인/인증이 제대로 작동한다.

-외부 접근 차단이 되어 있다.

-민감 정보 암호화가 되어 있다.

5. 성능&확장성 (1개 이하면 1년내 성능 붕괴 예상)

-사용자 증가에도 속도가 유지된다.

-데이터가 많아져도 문제 없다.

-서버/환경 확장이 가능하다.

6. 로그&백업(1개 이하면 사고 발생 시 복구 불가)

-사용 기록(로그)이 남는다.

-데이터 백업이 자동으로 된다.

-장애 발생 시 복구 가능하다.

7. 실제 사용 영향도 (2개 이상이면 반드시 안정화 작업 필요)

-이 시스템 없으면 업무가 멈춘다.

-여러 부서가 사용한다.

-경영/의사 결정에 사용된다.

각 점수항목 및 비율에 따라서 대응해야 하는 전략은 나눌수 있습니다. 문제가 발생했다면, 전문가의 도움을 받는것이 좋습니다. 리스크가 발생하기 이전 점검을 해보고, 리스크를 예방할수 있는 전략을 수립하는것이 현명한 방안입니다. AI가 만들든, 사람이 만들든.. 경험적인 부분이 부족하면 안정적인 시스템은 만들수가 없습니다.

[IT컨설턴트의 생각]

바이브코딩에서 발생하는 문제점의 대부분은 검증되지 않은 시스템을 회사가 믿어버리는 순간 시작됩니다. 고전적인 개발에 있어서도 다양한 문제가 발생하지만, 어느정도의 경험적인 노하우와 실무적인 지식으로 충분히 해결할수 있는 수준입니다. 이때도, 시스템에 대한 다양한 테스트와 정책기반의 점검으로 실제 사용이전에 충분한 확인절차가 진행됩니다. 이런점에서 DX/AX를 전담하는 전문인력이 없는 기업은 IT컨설턴트의 도움이 반드시 필요합니다.