COBOL을 옮길 때 AI가 지켜야 할 것: OpenAI의 새 평가

OpenAI는 2026년 10월 19일 COBOL·Fortran·Visual Basic처럼 학습 자료가 상대적으로 적은 언어에서 코딩 모델의 성능이 개선됐다고 발표했습니다. 새 프로그램을 만드는 능력과 기존 프로그램의 동작을 보존하며 다른 언어로 옮기는 능력을 별도로 평가한 것이 이번 발표의 핵심입니다.

새 코드와 이식의 차이

MultiLangBench는 20개 언어로 SQLite 호환 데이터베이스 엔진을 구현하도록 요구합니다. 초기 데이터베이스와 SQL 질의를 입력하고, 실행 뒤 데이터베이스 내용을 기준 SQLite 구현과 대조합니다. 언어별로 다른 문법을 채점하는 대신 같은 데이터 결과를 비교하는 방식입니다. 장시간 개발 과정에서 상태 관리와 오류 처리, 기능 추가가 함께 필요합니다.

OpenAI가 보고한 최대 추론 설정의 평균 테스트 통과율은 GPT-6 Astra 87.4%, GPT-5.6 Sol 26.8%입니다. COBOL은 10.9%에서 72.1%, Fortran은 21.4%에서 83.5%로 개선됐다고 설명합니다. 이는 해당 평가의 테스트 통과율이며 임의의 기업 프로그램을 성공적으로 이식할 확률이 아닙니다. 모델 이름이 비슷해도 서로 다른 평가와 추론 설정의 수치를 섞어 비교하면 안 됩니다.

출력의 일치가 기준

두 번째 평가는 COBOL 프로그램을 C++·Java·Kotlin·Python·Rust로 옮깁니다. 관찰 가능한 출력을 바이트 단위로 대조하는 숨겨진 테스트를 모두 통과해야 성공으로 인정합니다. 단순히 컴파일되고 실행되는지를 넘어서 결과가 같은지 묻는 평가입니다.

발표에 따르면 GPT-6.1 Sol은 낮은 추론 설정에서 86.6% 정확도를 기록했으며 비교 대상 GPT-5.6 Sol은 5.4%였습니다. 같은 낮은 설정에서 API 비용은 비교 대상의 61%였다고 합니다. 높은 추론 설정의 정확도는 97.9%입니다. 평가 표본의 특성과 숨겨진 테스트 범위가 현실 시스템 전체를 대표한다는 보장은 없습니다. 수치는 제공자 자체 평가로 읽어야 합니다.

반올림도 업무 규칙

COBOL 고정소수점 계산에서는 명시적으로 반올림을 요청하지 않으면 초과 소수 자릿수를 버리는 동작이 중요할 수 있습니다. 새 언어의 기본 반올림을 적용하면 오류 없이 실행되더라도 금액이 달라집니다. 같은 이유로 레코드 누락 처리, 문자 인코딩, 필드 폭, 정렬 순서도 이식 과정에서 검증해야 합니다. 뒤 항목들은 발표 수치를 확대 해석한 성능 주장이 아니라 실무 검토 시 고려할 운영 기준입니다.

팀이 먼저 준비할 것은 대규모 자동 변환 명령이 아니라 기준 입출력 묶음입니다. 개인정보와 금융정보를 제거한 샘플을 만들고, 기존 프로그램의 출력과 부작용을 기록합니다. 정상 거래뿐 아니라 경계 금액·빈 레코드·잘못된 입력도 포함한 뒤 새 구현과 대조해야 합니다. 공개 평가가 데이터베이스 파일을 공통 인터페이스로 삼은 것처럼, 팀도 언어에 독립적인 관찰 지점을 정하는 편이 좋습니다.

도입 판단의 순서

처음에는 외부 연동과 운영 데이터가 없는 작은 모듈에서 시작하고, 검토자가 업무 규칙을 설명할 수 있는 범위를 선택하는 것이 합리적입니다. AI가 제시한 코드뿐 아니라 테스트가 무엇을 빠뜨렸는지도 사람이 검토해야 합니다. 전체 테스트 통과가 배치 시간, 장애 복구, 동시성, 감사 추적까지 보장하지는 않습니다.

이번 글은 제품 설치 가이드가 아니라 공개 연구 결과의 해설입니다. API 실행이나 실제 COBOL 이식 실험은 수행하지 않았습니다. 발표에 등장하는 비용은 평가 샘플의 추정 API 비용이며 조직의 실제 프로젝트 견적이 아닙니다. 모델 접근 권한과 최신 API 요금, 외부 서비스에 코드를 보내도 되는지에 대한 계약 검토는 별도로 필요합니다.

남아 있는 한계

OpenAI는 MultiLangBench의 평가 설정과 테스트를 GitHub에 공개했다고 밝혔습니다. 독자는 공개 저장소와 원문에서 평가 범위를 먼저 살펴보고 자기 시스템의 언어·의존성·업무 규칙이 포함되는지 비교할 수 있습니다. COBOL 이식 평가의 높은 점수를 모든 레거시 현대화에 대한 보증서로 읽기보다, 동작 보존을 측정 가능한 목표로 설정한 진전으로 보는 것이 정확합니다.

출처