신한은행, AI 6종에 '은행 업무시험'…5000문항으로 실무 적합성 검증

김연수 기자 / 기사승인 : 2026-11-16 23:33:38
  • -
  • +
  • 인쇄
▲ 신한은행.[토요경제DB]

 

신한은행이 은행 업무에 적합한 인공지능(AI) 모델을 선별하고 실제 업무 수행 과정까지 검증하는 기술을 국제학술대회에서 공개했다. 범용 AI의 높은 성능이 금융 실무 능력과 반드시 일치하지 않는다는 자체 평가 결과도 제시했다.

16일 금융권과 국제 금융인공지능학술대회(International Conference on AI in Finance·ICAIF) 공식 자료에 따르면 신한은행은 지난 15일 이탈리아 밀라노에서 열린 'ICAIF 2026' 워크숍에서 금융 AI 평가·검증에 관한 연구 논문 2편을 발표했다.

학회 공식 홈페이지에는 두 논문이 금융 AI 보안·개인정보보호·안전성 분야의 포스터 발표 논문으로 등재돼 있다. 모두 신한은행 소속 연구진이 작성했다.

첫 번째 논문은 '한국 은행 업무의 모델 선정을 위한 요구사항 기반 LLM 평가체계(K-BankEval - A Requirements-Driven LLM Benchmark Suite for Model Selection in Korean Banking)'다.

이강희(Kanghee Lee) 등 신한은행 연구진 8명이 참여한 이 연구는 일반적인 AI 성능 평가와 별도로 실제 은행 업무에 필요한 능력을 측정하는 데 초점을 맞췄다.

신한은행이 개발한 K-BankEval은 여신·수신·외환 등 은행 업무를 반영한 5000개 문항으로 구성됐다. 평가 영역은 6개다.

구체적으로 은행 업무 전문지식, 금융 문서 검색과 근거 기반 답변(RAG), 업무에 필요한 도구 호출, 금융 계산 및 추론, 금융소비자 보호 관점의 응답 안전성, AI 에이전트의 업무 수행 계획을 평가한다.

단순히 금융 지식을 정확히 답하는 능력만 측정하는 것이 아니라 필요한 자료를 찾아 근거를 제시하고 계산과 업무 수행 계획을 적절히 처리할 수 있는지도 평가하는 구조다.

신한은행은 이 평가체계로 대규모 언어모델(LLM) 6종을 비교했다. 그 결과 일반적인 AI 성능 평가에서 우수한 모델도 실제 은행 업무에서는 수행 능력에 차이가 있는 것으로 나타났다.

범용 AI의 성능만으로 금융 업무 적합성을 판단하기 어렵다는 점을 자체 평가를 통해 확인한 것이다.

두 번째 논문은 '금융 AI 에이전트 관리를 위한 근거 기반 평가(Evidence-Grounded Evaluation for Financial Agent Governance)'다. 문세화(Sehwa Moon) 등 신한은행 소속 연구진 8명이 저자로 참여했다.

이 연구는 신한은행의 내부 AI 에이전트 평가·검증 플랫폼인 '에이전트 파운드리(Agent Foundry)'를 기반으로 진행됐다.

핵심은 AI가 내놓은 최종 답변뿐 아니라 그 답변을 도출하기까지의 업무 수행 과정도 검증한다는 점이다.

신한은행은 업무별 요구사항을 검증 사례와 평가 기준으로 구체화하고 AI 에이전트의 답변과 도구 실행 기록을 분석하는 방식을 제시했다.

이를 통해 AI가 정해진 업무 기준을 충족했는지, 필요한 도구를 적절히 사용했는지, 업무를 효율적으로 수행했는지 등을 점검한다.

특히 업무 수행 과정에서 필수 확인 사항을 누락하거나 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법도 연구했다.

두 연구는 검증 대상을 달리한다. K-BankEval이 은행 업무에 적합한 AI 모델을 선정하기 위한 평가체계라면, 에이전트 파운드리는 선정된 모델 등을 활용하는 AI 시스템이 정해진 절차에 따라 업무를 수행하는지 점검하는 기술이다.

모델 자체의 성능과 실제 업무 수행의 신뢰성을 각각 검증하는 방식으로 금융 AI의 적용 범위를 넓힐 수 있는 기반을 마련한 셈이다.

다만 이번에 비교한 AI 모델 6종의 명칭과 모델별 정확도, 평가 영역별 세부 점수는 공개되지 않았다. 어떤 모델이 여신이나 외환 업무에서 상대적으로 우수했는지는 현재 공개된 자료만으로 확인할 수 없다.

학회 공식 홈페이지에는 두 논문의 제목과 저자, 소속이 등재돼 있지만 논문 전문은 게시되지 않았다. 해당 워크숍은 별도의 공식 논문집을 발행하지 않는 방식으로 운영됐다.

신한은행은 이번 연구를 바탕으로 금융 업무에 특화된 AI 평가기술을 고도화할 계획이다.

신한은행 관계자는 "금융 분야 AI 활용에는 높은 성능뿐 아니라 실제 업무 적합성과 수행 과정 검증이 중요하다"며 "특화된 평가·검증 기술을 고도화해 안심하고 활용할 수 있는 환경을 조성하겠다"고 말했다.

토요경제 / 김연수 기자 kys@sateconomy.co.kr

 

[저작권자ⓒ 토요경제. 무단전재-재배포 금지]

뉴스댓글 >

많이 본 기사

HEADLINE

연중캠페인

단독보도

오피니언