2024년 5월에 회사를 옮긴 뒤 그해에는 새 회사에 적응했습니다.
그 뒤로는 상담사를 지원하는 AI 제품을 기획했습니다.
상담사 지원 시스템도 고객센터 효율화를 위해 투자하는 영역 중 하나입니다.
이 시기에 저는 고객센터라는 큰 주제 안에서 이 축에 집중했습니다.
고객이 스스로 해결하지 못한 문제는 상담사의 일이 됩니다.
상담사는 문의 한 건을 처리하려고 여러 시스템을 조회하고, 지식을 검색하고, 필요하면 리더에게 확인을 받습니다.
통화가 끝나면 요약과 후처리, 상담유형 분류가 남습니다.
제가 기획한 제품은 이 과정을 지원합니다.
LLM이 등장했을 때 저는 경계했습니다.
챗봇과 콜봇을 구축하고 그 투자 효과를 증명해야 했던 경험이 있어서, 새 기능을 도입하고 적용하는 것만으로는 원하는 결과를 얻을 수 없다고 생각했습니다.
그래서 저희 팀은 일관된 안내, 실시간 대응, 같은 기준의 판단, 입력 데이터의 품질, 비용처럼 운영 시스템이 지켜야 하는 조건을 처음부터 고려했습니다.
하지만 제품을 만드는 동안 고객사는 정확도를 물었고, 저도 정확도를 높이는 데 집중했습니다.
상담유형 추천은 정확도가 올랐고, 신입 상담사의 후처리 시간은 줄었습니다.
그런데 경력 상담사는 이 기능을 잘 쓰지 않았습니다.
상담사는 더 많은 문의를 더 빨리 처리하는 것이 일이고, 그것으로 평가받습니다.
경력 상담사는 통화 중에 이미 유형을 판단합니다.
추천이 정확해도 상담사가 판단하는 시점에 들어오지 않으면 쓸모가 없었습니다.
STT 품질을 높이려면 상담사가 정확하게 안내하고 기록해야 하는데, 그럴 여유도 없었습니다.
인센티브를 조정해 보기도 했지만 오래 해 온 방식은 쉽게 바뀌지 않았습니다.
운영을 고려해서 만들었지만, 제가 고려한 것은 시스템의 조건이었습니다.
상담사가 일하는 방식과 평가는 제품으로 바꿀 수 있는 범위 밖에 있었습니다.
챗봇에서 답을 받고도 상담사를 찾던 고객과 같은 일이었습니다.
문의에 답을 잘해도 고객의 문제가 해결되지 않으면 고객은 상담사를 찾습니다.
기술이 정확하게 작동하는 것과 사용자가 하려는 일에 도움이 되는 것은 달랐습니다.
금융사에서 챗봇을 운영할 때 했던 질문으로 다시 돌아온 것입니다.
그런데 시장은 여전히 LLM으로 무엇을 할지, 얼마나 정확한지, 답을 얼마나 잘 맞히는지, 얼마나 더 많이 처리하는지, 생산성이 얼마나 오르는지를 이야기하고 있었습니다.
ARS, 챗봇, 콜봇, LLM으로 기술이 바뀔 때마다 투자의 이유는 같았습니다.
콜이 많으니 더 적은 비용으로 더 빨리 처리하자는 것입니다.
새 기술이 나오면 기존에 하던 일을 자동화하는 데 도입합니다.
챗봇을 AI로 바꿔 더 잘 응대하게 하는 것이 한 예입니다.
문의에 더 잘 대응할 수는 있습니다.
다만 콜이 많다는 것은 제품과 서비스에서 해결되지 않은 일이 고객센터로 모인 결과이고, 처리 방법만 바꿔서는 들어오는 문의가 줄지 않습니다.
LLM이 등장했을 때부터 경계했던 일인데, 저도 정확도를 높이는 일에 집중하면서 같은 흐름에 휩쓸리고 있었습니다.
바뀐 생각. 질문이 처음으로 다시 돌아왔습니다.
고객은 왜 문의하는가입니다.
고객센터의 처리 성과와 고객의 문제 해결은 따로 확인해야 하고, 새 기술을 적용하기 전에 그 기술로 고객의 어떤 문제를 해결하려는지부터 정해야 한다고 생각하게 됐습니다.