로봇청소기 리뷰에서 청소 성능과 장애물 회피를 확인해도, 몇 달 뒤 고장 났을 때 교환이 얼마나 걸릴지는 알기 어렵다. 공개 리뷰를 모아 제품 순위를 매기는 BettaScore가 10월 27일 발표한 분석은 이 빈칸을 보여 준다. 같은 제품군을 이야기해도 유튜브 리뷰어와 레딧 사용자가 집중하는 주제가 달랐다.
전체 조사 대상은 19개 제품군의 판매 중인 제품 657개다. 그중 신뢰성·내구성·보증·서비스·고객지원을 별도 주제로 구분할 수 있는 14개 제품군에서는 관련 의견 비중이 유튜브 7.8%, 레딧 17.0%였다. 오래 쓰는 동안 생기는 문제를 찾으려면 출시 직후 리뷰만으로는 부족하다는 이야기다.
로봇청소기는 1%와 18%, 제품군별 차이도 크다
자동 청소 고양이 화장실에서는 고장과 지원에 관한 의견이 유튜브의 3%, 레딧의 39%였다. 로봇청소기는 각각 1%, 18%다. 레이저 각인기, 로봇 잔디깎이, 휴대용 전원장치에서도 사용자 쪽의 비중이 높았다. 반면 커피머신은 17%와 18%로 거의 같았다. 14개 제품군 가운데 13개가 같은 방향이었고, 테니스 공 발사기는 유튜브 16%, 레딧 13%로 반대였다.
이때 의견 하나는 글 하나나 사람 한 명을 뜻하지 않는다. 한 출처가 한 제품의 한 주제에 대해 내놓은 평가가 한 건이다. 같은 글에서 고장을 열 번 언급해도 그 주제에서는 한 건으로 세고, 다섯 주제를 다루면 다섯 건이 된다. 로봇청소기의 18%도 구매자 18%가 고장을 겪었다는 뜻이 아니다. 레딧에서 추출한 전체 의견 466건 중 관련 의견 84건의 비중을 반올림한 수치다.
출시 초 리뷰와 사용 후기가 갈리는 이유로 연구진은 관찰 기간을 든다. 새 제품을 며칠에서 몇 주 써 보는 동안에는 몇 달 뒤의 고장이나 고객지원 대응을 평가하기 어렵다. 사용자는 문제가 생겼을 때 글을 남기기도 한다. 조사에서 레딧의 전체 주제에 대한 부정 의견 비중은 56%로, 유튜브의 15%보다 높았다. 이 자료는 사람들이 무엇을 걱정하는지 보여 주지만 제품의 고장률을 측정한 표본은 아니다.
앱은 비슷하게 자주 이야기하지만 평가는 달랐다
앱·소프트웨어·펌웨어·연결 문제는 다른 양상이었다. 전체 의견에서 이 주제가 차지한 비중은 유튜브 8.2%, 레딧 9.4%로 가깝다. 차이는 평가 방향에서 났다. 긍정·부정 의견만 놓고 계산하면 부정 비중이 유튜브 21%, 레딧 71%였다. 기기에 딸린 앱을 언급하는 빈도가 비슷해도, 쓰면서 겪는 불편에 대한 평가는 크게 벌어진 셈이다.
스마트 도어록은 앱 관련 부정 비중이 17%와 72%, 휴대용 전원장치는 15%와 69%였다. 로봇청소기는 9%와 50%로 차이가 났다. 3D 프린터는 리뷰어 쪽도 61%로 이미 높았고, 사용자 쪽은 85%였다. 이 표에서 높은 수치를 읽을 때는 해당 제품군의 모든 소유자가 아니라, 그 주제를 평가한 의견을 분모로 삼았다는 점을 함께 읽어야 한다.
연구진이 든 레이저 각인기 사례에서는 초기 설정과 사용 편의성에 긍정 8건, 부정 0건이 모였지만 소프트웨어·연결은 긍정 3건, 부정 7건이었다. 사용자들이 주로 지적한 내용은 유료 소프트웨어 구독과 인터넷 연결 의존성이었다. 설치가 쉬운지와 계속 쓰는 조건이 괜찮은지는 서로 다른 질문이다.
비중을 읽기 전에 분모와 분류부터 맞춰야 한다
조사는 유튜브 의견 8,062건, 레딧 의견 4,525건을 바탕으로 했다. 첫 번째 고장·지원 비교에 쓰인 14개 제품군의 분모는 각각 6,900건과 3,567건으로 더 작다. 신뢰성을 연결 문제 등과 합쳐 놓은 혼합 주제와 레딧 자료가 없는 제품군을 제외했기 때문이다. 혼합 주제까지 포함하면 사용자 쪽의 관련 의견 비중은 리뷰어의 2.4배로 바뀐다. 어느 제품을 더 넣었는지만큼 어떤 주제를 같은 묶음으로 봤는지도 결과를 바꾼다.
주제와 긍정·부정 분류는 AI 모델이 맡았다. 각 의견에는 원래 문장으로 돌아가는 링크가 붙는다. 협찬 유튜브 리뷰도 다른 출처와 똑같이 포함됐으며, 협찬 여부를 안정적으로 구분하지 못했다고 연구진은 설명한다. 따라서 이번 차이를 협찬 하나의 효과로 해석할 수는 없다. 사용 기간과 게시 동기, 분류 방식이 함께 섞인 비교다.
구매 후보를 좁혔다면 몇 달 뒤의 기록을 찾는다
구매 전 영상은 조작법이나 초기 성능을 보는 데 쓸 수 있다. 후보가 정해지면 모델명에 ‘몇 달 사용’, ‘1년 후기’, 영어로는 ‘months’나 ‘a year later’를 붙여 이후 기록을 찾아볼 만하다. 불만의 개수만 세기보다 같은 고장이 반복되는지, 제조사가 해결했는지, 교체품을 받기까지 얼마나 걸렸는지를 읽는 편이 구매 판단에 도움이 된다.
앱이 필요한 기기라면 인터넷이 끊겨도 기본 기능이 작동하는지, 구독을 끝냈을 때 무엇을 못 쓰게 되는지부터 확인할 수 있다. 보증 기간도 약관의 숫자에서 멈추지 않고 실제 교환 경험과 함께 읽는다. 처음 켰을 때 잘 작동한다는 평가와 오래 쓰기 편하다는 평가는 따로 모아야 한다.