짧은 휴대전화 녹음으로 개인 음성 스타일을 학습하는 로컬 음성 복제 모델이 첫 합성 샘플을 내놓았다. 휴대전화 녹음은 16개였고 학습 로그의 최저 손실은 0.4028이었다. 재생을 들은 화자는 자기 목소리 같지 않고 음높이도 지나치게 높다고 판정했다. 숫자와 귀가 서로 다른 시험지를 채점한 순간이었다.
이어진 학습에서 최저 손실은 0.0787까지 떨어졌다. 보존한 500단계 체크포인트로 실제 녹음과 같은 문장을 합성하자 덜 어색하고 부드럽다는 반응은 나왔다. 그렇다고 화자 정체성이나 운영 기본값이 승인되지는 않았다. 좋아졌다는 말과 합격했다는 말 사이에는 아직 거리가 있었다.
둘이 엇갈린 이유는 학습 목표부터 다르다. 이 실험의 목적함수는 음성 임베딩 유사도를 맞춘다. 원래 파형을 복원하거나 문장 끝의 억양, 쉼, 강세, 높낮이 궤적을 직접 지키는 손실은 없다. 모델의 시험 점수는 내려갔지만 사람이 묻는 “내 목소리인가”와 “자연스럽게 말하는가”는 별도 문항이었다.
높은 음의 크기를 확인하려고 피치 추적도 돌렸다. 그러나 모든 비교 파일에서 신뢰도 0.7을 넘긴 유성 프레임이 5% 미만이었다. 이렇게 성긴 측정값의 중앙값으로 몇 Hz 높아졌다고 단정하면 진단이 아니라 숫자 장식이 된다. 실제 피치 이동은 적용하지 않았다.
다음 평가는 한 줄짜리 손실값보다 번거롭다. 같은 문장의 실제 녹음과 합성을 나란히 듣고, 문장 종류를 바꿔 보고, 화자 닮음과 자연스러운 운율을 따로 판단해야 한다. 출력 크기를 낮추는 처리는 재생 음량을 다듬을 뿐 말투나 화자 정체성을 고치지 않는다.
이 실험은 불러 쓸 수 있는 음성 스타일 파일을 만들었다. 제품 기본 음성은 정하지 않았다. 훈련 그래프는 학습 목표가 얼마나 충족됐는지 보여 줬고, 그 목표가 사람의 질문과 같은지는 귀가 다시 물었다.