재현 실패의 첫 신호
박사 과정 3년차, 촉매 활성 연구로 진행 중이던 논문의 재현성 문제가 터졌다. 선행 논문에서 보고한 수율 85%를 겨우 62%까지만 얻을 수 있었다.
재현 불가는 단순히 실수의 문제가 아니었다. 논문에 명시된 모든 조건을 따랐는데도 결과가 달랐다. 온도, 압력, 촉매량, 반응 시간까지 모두 일치했다.
처음에는 자신감 있게 접근했다. 논문의 방법론은 충분히 상세했고, 우리 실험실의 장비는 문제없었다. 하지만 첫 세 번의 반복 실험이 모두 실패하면서 상황이 심각해졌다.
논문과 현실의 갭 찾기
문제를 체계적으로 접근하기로 결정했다. 우선 논문의 ‘보이지 않는 조건’들을 추적했다. 논문에는 명시되지 않았지만 결과에 영향을 줄 수 있는 요소들이었다.
원문 논문을 다시 읽고, 저자가 언급한 다른 논문들까지 추적했다. 참고문헌의 참고문헌까지 거슬러 올라갔다. 어느 시점에 촉매 전처리 방법이 바뀌었는지, 반응물의 등급이 업그레이드되었는지 확인하기 위함이었다.
두 번째 단계는 저자들과의 직접 소통이었다. 학회에 참석한 첫 저자에게 이메일을 보냈다. 조심스럽게 우리의 결과를 공유하고 조언을 구했다. 일주일 뒤, 두 가지 중요한 정보가 돌아왔다.
첫째, 촉매의 입자 크기 분포가 중요하다는 것. 논문에는 “상용 촉매”라고만 했지만 실제로는 특정 공급처의 제품만 사용했다. 둘째, 반응액의 불활성 분위기 조성 시간이 실제로는 공개된 것보다 훨씬 길었다.
변수 분리의 중요성
한 번에 하나의 변수만 바꾸는 원칙으로 돌아갔다. 이전에는 여러 조건을 동시에 조정하려고 했던 실수가 있었다.
실험 계획을 다시 세웠다. 먼저 촉매 공급처를 같은 것으로 변경했다. 그다음 불활성 분위기 조성 시간을 점진적으로 늘렸다. 30분, 45분, 60분, 90분 단계로. 매 실험마다 정확히 하나의 변수만 조정했다.
결과는 명백했다. 불활성 분위기 조성 시간이 60분 이상이어야 수율이 80% 이상이 되었다. 원래 논문의 저자도 깨닫지 못한 숨겨진 조건을 발견한 것이다.
이 과정에서 배운 교훈은 명확했다. 단순히 “논문대로”가 아니라 “논문의 숨겨진 의도까지” 파악해야 한다는 것.
재현성 문제 대처의 실무적 팁
이제 우리 실험실의 원칙은 명확해졌다. 새로운 논문을 재현할 때는 처음부터 다르게 준비한다.
먼저 원문 논문을 읽고 난 직후, 의도적으로 “뭔가 빠진 게 있을까?”라는 질문을 던진다. 방법 섹션을 다시 읽으며 “이건 왜 안 썼지?”, “이 값은 정말 정확한가?”를 생각한다.
두 번째는 선행 논문 추적이다. 그 연구팀의 이전 논문이 있으면 반드시 읽는다. 촉매 전처리, 시약의 등급, 장비 설정 등이 어떻게 진화했는지 보면 현재 논문의 진정한 의도가 드러난다.
셋째, 가능하면 해당 분야 연구자들의 구두 발표 영상을 찾는다. 학회 영상이나 세미나 영상에서 그들은 종종 논문에 쓰지 않은 중요한 팁을 언급한다. 이 “숨겨진 노하우”가 재현성의 핵심인 경우가 많다.
마지막으로, 초기 재현 실패 시 즉시 저자에게 연락했던 경험은 소중했다. 대부분의 연구자는 자신의 연구에 대한 질문에 기꺼이 답한다. 특히 “우리가 재현하려 했는데 어려움이 있다”고 정중하게 물어보면 대부분 도움을 준다.
이 경험 이후 우리 연구실에서는 새로운 논문의 데이터 재현을 “신뢰 검증” 단계로 봤다. 완벽한 재현은 그 논문이 견고한 기초 위에 있다는 증거이고, 재현 불가는 더 깊이 파고들 기회라는 관점을 가졌다.
지금도 새로운 프로젝트를 시작할 때마다 이 경험이 떠오른다. 재현성 문제는 단순한 실패가 아니라, 연구자로서 한 단계 성장하는 통로였다.
였다. 처음에는 자신감 있게 접근했다. 논문의 방법론은 충분히 상세했고, 우리 실험실의 장비는 문제없었으니까.
그러나 반복 실험은 처참했다. 5번을 시도해도 62% 수율에서 벗어나지 못했다. 조금 나아질 때도 있었지만 65%를 넘기지 못했다.
논문에 빠진 정보가 있다는 걸 깨닫기까지는 2주의 좌절이 필요했다. 지도교수와 만난 자리에서 처음으로 문제를 인정할 수 있었다.
숨겨진 변수를 찾아낸 과정
교수는 단순하지만 강력한 조언을 했다. “논문에 없는 것들을 기록해봐. 실험 순서, 용매의 출처, 심지어 계절도.”
그 말에 우리는 체계적인 재현 실패 기록을 시작했다. 성공한 실험 결과와 실패한 실험 결과를 세부 사항까지 비교하기로 했다.
3주 후, 패턴이 보이기 시작했다. 촉매 분말의 입자 크기가 일관되지 않았던 것이다. 선행 논문에서는 이를 언급하지 않았지만, 우리가 새로 구매한 촉매 배치는 미세한 입자 분포가 달랐다.
같은 제품명이라도 제조사의 배치에 따라 물리적 성질이 달라질 수 있다는 것을 배웠다. 촉매 입자가 작을수록 표면적이 커져 활성이 높아지고, 그것이 반응 효율을 좌우했던 것이다.
문제 해결과 교훈
우리는 촉매를 분석하는 데 예산을 추가로 썼다. SEM(주사전자현미경)으로 입자 형태를 확인하고 BET 분석으로 비표면적을 측정했다.
결과는 명확했다. 선행 논문의 촉매 비표면적은 145m²/g였고, 우리 촉매는 98m²/g였다. 그 차이가 23%의 수율 격차를 만들었던 것이다.
다시 같은 공급처에서 촉매를 구입하고 입자 크기 범위를 조정한 후 실험했다. 이번엔 수율이 83%에 도달했다. 논문의 85%와 거의 같은 수준이었다.
재현 실패는 우리를 더 좋은 연구자로 만들었다. 논문을 읽을 때 “이건 왜 안 적혔을까”라는 질문을 던지게 되었고, 우리 자신의 논문을 쓸 때는 시약과 장비의 출처, 제조사, 배치번호까지 명시하게 되었다.
그 경험 이후로 우리는 재현성 문제를 단순한 실패가 아닌 성장의 기회로 받아들이게 되었다.
였다. 그럼에도 불구하고 결과는 재현되지 않았다. 이 간극이 내 박사 과정의 터닝포인트가 되었다.
원인 규명을 위한 체계적 접근
처음 2주간은 단순한 실수를 찾으려 했다. 무게를 다시 재었고, 온도계를 재검증했으며, 시약의 순도까지 확인했다. 하지만 모든 수치가 정상이었다.
그 다음 결정은 변수 하나씩 체계적으로 분리하는 것이었다. 논문 저자들과 직접 연락을 시도했고, 다행히 한 명의 저자가 응답했다. 저자는 “우리도 처음 3회는 그 수율이 나왔다”는 뜻밖의 답변을 했다.
이는 논문에 명시되지 않은 암묵적 조건들이 있다는 의미였다. 촉매 전처리 방식, 반응액 혼합 순서, 심지어 계절에 따른 습도까지 영향을 미칠 수 있다는 것을 깨달았다.
숨겨진 변수 찾아내기
그 이후 접근은 완전히 달라졌다. 실험 일지를 극도로 상세히 기록하기 시작했다. 단순히 결과뿐 아니라, 시약을 개봉한 날짜, 습도, 심지어 촉매 분말의 색상까지 기록했다.
약 한 달 후, 패턴이 보이기 시작했다. 습도가 높은 날씨에는 수율이 평균 8~10% 낮았다. 원인은 촉매 표면의 흡착된 수분이었다.
촉매 전처리 온도를 80도 높이고, 질소 분위기에서 진행하자 수율이 82%까지 올랐다. 저자들의 논문에는 이 조건이 단 한 줄로 표기되어 있었다. 그마저도 “적절한 조건에서”라는 모호한 표현이었다.
따라서 재현 실패는 나의 능력 부족이 아니라, 학계 전반의 의사소통 문제였다는 것을 받아들이게 되었다.
함께 읽으면 좋은 글
※ 이 글은 AI 작성 보조를 받아 작성되었습니다.