제목이 좀 자극적일 수 있으나,
말 그데로 AWS DMS를 이용하여 mysql -> redshift 로 적재하는 가운데 테이블 카운트가 현저히 차이나는데도 불구하고 완료 되었다고 나오는 현상에 대해서 해결한 방안을 공유해 봅니다.
작업 방법
- AWS 의 DMS를 이용하여 Mysql 5.6의 데이터를 Redshift 로 적재
- 물론 CDC 도 진행하도록 설정
- 특정 DB의 테이블들을 DMS 하는 과정에서 전체 데이터의 10%도 되지 않는 데이터만 적재 후 적재가 완료 되었다고 status 상에서 확인
- 해당 테이블들을 버전이 다른 replication instance 를 이용하여 진행 시 특정 버전(2.4.3)에서만 문제 없이 적재 및 CDC가 되는 현상을 확인
- 상위 버전인 2.4.4 / 3.1.2 에서는 증상과 같은 현상이 발생
- Replication instance Engine 별로 테스트 진행
- 하나의 테이블만 가지고 테스트 진행
- Replication instance 를 2.4.3으로 지정하여 해당 instance로 복제 진행
- 상위 버전의 Replication instance를 사용하는 경우 Source Endpoint에 Resumefetchforxrows=0 를 지정한 후 진행하여 가능
√ Resumefetchforxrows
- MySQL 테이블 내 데이터가 많을 경우 마지막 데이터까지 가져온 이후에도 정해진 수 만큼 Fetching을 계속하도록 하는 옵션
ex) Resumefetchforxrows = 1500 이면, 1500 row까지 fetching을 시도 - Resumefetchforxrows=0으로 설정함으로써 DMS가 테이블내의 데이터를 의도적으로 끝까지 Fetching 시도 하도록 설정
- Replication Engine 2.4.4 버전에서부터 Resumefetchforxrows 옵션을 값을 고정하면서 문제가 발생한 것으로 예상(AWS 답변)
-> 2,4,4버전 이상을 사용하는 경우 Resumefetchforxrows 값을 0으로 고정해서 사용한 것을 권장
해결할 수 있었던 건 다행히 회사에서 aws와 계약을 맺은 상태라 AWS 엔지니어를 통해서 해결책을 받은 것이며,
모든 테스트들을 AWS 엔지니어가 재현이 불가하여 직접 다 테스트한 결과입니다.
부디 많은 분들께서 저와 같은 삽질을 피하시기 바랍니다.
또한 수정이 필요한 내용이 있다면 과감히 알려주시면 감사하겠습니다.
반응형