airflow로 골드박스의 데이터를 주기적으로 크롤링하고, 추출한 링크를 쿠팡 파트너스 api를 통해, 내 어필리에이트로 변환하는 기능 이있었는데,
이전의 글과 같이 playwright에서 더 빠르고 정확한 방식으로 업그레이드한 글을 작성했었다.
귀찮아서 지수백오프말고 tiem.sleep 으로했는데 개발환경에서 하던 값을 그대로써서 2차경고 후에 조심스럽게 작동했지만
망할 airflow는 dag 활성화하면 즉시실행하는걸 까먹고 있었고 스케줄링시간이 2분후라는걸 정지하고나서 깨달았다.
거의 4분만에 3회를 실행하는격이 되어서 빠르게 정지를 먹었다. (1회당 120개씩 변환)
경고문구대로 소명자료를 내러 파트너스 홈페이지에 갔지만 ㅋㅋ
페이지는 이용정지 이미지만 띄우고 아무것도 할수없고 내 AF 아이디만 네브바에 띄워져 있다.
검색을해보니 내 AF아이디와 함께 소명을 이메일로 보내야하는데, 메일도 안보인다.
그래서 검색을해서 알아냈다. partners@coupang.com
여기 메일로 소명 제출하고 다음날 답변을 받았다.
바로 확인해보고 airflow 실행해보니
굿~ 잘된다 ㅎㅎㅎ 수집 간격도 늘려놨고 time.sleep도 더 늘려놔야겠다.
사실 이 글을 작성하면서 생각난건데 어차피 7시에 한번만 파트너스로 전체변환하고 이후에는 판매량만 갱신하는 방식으로 변경하면
api 호출 낭비 없이 잘 작동할 수도 있다.
근데 귀찮다! 그리고 바쁘다! 나중에 로직 변경을 해보자! 사실 playwight도 변경해야지 해야지 하다가 몇달만에 바꾼건데..ㅎㅎ..
댓글
댓글 로딩 중...