Tag: crawler

All the articles with the tag "crawler".

• 크롤러를 느리게 만들었다

  8 Jun, 2014

  속도를 줄이자 시간 안에 못 끝나던 수집을 겹침 방지와 일의 양 줄이기로 푼 기록이다.

• 반복문 안의 외부 요청

  21 May, 2014

  건마다 외부를 부르던 배치를 부분 수신과 결과 저장과 동시 호출로 줄이며 매번 시간을 잰 기록이다.

• 200인데 본문이 비어 있었다

  16 Mar, 2014

  성공 코드와 빈 본문 때문에 실패가 정상으로 기록되던 것을 내용 기준 판정으로 고친 기록이다.

• 몰아 보내면 막힌다

  31 Jan, 2014

  외부 사이트에서 주기적으로 자료를 가져오며 간격과 수집량과 실패 감지를 정한 기록이다.

• API가 없어서 화면을 읽었다

  11 Jan, 2014

  상대에게 인터페이스가 없어 화면을 읽되 깨질 것을 전제하고 그만둘 조건까지 적어 둔 기록이다.