2017/11 썸네일형 리스트형 [WebMagic] Analyze 1. Spider1. addUrl1. addRequest(url)1. scheduler.push(request, this) (** 2.1 이동 **)2. thread1. checkIfRunning1. 실행중인지 체크2. 입력 파라미터 threadNum 값 세팅3. run1. checkRunningStat1. state 체크 (STAT_RUNNING 이면 예외 처리)2. initComponent1. downloader 세팅2. pipelines 세팅3. downloader 스레드 세팅4. threadPool 세팅5. startRequest 세팅3. while loop (조건 interrupted 상태가 아닌지, 실행중인지)1. Queue 에서 Request 하나 poll 해옴.2. request 여부에 따.. 더보기 파이썬(Python) + Eclipse 설치 , pip 설정, eclipse 가상환경 적용법, anaconda 설치 1. 파이썬 + Eclipse 설치 http://sjpison.tistory.com/211 참고 설명잘되있음. 2. pip 설정 http://ssse.tistory.com/36 3. Eclipse 가상환경 적용법 http://pentode.tistory.com/127 4. Anaconda 설치 https://www.anaconda.com/download/ OS 버전에 맞는거 받아서 설치 더보기 tomcat 에 atomikos 설정 (Mysql , Oracle) https://www.atomikos.com/Documentation/Tomcat7Integration35 1. jta.properties 파일 JAVA_OPT 에 걸기2. 위에꺼 그대로 따라하기3. DataSourceClassName 만 Oracle 이나 Mysql 껄로 바꿔줌. 더보기 Oracle to MySQL Migration (DATE_FORMAT) http://www.sqlines.com/oracle-to-mysql 정말 좋은 사이트네 1. DATE_FORMAT(CURRENT_TIMESTAMP, "%Y%c%d%H%i%S")- DATE_FORMAT 은 datetime 을 format 형태로 변경- CURRENT_TIMESTAMP 는 Oracle 의 systimestamp 랑 동일- %Y%c ... 는 format 더보기 Mysql 더미 데이터 만들기 주의사항 : CREATE PROCEDURE ~ END 까지 커서로 전체 선택해서 Ctrl + Enter 눌러야 생성됨. DROP PROCEDURE IF EXISTS loopInsert CREATE PROCEDURE loopInsert() BEGINDECLARE i INT DEFAULT 1;WHILE i 더보기 이전 1 다음