리버's 아름다운 소풍

'Programming/PHP'에 해당되는 글 2건

2008/02/01 [PHP] Proxy 서버를 이용해서 원격 웹서버 내용 갖고 오기
2007/10/08 Zend Framework에 포함되어 있는 Zend_Lucene_Search

[PHP] Proxy 서버를 이용해서 원격 웹서버 내용 갖고 오기

Programming/PHP 2008/02/01 23:17 by 리버

이씨플라자는 중문으로 서비스되는 이씨플라자 중문 사이트가 따로 있고, 대부분의 사용자는 중국업체들이다. 서버는 현재 국내 KTNET IDC에 있다. 요즘 알 수 없는 이유(?)로 중국에서 이씨플라자 중문 사이트에 접속하는데 장애가 많이 발생해서, 이를 탐지하는 프로그램을 만들어야만 했다. 중국사용자 환경에서 접속을 테스트해야 하니깐 중국내 공개된 proxy 서버를 이용하기로 했다.

전에 올린 "MSXML2.ServerXMLHTTP 사용하여 원격 웹서버 내용 갖고 오기" 포스트에서 사용한 MSXML2.ServerXMLHTTP 컴포넌트를 사용하려고 했는데 허걱.. 이 컴포넌트는 Proxy 서버를 지정할 수 있는 방법을 제공하지 않는 것이다. 별 수 없이 막강한 함수를 갖고 있는 php를 좀 뒤져봤다. 역시 여기에는 해결책이 있었다.

Proxy 서버를 이용해서 http 통신을 하는 get_contents 라는 함수를 하나 만들어서 사용했다. 혹시나 Proxy 서버를 사용할 필요가 있으신 분들은 참고하시기를.

function get_contents($url, $proxy = "") { //이 부분은 반드시 필요하지는 않지만, //User-Agent를 체크하는 사이트가 있다면 필요함. $header = "User-Agent: Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1;)"; if (empty($proxy)) { // proxy를 사용하지 않음 $opts = array( 'http' => array( 'request_fulluri' => true, 'header' => $header ), ); } else { // proxy를 사용함 $opts = array( 'http' => array( 'proxy' => 'tcp://'.$proxy, 'request_fulluri' => true, 'header' => $header ), ); } $context = stream_context_create($opts); $html = file_get_contents($url, false, $context); return $html; }

이 글의 관련글

일주일간 인기글

Trackback (0) : Comment (0)

Zend Framework에 포함되어 있는 Zend_Lucene_Search

Programming/PHP 2007/10/08 13:27 by 리버

php에는 여러 프레임워크가 존재한다. 이 중 Zend Framework라는게 있는데, php로 구현되어 있는 검색엔진이 없을까 찾다가 알게 되었다. 이 프레임워크에는 Jakarta 프로젝트의 하나인 Lucene을 PHP로 포팅한 Zend_Lucene_Search 패키지가 존재한다.

이 패키지를 이용하여 검색엔진을 만들어서 테스트해봤다. 역시 빠르다. 하지만 문서의 갯수가 많아지니 현저히 느려지는 속도..

나름 결론을 내린 건 하드웨어 사양에 따라 틀리겠지만 10만건정도 이하의 문서를 검색하는 사이트에서 유용할 것 같다. 부하가 많이 걸리는 부분은 키워드에 맞는 문서를 검색하는 부분이 아니라 검색되어진 문서를 배열로 만들고 이를 사용자의 요구에 맞게 정렬하는 부분이었다. 이는 PHP의 한계가 아닐까 보여지는데... 검색결과문서수가 평균 천건을 넘지 않는다면 인덱싱되어 있는 문서건수가 많더라도 유용하게 사용되어 질 것 같다. 또한 검색엔진, Lucene을 이해하는 데에도 유용할 것 같다.

이 글의 관련글