Сообщений в теме: 12

[Высший Разум]

Подскажите хоть что-нибудь, что помогло бы написать граббер на PHP - функции, расширения, модули... хотя бы направление... В нете очень скудно насчет этого. И еще - неужели нет законного способа поставить себе автоматически обновляющиеся новости? Чтобы именно на твоем сайте были не только заголовки, но и статьи.

[Партизан]

Подскажите хоть что-нибудь, что помогло бы написать граббер на PHP - функции, расширения, модули... хотя бы направление... В нете очень скудно насчет этого. И еще - неужели нет законного способа поставить себе автоматически обновляющиеся новости? Чтобы именно на твоем сайте были не только заголовки, но и статьи.

Помогут деньги и ПХП-шник...
Законно разместить чужие новости вроде никто и не запрещает, если учтены все авторские права и/или материал с разрешения автора.

[XaHyMaH]

Подскажите хоть что-нибудь, что помогло бы написать граббер на PHP - функции, расширения, модули...

Разум. Подойдет и обычный
Например, на http://norbekov.kz на главной странице есть новости с www.donor.kz
Все элементарно - открыл страницу, нашел новость и усе

[SnoopDOB]

30-50$ будет стоить личер написать у фрилансеров...

[Высший Разум]

"Меня уже не интересует, существует ли Высший Разум. Меня интересует ? существует ли разум вообще."
/Эльдар Файзуллин/

Я здесь
Люди, я спросил совет, а не то что вы написали...

SnoopDOB, А Вы к ним не относитесь?

[reject]

fopen, регулярные выражения (можно обойтись и без них), str_replace, echo... больше ничего не надо, если говорить в целом.

могу помочь со скриптом, стучите в аську 709915

[Высший Разум]

reject, Спасибо! На многих форумах читал что-то про c_url и socket, но еще не работал с этим. А как можно fopen использовать допустим к finance.google.com? Разве вообще fopen работает с HTTP?

[Majesty]

reject, Спасибо! На многих форумах читал что-то про c_url и socket, но еще не работал с этим. А как можно fopen использовать допустим к finance.google.com? Разве вообще fopen работает с HTTP?

зависит от настроек пхп.
подсказка: где работает fopen, там сработает и file_get_contents

в целом это будет что-то подобное:

$url = "http://finance.google.com";
$cachefile = "finance_google_com.cache";
$cache_lifetime = 3600; // Кэш будет жить 1 час

if(time()-filemtime($cachefile)>$cache_lifetime)
{
   $buffer = file_get_contents($url);
   $fh = fopen($cachefile, "w");
   fputs($fh, $buffer);
   fclose($fh);
}

$info = file_get_contents($cachefile);
echo parseChart($info); // Это должна быть функция, разбирающая полученные данные

Сообщение отредактировал Majesty: 07.03.2008, 12:05:47

[kornel]

Народ, вы бы поосторожнее пользовались file_get_contents()... Особенно на шаредхостингах. А вдруг там несколько гигов лежит внутри? А оно всё в память поднимает.

[Majesty]

Народ, вы бы поосторожнее пользовались file_get_contents()... Особенно на шаредхостингах. А вдруг там несколько гигов лежит внутри? А оно всё в память поднимает.

гмм... речь-то идёт, как я понял автора, о заведомо малых объёмах (погода, курсы, котировки, етс)... если заранее неизвестно, сколько чего получать, то лучше, конечно читать так:

$fh = fopen($url, "r");
while(strlen($buffer)<$buffer_max_size && !feof($fh))
{
   $buffer .= fgets($fh, 1024);
}
fclose($fh);

а лучше вообще не читать

[kornel]

Тут то-же самое. Разве что не в $info, а в $buffer это ляжет. Т-ч лучше сразу кусочками обрабатывать и выкидывать

[Majesty]

Тут то-же самое. Разве что не в $info, а в $buffer это ляжет. Т-ч лучше сразу кусочками обрабатывать и выкидывать

ну тут есть ограничение на размер буффера пару метров поставить в $buffer_max_size и алга комсомол

[Высший Разум]

Всем спасибо! Я уже разобрался, оказывается такая фигня Писал до этого расширения к викимедии, а вот с грабберами первый раз встретился