Комментарии на: Обновление Webarchive Grabber 0.991 http://www.wpdot.com/webarchive-grabber/obnovlenie-webarchive-grabber-0991.html FeedMaster - система републикации и постобработки новостей Wed, 15 Jun 2011 06:49:45 +0000 http://wordpress.org/?v=2.9.2 hourly 1 От: Mike http://www.wpdot.com/webarchive-grabber/obnovlenie-webarchive-grabber-0991.html#comment-5412 Mike Thu, 10 Dec 2009 07:35:10 +0000 http://www.wpdot.com/webarchive-grabber/obnovlenie-webarchive-grabber-0991.html#comment-5412 Дал задание программисту, добавим количество попыток при неудачном скачивании, а также тайтаут между запросами. Внедрим в версии 0.992 Дал задание программисту, добавим количество попыток при неудачном скачивании, а также тайтаут между запросами. Внедрим в версии 0.992

]]> От: vadim s. sabinich http://www.wpdot.com/webarchive-grabber/obnovlenie-webarchive-grabber-0991.html#comment-5411 vadim s. sabinich Thu, 10 Dec 2009 04:48:13 +0000 http://www.wpdot.com/webarchive-grabber/obnovlenie-webarchive-grabber-0991.html#comment-5411 На веб.архиве иногда бывают такие штуки, что файл недоступен, но после повторной попытки скачивания файл скачивается удачно. вот пример: == vadim@sabinich:~$ wget http://web.archive.org/web/дата/http://www.сайт.ru/actions/файл.jpg --2009-12-10 12:55:08-- http://web.archive.org/web/дата/http://www.сайт.ru/actions/файл.jpg Преобразование адреса web.archive.org... 207.241.227.60 Устанавливается соединение с web.archive.org|207.241.227.60|:80... соединились. Запрос HTTP послан, ожидание ответа... 302 Moved Temporarily >>> обломс, но wget, сука, умный. он тыркает еще раз Адрес: http://web.archive.org/web/дата/www.сайт.ru/actions/файл.jpg [переход] --2009-12-10 12:55:09-- http://web.archive.org/web/дата/www.сайт.ru/actions/файл.jpg Повторное использование соединения с web.archive.org:80. Запрос HTTP послан, ожидание ответа... 200 OK Длина: 85439 (83K) [image/jpeg] Сохраняется в каталог: `файл.jpg'. 100%[=============================================================================>] 85 439 7,14K/s в 12s 2009-12-10 12:55:21 (7,14 KB/s) - `файл.jpg' сохранён [85439/85439] >>>> вуаля. скачано. Тестил перед покупкой граббера на этом же сайте. некоторые файлики отсутствовали, хотя ссылки были. руками сдернулись успешно. Может сделать проверку на это? судя по всяким разговорам в интернетах, такая штука у веб.архива с временно недоступными файлами вполне естественная. На веб.архиве иногда бывают такие штуки, что файл недоступен, но после повторной попытки скачивания файл скачивается удачно.
вот пример:
==
vadim@sabinich:~$ wget http://web.archive.org/web/дата/http://www.сайт.ru/actions/файл.jpg
–2009-12-10 12:55:08– http://web.archive.org/web/дата/http://www.сайт.ru/actions/файл.jpg
Преобразование адреса web.archive.org… 207.241.227.60
Устанавливается соединение с web.archive.org|207.241.227.60|:80… соединились.
Запрос HTTP послан, ожидание ответа… 302 Moved Temporarily
>>> обломс, но wget, сука, умный. он тыркает еще раз
Адрес: http://web.archive.org/web/дата/www.сайт.ru/actions/файл.jpg [переход]
–2009-12-10 12:55:09– http://web.archive.org/web/дата/www.сайт.ru/actions/файл.jpg
Повторное использование соединения с web.archive.org:80.
Запрос HTTP послан, ожидание ответа… 200 OK
Длина: 85439 (83K) [image/jpeg]
Сохраняется в каталог: `файл.jpg’.

100%[=============================================================================>] 85 439 7,14K/s в 12s

2009-12-10 12:55:21 (7,14 KB/s) – `файл.jpg’ сохранён [85439/85439]
>>>> вуаля. скачано.

Тестил перед покупкой граббера на этом же сайте. некоторые файлики отсутствовали, хотя ссылки были. руками сдернулись успешно. Может сделать проверку на это? судя по всяким разговорам в интернетах, такая штука у веб.архива с временно недоступными файлами вполне естественная.

]]>