Эфектыўны спосаб праверыць, ці змянілася старонка (пры захоўванні, як мала інфармацыі, наколькі гэта магчыма)?

У мяне ёсць некалькі вэб-старонак, дзе я збор дадзеных на працягу доўгага часу. Я не клапачуся аб самім змесце, проста змянілася Ці старонка.

У цяперашні час я выкарыстоўваю requests.get Python для загрузкі старонкі, хэш-старонку (md5), і захаваць гэты хэш-значэнне для параўнання ў будучыні.

Ёсць вылічальная танней ці меншая захоўванне стратэгіі для гэтага? Рэчы працуюць у цяперашні час; Я проста хацеў, каб праверыць, ці ёсць лепш/танней шлях. :)

0
У вас паўсталі касмічныя праблемы?
дададзена аўтар Blender, крыніца
У вас паўсталі касмічныя праблемы?
дададзена аўтар Blender, крыніца
проста хутчэй хэш? нешта накшталт code.google.com/p/pyxxhash ?
дададзена аўтар Elazar, крыніца
проста хутчэй хэш? нешта накшталт code.google.com/p/pyxxhash ?
дададзена аўтар Elazar, крыніца
Ні - гэта не было толькі рашэнне, якое я прыдумаў на лета; Я хацеў бы ведаць, калі б быў больш «правільны» спосаб зрабіць гэта. У якасці ня CS маёра, які коды з неабходнасці, я імкнуся, каб кампенсаваць маю адсутнасць адукацыі з некаторай дысцыплінай.
дададзена аўтар binarysolo, крыніца
Ні - гэта не было толькі рашэнне, якое я прыдумаў на лета; Я хацеў бы ведаць, калі б быў больш «правільны» спосаб зрабіць гэта. У якасці ня CS маёра, які коды з неабходнасці, я імкнуся, каб кампенсаваць маю адсутнасць адукацыі з некаторай дысцыплінай.
дададзена аўтар binarysolo, крыніца
хэш будзе шлях тут. Вы можаце таксама выкарыстоўваць crc32, калі вы проста турбуюся пра змены
дададзена аўтар ravenac95, крыніца
хэш будзе шлях тут. Вы можаце таксама выкарыстоўваць crc32, калі вы проста турбуюся пра змены
дададзена аўтар ravenac95, крыніца
хэш будзе шлях тут. Вы можаце таксама выкарыстоўваць crc32, калі вы проста турбуюся пра змены
дададзена аўтар ravenac95, крыніца

6 адказы

Вы можаце сачыць за датай апошняй версіі, якую вы атрымалі, і выкарыстоўваць If-Modified-Since загалоўка ў запыце. Тым не менш, некаторыя рэсурсы ігнараваць гэты загаловак. (Увогуле, цяжка справіцца з гэтым для дынамічна генераванага змесціва.) У гэтым выпадку вам прыйдзецца адступіць да менш эфектыўнаму метадзе.

2
дададзена
Так, я лічыў, што; і пагадзіўся - для дынамічна генераванага змесціва пазнака часу з'яўляецца ненадзейным, хоць.
дададзена аўтар binarysolo, крыніца

Вы можаце сачыць за датай апошняй версіі, якую вы атрымалі, і выкарыстоўваць If-Modified-Since загалоўка ў запыце. Тым не менш, некаторыя рэсурсы ігнараваць гэты загаловак. (Увогуле, цяжка справіцца з гэтым для дынамічна генераванага змесціва.) У гэтым выпадку вам прыйдзецца адступіць да менш эфектыўнаму метадзе.

2
дададзена
Так, я лічыў, што; і пагадзіўся - для дынамічна генераванага змесціва пазнака часу з'яўляецца ненадзейным, хоць.
дададзена аўтар binarysolo, крыніца

Вы можаце сачыць за датай апошняй версіі, якую вы атрымалі, і выкарыстоўваць If-Modified-Since загалоўка ў запыце. Тым не менш, некаторыя рэсурсы ігнараваць гэты загаловак. (Увогуле, цяжка справіцца з гэтым для дынамічна генераванага змесціва.) У гэтым выпадку вам прыйдзецца адступіць да менш эфектыўнаму метадзе.

2
дададзена
Так, я лічыў, што; і пагадзіўся - для дынамічна генераванага змесціва пазнака часу з'яўляецца ненадзейным, хоць.
дададзена аўтар binarysolo, крыніца

Хэш будзе самым надзейным крыніцай выяўлення змяненняў. Я хацеў бы выкарыстаць CRC32. Гэта толькі 32 біта ў адрозненне ад 128бишь для md5. Акрамя таго, нават у браўзэры Javascript можа быць вельмі хутка. У мяне ёсць асабісты вопыт у павышэнні хуткасці для рэалізацыі JS з CRC32 для вельмі вялікіх набораў дадзеных.

0
дададзена
Дзякуй - ацаніць верхавіну.
дададзена аўтар binarysolo, крыніца

Хэш будзе самым надзейным крыніцай выяўлення змяненняў. Я хацеў бы выкарыстаць CRC32. Гэта толькі 32 біта ў адрозненне ад 128бишь для md5. Акрамя таго, нават у браўзэры Javascript можа быць вельмі хутка. У мяне ёсць асабісты вопыт у павышэнні хуткасці для рэалізацыі JS з CRC32 для вельмі вялікіх набораў дадзеных.

0
дададзена
Дзякуй - ацаніць верхавіну.
дададзена аўтар binarysolo, крыніца

Хэш будзе самым надзейным крыніцай выяўлення змяненняў. Я хацеў бы выкарыстаць CRC32. Гэта толькі 32 біта ў адрозненне ад 128бишь для md5. Акрамя таго, нават у браўзэры Javascript можа быць вельмі хутка. У мяне ёсць асабісты вопыт у павышэнні хуткасці для рэалізацыі JS з CRC32 для вельмі вялікіх набораў дадзеных.

0
дададзена
Дзякуй - ацаніць верхавіну.
дададзена аўтар binarysolo, крыніца