Ответ для BogKY (16.05.2013 23:19:56):

Спасибо за проверку. Некоторая верификация того, что собирается, происходит и в процессе сбора информации, что всё равно не исключает какой-нибудь путаницы, но, пожалуй, можно считать, что её не возникло. Тогда, напрашивается какая-то обработка собранной информации. Имеющаяся таблица фактически дублирует то, что уже есть на сайте (на нем изображения тоже можно смотреть "плоско", "по авторам", "по объективам"), добавляя сортировку и фильтрацию. Должно быть что-то ещё. Поскольку речь об объективах, то можно посчитать что-то относительно последних. Например, среднюю оценку изображения для каждого объектива. С одной стороны это, конечно, средняя температура по больнице, с другой - законная статистика, ничем не хуже среднего дохода на душу населения и т.п. :) Если выписывать ещё дату добавления объектива, то можно посчитать среднюю интенсивность добавления сделанных с его использованием фотографий. Может ещё что-нибудь.
Собственно говоря, в теории можно было бы сделать аналогичную выписку по объективам (название, дата добавления, кто добавил, оценки), а потом как-то сопоставить то и это.

Ответ для photogearch (17.05.2013 22:30:25):

Спасибо за проверку.

Спасибо - Вам.

До завершения Вашей работы я не видел особенной перспективы этой ветки форума: просить что-то сделать с базой владельца ресурса в условиях, когда (насколько я это понял) поддержка разработчиков временно отсутствует...

Сейчас ясно, что инструмент появился... Но вот как использовать...

Тогда, напрашивается какая-то обработка собранной информации.

Может, перед этим чуть уточнить цели: чего бы мы хотели? А хотели мы разного. Во-первых, автор этой ветки форума предлагал расчёт статики для выявления наиболее интересных работ/стёкол. Было бы здорово, если бы он с Вами обсудил возможности таблицы и Вы бы договорились о результате. Мы (остальные участники форума) могли бы пробовать что-то по-своему пересчитать и дополнить-предложить, перепроверив свои домыслы по таблице (и ещё раз спасибо - Вам: за возможность "играть" с исходными данными).

Что включать в итоги: всё к какой-то дате или только выбранную тему внутри интервала?

У меня изначально была другая идея (и она высказывалась другими участниками тоже): какие-то короткие тематические "конкурсы". Вот попробовал 22.04 "зацепить" на лениниану и почти получилось. Ваш инструмент легко позволил бы такие конкурсы проводить. Достаточно предъявить требование к префиксу заголовка фото или названия камеры (последнее лучше, но участникам может не понравиться). С учётом направленности сайта, конкурсы могут быть и на единовременное (сравнительно) сопоставление какой-то категории объективов ("лучший полтинник месяца", например). Тут у нас есть разночтения: Ваши (точнее "ваши" - с Вами многие солидарны) идеи ближе к отбору по всей базе, а наши (ну, я надеюсь, что и мои кто-то разделяет) к выбору под тему, т.е. только среди тех, кто решил откликнуться на какой-то конкурс. Например, "лучший полтинник в лесу/на речке" или "фотаем самолёты далёкими фиксами". В любом случае, Ваш инструмент позволит найти именно этот конкурс и не только подвести итоги, но, главное, стать дополнительным и интересным рубрикатором.

Имеющаяся таблица фактически дублирует то, что уже есть на сайте (на нем изображения тоже можно смотреть "плоско", "по авторам", "по объективам"), добавляя сортировку и фильтрацию.

Нет. Исходные данные, конечно, совпадают. Но именно их выделение в табличку позволяет её динамически расширять (выделять те же префиксы и т.п.) и расширить возможности обработки/анализа. Звучит скучно. Но вот я уже прямо вижу как сделать конкурс "меряемся грипами" ;-) - причём с числами. К сожалению, участникам конкурса придётся соблюдать некоторые формальности при записи названий или камеры (за это меня точно побьют камнями), но, вроде, не сложно (может, камней будет не много).

Спонсоры (а куда без них?).

Тут мне видятся два варианта: любой вендор или магазин, интегрированный в те соц.сети, которые представлены на этом сайте. Тут есть техническая сложность (можно я ещё раз повторю Вашу ссылку - она сейчас очень важна - пусть всегда повторяется и будет на виду):

http://www.simplystore.ch/

в табличке нет колонок по соцсетям. Дело в том, что оценки у нас пока не структурированы, а число просмотров оно вообще ни о чём и никогда, а у нас ещё и не связано даже с куками (ну вот нужно было мне лениниану подтянуть - тупо включил её (всех трёх откликнувшихся) в автоссылку - итог понятен: за тот и следующий день эти снимки по числу просмотров легко "ушли" (я наивно думал, что так будет шире отклик)). Увы, это даже не обязательно означает, что их смотрели. С социалками чуть интереснее. И для сопнсоров есть прямой резон, согласитесь.

Второй вариант - индексация предложенных спонсором префиксов и/или выборка по объективам.

Впрочем, и вендоры и магазины предпочитают вести свои конкурсы и на своих площадках. Но как вариант...

Есть время выдвигать идеи

Должно быть что-то ещё. Поскольку речь об объективах, то можно посчитать что-то относительно последних. Например, среднюю оценку изображения для каждого объектива.

Ух, как я с Вами не согласен! ;-) Уже даже знаю, как "завалить" ненавистный мне лично .... (нет, не все правильно подумали, т.к. ненавистный за недоступную цену) - припоминаю, кто мне даст это стекло и как я им поснимаю... и много... ой, что будет со средней оценкой... :-)))

С одной стороны это, конечно, средняя температура по больнице, с другой - законная статистика, ничем не хуже среднего дохода на душу населения и т.п. :) Если выписывать ещё дату добавления объектива, то можно посчитать среднюю интенсивность добавления сделанных с его использованием фотографий. Может ещё что-нибудь.

Полагаю сейчас продуктивно будет высказать все идеи. И идея средней оценки по объективам тоже весьма интересна. И злыдней (вроде меня) можно легко отсечь - хоть датой итогов (в Вашем варианте) хоть префиксом (в моём варианте: в коротком конкурсе у каждого автора только одна запись (первая или, лучше, последняя).

На этапе предложения идей, я бы считал полезным внести ещё одну (не без недостатков, но пока на уровне "собирания камней"): хочется отделить техно-фото (можно даже по категориям) и художку (тоже можно категоризировать). Почему? Вот выделим тему "Тест на резкость по стенке:" и "стенки" начнут упорядочиваться, внутри появятся критерии, варианты оформления (вдруг, я стану лучшим укладчиком стен, а?). Или "Подсмотренный портрет на длинном фокусе:" - согласитесь по этому префиксу и оценки ставить будет легче (с учётом сюжета) и при необходимости легче соотнести с другими в этой категории.

Вот такие у меня домыслы, замыслы и умыслы. ;-)

А Вам - большое спасибо! Инструмент есть, наверное, вскоре прозвучат и другие идеи.

Ответ для BogKY (18.05.2013 01:07:33):

>Достаточно предъявить требование к префиксу заголовка фото
Технически, там где сработает префикс - должен точно так же работать и постфикс, но он скорее всего будет меньше "резать глаз".

На данные я смотрю чисто утилитарно: есть такие-то - что можно из них вытащить? Пока придумалась только средняя оценка объектива и, возможно, "интенсивность его использования", выраженная через темпы добавления сделанных им фотографий. Правда, с учетом количественной недостачности исходных данных это будет даже не средняя температура... Конкурсы и т.п. были бы уже источниками других ("физически" может и тех же, но где-то отличных по своему смысловому значению) данных, которые могли бы быть обработаны в соотств. с их смыслом.

Посещаемость таблицы - три человека в день, поэтому сомневаюсь в том, что тематику стоит как-то развивать.

"Ненавистный" - подозреваю, что знаю о каком :) Смотря с какой стороны посмотреть: я не так давно от него (предположительно) избавился, получив 650 уе, даже несмотря на разговоры о грядущей их почти бесплатной раздаче, в связи с намеченным возрождением. Хотя, если бы не разговоры, то скорее всего можно было бы и все 800 получить. Так или иначе, но в рез-те у меня о нем остались довольно теплые воспоминания :)
Что забавно: для того, чтобы избавиться от него с максимальной эффективностью - пришлось сначала переправить его на историческую родину: интернационально они гораздо менее востребованы, а если цена при их интернациональной продаже и накручивается, то скорее всего опять же за счет спроса с исторической родины. С которой их в свое время почти все продали по 50-100 уе, до того, как выяснилось, что это - лучший, всех времен и народов :) Так что проще было заранее туда отправить. Это если я правильно догадался, конечно :)

Ответ для photogearch (18.05.2013 19:23:24):

Я жду обновления таблицы, чтобы продолжить свои расчеты по ней :)

Ответ для mysterion (18.05.2013 19:43:46):

Я жду обновления таблицы, чтобы продолжить свои расчеты по ней :)

А с любопытными поделиться? Вдруг Вы там и меня как-нибудь пересчитали... как в мультике "я вас всех посчитал..." Страаашно ;-)

Ответ для photogearch (18.05.2013 19:23:24):

Технически, там где сработает префикс - должен точно так же работать и постфикс, но он скорее всего будет меньше "резать глаз".

Конечно. Более того, можно комбинировать ряд префиксов/суффиксов. В этом плане у Вашей таблицы большие перспективы. Во всяком случае, так мне сейчас кажется.

На данные я смотрю чисто утилитарно: есть такие-то - что можно из них вытащить?

Пусть одноклубники высказываются. Я вижу возможность гибкого создания новых группировок (на префиксах/постфиксах) и рад, что Вы этот вариант предварительно технически принимаете.

Пока придумалась только средняя оценка объектива и, возможно, "интенсивность его использования", выраженная через темпы добавления сделанных им фотографий.

Обработка по префиксам/постфиксам добавит возможности оценки работ по категориям (среди тех, кто пожелает включиться в структурирование).

Правда, с учетом количественной недостачности исходных данных это будет даже не средняя температура...

А, возможно, будет спровоцирован новый поток фото. А так ли это плохо?

Конкурсы и т.п. были бы уже источниками других ("физически" может и тех же, но где-то отличных по своему смысловому значению) данных, которые могли бы быть обработаны в соотств. с их смыслом.

Да.

Посещаемость таблицы - три человека в день, поэтому сомневаюсь в том, что тематику стоит как-то развивать.

Это - мало?

Ведь пока это - инструмент для инструмента. Вот придётся ещё для mysterion обновить (у него какие-то тайные цели, но, наверное, что-то интересное). И вообще вопрос, что делать со срезами и с какой периодичностью "срезать". И, конечно, Вы правы с некоторой предосторожностью по взаимодействию с базой через http - внешний робот и прожорлив и долог (у Вас во время обхода, как минимум, одна фотка пропала (скорее всего, была удалена автором) - см.последний идентификатор.

Можно предложение, которое не отменяет просьбы Константина:

А можно первые срезы сохранять отдельно? Типа таблица на 01.05.2013; Типа таблица на 15.05.2013; ...

Я бы тоже посравнивал. Да и идеи Константина потом бы перепроверил, а то ведь что-то там посчитают... мало ли... :-)))

Потом где-то пропал инициатор (пиквик).

Вот, поэтому, пока внимания и мало. Это - нормально.

"Ненавистный" - подозреваю, что знаю о каком :)

Я с удовольствием прочитал Ваш текст, но никогда не признаюсь и не отвечу. В т.ч. и опасаясь уйти в офф-топ.

Лучше повторю ссылку на обсуждаемую таблицу и призыв к форумчанам высказать свои идеи

http://www.simplystore.ch/

Данные только что обновил, предыдущие сохранил. Потом приделаю какой-нибудь выпадающий список, с тем, чтобы можно было выбирать желаемый набор. Собственно говоря, первоначальная идея состояла в том, чтобы собрать данные в виде CSV и передать их для дальнейшего изучения желающим. Потом к CSV добавился XML, который и используется таблицей, но CSV тоже пишется, правда проверки его правильности после последних изменений не производилось, могла какая-нибудь запятая потеряться и т.п.
В процессе перебора изображений у меня опять получилось на одно меньше, чем показывает счетчик галлереи lens-club-а. Сейчас соотств. логика сходит из того, что есть три варианта страничек изображений, различающихся разметкой:

1. Изображение с рейтингом
2. Изображение без рейтинга
3. То, что показывается при попытке запроса несуществующего изображения

Если страничка не распозналась как первый или второй вариант, то она считается третьим и игнорируется. Возможно, есть ещё и четвертый вариант, в ед. числе. Или ещё что-нибудь. Постараюсь отловить. Не исключено и то, что неверен счетчик в первоисточнике.

Процесс перебора на текущий момент занимает от часа до двух, в зависимости о того, с какой скоростью откликается lens-club. Дабы не усложнять себе задачу без необходимости и ничего не уронить ненароком,  перебираются они без особой спешки, в один поток.

Ответ для BogKY (18.05.2013 21:03:25):

Посещаемость: ну, всё относительно, конечно :)

Вот, оказывается, кто сайт тормозит!

Ответ для BogKY (18.05.2013 20:40:11):

Бояться не стоит. Ярко выраженная тенденция, что после обнародования таблицы. Все пятерки упали вниз, которые легко фильтровались по таблице. Человеческая природа, наверное.

Ответ для mysterion (24.05.2013 12:26:06):

Бояться не стоит.

Я то думал, что меня просчитают как-нибудь... ;-)

Ярко выраженная тенденция, что после обнародования таблицы. Все пятерки упали вниз, которые легко фильтровались по таблице.

Уххх, это уже к психиатру ;-) Я имею в виду тех, кто расставляет оценки не в своё удовольствие: ну посмотрел фотку и отметил, сильно понравилось/не понравилось - "выпустил пар" в личке или высказался. А так, чтоб выискать фотку "конкурента"... ну, если конкурс коммерческий, то... ;-) В любом случае, мы не исправим людей. Зато дадим инструмент желающим отследить судьбу своих фото и выявить если не супостата, то хоть время его появления :-)))

Но есть ведь и другая логика: кто-то отфильтровал лучшие работы и пошёл их посмотреть, а они ему/ей не понравились... Ну настолько, что не смог удержаться... ;-) Тогда, вроде, всё нормально. Как бы восстановление "справедливости" (которая у всех - своя)... :-)))

Но ведь оценки - это вообще отдельная "песня". И песня эта печальная на многих сайтах, где есть творчество, а с ним и субъективизм. Я вон отметился "оценкой" фотки за стёклышко позапрошлого века. А теперь то фото в рамках стекла будет проседать, т.к. на следующем фото я догадался посмотреть в карточку объектива.

Т.е. кроме субъективизма нужно добавить простые ошибки. А к этому ещё и настроение в конкретный день, отношение к автору (вдруг, он провинился в чужом форуме на другом сайте или ник его похож на отчество тёщи лучшего друга;-) и плюс восприятие стекла (есть ведь гелиософобы или вот мне не нравятся фишаи - все вообще, я их ни по видам ни по брендам не разбираю, а как-то скопом не люблю, если только они за кроп не прячутся).

Человеческая природа, наверное.

Таблица не исправит "человеческую природу" :-) Но по мере применения инструмента нивелирует. Отдельные всплески будут, но, судя по сообщениям некоторых одноклубников, они встречали "неадекватов" (я цитирую, сам ничего такого не считаю) и ранее. Их таблица то, выходит, не испортила и не исправила.

Ответ для dv (24.05.2013 12:18:03):

Вот, оказывается, кто сайт тормозит!

И без смайлика? Про упорядочивание срезов говорил и сам автор таблицы. Отладка уже завершена да и вряд ли он делал её по всему набору (зачем?), т.е. если и тормозил сайт, то в прошлом. В будущем желательно запуск робота таблицы назначать в заданное время (ночью в конце недели, например).

А пользоваться табличкой удобно - для подборки ссылок, оформления комментариев. Конечно, и на сайте есть удачный функционал, но табличка действительно востребована уже сейчас. Оказывается даже оценки пересматриваются... :-)))

Надеюсь, инструмент пойдёт на пользу...

Ведь я не ошибся, что авторы цитируемых комментариев не против нового инструмента? Речь идёт лишь об обсуждении его использования, а не отмены, правда?

Ответ для dv (24.05.2013 12:18:03):

Не, это не я :) Сбор данных осуществлялся считанное кол-во раз, в основном ночью. Как уже упомянуто, происходит он весьма неспешно. Субъективно никакого влияния на работу сайта не отмечено. Отмечено то, что скорость отклика сайта при сборе данных весьма непостоянна, варьируется наверное в разы, при этом длительность периодов с ощутимо разной скоростью отклика - минуты или десятки минут (субъективно, краем глаза). Списать эти вариации на пики пользовательской активности сложно. Собственно говоря, можно записывать время оклика при каждом обращении к странице изображения, не исключено, что периодичность его изменений что-нибудь сможет сказать тому, кто имеет доступ к движку и серверу.
Отладка делалась главным образом пошагово, на примере отдельных страниц - смысла гонять ещё неработающий код в цикле просто нет.

Ответ для mysterion (24.05.2013 12:26:06):

Честно говоря - странно: посещаемость очень мала и явно далеко не все посетившие начнут сортировать и ставить оценки, объективно или нет. К тому же, человеческая природа на самом деле стадная: все пятерку - и я пятерку, все единицу - и я единицу. Во всяк сл. при отсутствии анонимности. Кстати, лично я против таковой.

Ответ для photogearch (24.05.2013 14:38:15):

Да-да. Тем интереснее этот феномен было увидеть :)

Ответ для mysterion (24.05.2013 15:13:56):

Да-да. Тем интереснее этот феномен было увидеть :)

А примеры? Поскольку я таблицу не сохранял, то очень прошу пару-тройку примеров: фото (или его номер - как удобнее), что было (средний балл, число оценок) и что стало (средний балл, число оценок). Штуки три примеры бы, но ярких. Заранее благодарен.

Ответ для photogearch (24.05.2013 14:38:15):

Какой там период между срезами был?

Лучше повторю ссылку на обсуждаемую таблицу:

http://www.simplystore.ch/

И ещё. Есть время разбрасывать камни и время их собирать. Конечно, принять к сведению замечания о возможной дополнительной нагрузке на основной сайт нужно и согласовать время срезов. Феномен занижения/завышения старых накопленных оценок просто знать, раз есть (это ещё не значит, что я уже согласился, просто хочу узнать примеры). А как насчёт идей по использованию таблицы?

И можно ли первый срез сделать тоже доступным, чтоб можно было по примерам пройтись (да, я не очень доверчив и хочу посмотреть).

Ответ для BogKY (25.05.2013 01:26:38):

Такой уж огромной нагрузки сбор данных не создает: перебирает страницы может на порядок быстрее, чем один посетитель может кликать мышкой (факт. скорость перебора ограничена скоростью ответов сервера и тем, что работа идёт в одном потоке), зато берёт только разметку (т.е, не тянет картинки, скрипты и т.п.) - в принципе можно сравнить с нагрузкой, вызываемой одним посетителем, перебирающим страницы - последний помедленнее, зато один его переход на другую страницу результирует в энное кол-во запросов к серверу и значительно больший трафик. Или же так: посещение тем, что собирает данные для таблицы, равно посещению роботом поисковой машины, единственное отличие в том, что искалка вряд ли 10 тыс страниц за один заход перебирает (зато может перебирать и картинки, по которым тот же гугль уже давно умеет искать). Такая нагрузка не должна сказываться на работоспособности даже очень проблемного сайта. lens-club, при всех нареканиях на его быстродействие, всё же довольно много посещений обслуживает. Т.е, проблемность быстродействия его движка - понятие относительное, бывают и гораздо проблемнее, просто у них посетителей меньше. Но и их искалки вряд ли роняют.

Интервал был порядка пяти дней. В обозримом будущем сделаю возможность загрузки сохраненных наборов предыдущих данных. В теории можно было бы сделать таблицу, показывающую изменения между двумя наборами данных, но на практике на это вряд ли найдётся время.

Ответ для photogearch (25.05.2013 01:58:12):

Интервал был порядка пяти дней. В обозримом будущем сделаю возможность загрузки сохраненных наборов предыдущих данных.

Спасибо!

В теории можно было бы сделать таблицу, показывающую изменения между двумя наборами данных, но на практике на это вряд ли найдётся время.

Я вот идей использования от сообщества не вижу... :-( Делать то много чего можно, но очень удивлён кажущейся (надеюсь) невостребованностью. Мне Ваши таблички помогают уже сейчас (формировать ссылки для сравнения стало проще). Но я уверен, что область применения гораздо шире, свои соображения уже высказал.

Ответ для BogKY (25.05.2013 23:52:47):

Отсутствие интереса вполне закономерно: какого-либо практ. применения представленная там информация для подавляющего большинства не имеет.
Для того, чтобы заинтересовать более широкую аудиторию, из полученных данных нужно что-то вытащить, разжевать и подать на блюдечке. Как простейший вариант - какой-нибудь рейтинг, объективов или авторов или ещё чего-нибудь. Собственно говоря, первоначальная идея и состояла в том, чтобы собрать данные для тех, кто хочет заняться их изучением (как альтернатива предложенному в начале ветки их сбору вручную), с раздачей полученного CSV в виде архива, прицепленного к посту в этот форум. Потом случайно сделалась табличка, которая заодно позволила выявить пару ошибок в том, что собирает данные. Каковые и надо раздавать, проблемы с точки зрения lens-club-а с этим, по моим представлениям, быть не должно: данные доступны любому и каждому и могуть быть точно так же собраны любым и каждым, в т.ч. и в ручном режиме. Тогда как возможные рез-ты их обработки неизбежно ведут в lens-club.
Данные есть в XML, который малополезен для тех, кто не хочет упражняться в каком-нибудь программировании и в CSV, который можно использовать в Excel или в OpenOffice Calc. Правда, CSV ни разу не проверялся, но проверить и исправить, если что - дело недолгое.
Так или иначе, но получить данные - первый шаг, а должно быть, как минимум, ещё два: разжевать и подать, на что имеющихся у меня временных ресурсов не хватит. Но если у кого-то есть соотств. идеи, то могу предоставить исходный материал. Собственно говоря, не жалко и "код" в свободный доступ выложить, но в рез-те у lens-club-a действительно могут возникнуть проблемы из-за нагрузки при сборе данных, особенно если какие-нибудь хакеры из энного класса какой-нибудь школы додумаются до того, чтобы всем одновременно его запустить на всех доступных им компьютерах. Поэтому, раздавать сборщика данных я всё же не хочу, несмотря на то, что соорудить такого же (или гораздо более вредного) - дело совершенно нехитрое и даже минутное, тем более, если он должен просто грузить тот или иной сайт.

Вот бы эту программу по фликеру пустить:-) 

Ответ для Vbfedor (27.05.2013 23:57:15):

Если я не ошибаюсь, то у фликра есть API, который позволяет получать информацию, не прибегая к кустарным методам. Есть энное кол-во каких-то сайтов, явно его использующих, что-то вроде "лучшее во фликре по объективу такому-то" - попадал на них, когда делал поиски на предмет "картинки со старого стекла такого-то". Запомнилось потому, что когда искал по стеклам, фотографии, сделанные с использованием которых у меня были во фликре, то они там нередко присутствовали в первых рядах :)  Поправка на то, что по этим стеклам конкуренция невысока, не говоря уже о том, что у каждого свой подход к созданию тэгов, неизбежно родственный подходу, использумому для составления поисковых запросов - очевидна, но все равно было забавно.
Если бы не собственные фотки, то я бы и факт существования такого сайта (сайтов?) не запомнил. С другой стороны, запомнил или не запомнил, но посетил и покликал.
Если сделать для фликра так же, то и проблема будет такая же, но уже с поправкой на кол-во фотографий во фликре: слишком много информации в одной куче, сортировка и фильтрация недостаточны для её приведения к пригодному для непосредственного потребления виду и нужно придумывать методики дробления и подачи. Наверное и такое есть, раз уж API имеется. Тем более, что перебор всего подряд по фликру - занятие время- и ресурсоемкое, мягко говоря, так что там какое-то дробление жизненно необходимо уже на этапе сбора данных.