Сегодня социальные сети заняли чрезвычайно важную часть жизни современного человека, здесь можно общаться с друзьями, находить общие интересы и даже найти множество полезной информации, а так же создавать тематические группы в контакте. Безусловным флагманом среди отечественных социальных сетей является «В Контакте». Количество ее участников растет буквально каждый день. Любой зарегистрировавшийся пользователь с помощью данного сервиса может искать своих друзей, одноклассников и знакомых, публиковать статусы и различную интересную информацию и просто общаться, а также многое другое. Особенное внимание стоит уделить множественным группам по интересам, которые существуют «В Контакте». Участники таких групп могут делиться собственными мнениями по определенной проблеме, оперативно получать самую важную, актуальную информацию по интересующим вопросам, а также первыми узнавать все события и новости мира, страны или города.

Поиск группы в ВК

Для зарегистрированных пользователей нужно найти надпись «Сообщества» на странице социальной сети и произвести поиск, воспользовавшись опциями категорий к которым относится интересующая Вас группа.

Каждый пользователь узнает о новых группах с помощью рассылки приглашений, новостей, из сообщений друзей или за счет удобного поиска по запросам. На сервисе «В Контакте» можно найти множество разных групп, однако следует выделить некоторые , пользующиеся особой популярностью. В частности, необходимо выделить следующие группы:

• «Смешно и интересно», «Позитив» и другие подобные им (здесь можно найти смешные цитаты, фотографии, последние интернет-мэмы, картинки, а также другую информацию, которая отлично поднимает настроение).
• Группы поклонников «Comedy Club =)» и КВН.
• Огромное количество групп, объединяющих ценителей кино и мультфильмов. Следует выделить «Интересное кино», «Блог кино», различные группы любителей сериалов, актеров, музыкантов, певцов, фильмов.
• По интересам в определенной сфере. Это могут быть группы для родителей, автолюбителей, студентов, работников компаний и определенных специальностей, фанатов футбола). Здесь следует выделить такие группы, как: «Футбол как стиль жизни», «Наш Зенит».
• Следует добавить к вышеперечисленным еще и несколько групп, которые никого не оставят равнодушным: «Заброшенные города мира» (особенно яркие впечатления остаются от фотографий, выложенных здесь — появляется ощущение таинственности, возникает желание побывать в этих местах), страница «Интересные события в Санкт-Петербурге» (эта страница будет особенно интересной для петербуржцев и гостей города, ведь здесь выкладывается информация об интересных мероприятиях, легендах и достопримечательностях Северной Пальмиры). «В Контакте» зарегистрировано огромное количество групп, поэтому каждый посетитель может найти подходящую для себя. К тому же, есть возможность создать свою группу.

Кроме того, есть и немного странные группы без определенных интересов и целей. Как правило, такие объединения создаются для того, чтобы обмениваться броскими цитатами, шутками и картинками. Например, «Группа людей, которые сначала печатают, а потом врубаются, что печатают на английском и всё набирают заново». группы и приглашать в нее новых участников.

На днях удалось провернуть интересную штуку. Для всех групп Вконтакте с числом подписчиков от 5000 до 10 000 (~100 000 групп) был построен полный граф, в котором веса рёбер равнялись пересечению аудиторий групп.

Во-первых, такой граф красиво выглядит:

Во-вторых, с его помощью можно быстро подбирать группы заданой тематики. Например, нужно найти группы про вязание. По ключевому слову «вязание» находим, одну подходящую группу, Knitting -Вязание online- , например. Выводим группы, с которыми она связана:

И повторяем пока не надоест или пока не перестанут появляться новые названия.

Вязание. В этом мире всё связано...:
8.88% Корпорация «ПРЯЖА»
3.06% Мамочкин канал - для творческих мам (КРЮЧКОМ!)
2.58%
2.30% Knitting -Вязание online-
2.14% Интернет-Магазин Пряжи «АЖУР»
1.94%
1.85% Магазин пряжи - ღ ВАША ПРЯЖА ღ
1.76% Пряжа
1.72% Ажурный мир: связано с любовью!
1.55%

«Мадам Вязалкина» Пряжа (товары для рукоделия):
2.49% Пряжа
2.37% Корпорация «ПРЯЖА»
1.42% Магазинчик пряжи Eesti lõng (Kauni, Кауни)
1.39% Пряжа Кауни (Kauni) - легенда Эстонии. Вязание.
1.32% ПРЯЖА ДЁШЕВО.ФЛИС.РЕЗИНКИ ДЛЯ ПЛЕТЕНИЯ БРАСЛЕТОВ
1.26% Магазин пряжи и товаров для рукоделия КУДЕЛЬ
1.24% Вязаные головные уборы и не только.
1.21% HOBBY & HOME | РУКОДЕЛИЕ
1.18% Интернет-Магазин Пряжи «АЖУР»
1.15% Пряжа Spagetti Спагетти

Аналогичного результата можно добиться грамотно подобрав ключевые слова для поиска: «вязание», «пряжа», «рукоделие», «крючком». Но их не всегда просто придумать.

Чтобы построить такой граф было использовано несколько неочевидных технических решений, о которых я хотел бы рассказать.

Чтобы получить полный список групп заданного размера, был прокачан прекрасный сайт allsocial.ru . Интересно как они собирают эти данные? Просто идут по всем индексам: vk.com/club1 , vk.com/club2 , ...? Брались только средние группы с числом подписчиков от 5000 до 10 000 человек по двум причинам: огромные паблики типа МДК чёкнешься прокачивать, но, что важнее, членство в них не несёт особенного сигнала, такие группы связаны со всем на свете.

Чтобы получить список подписчиков групп в АПИ Вконтакта, есть специальный метод. Но он позволяет получать по 1000 пользователей за раз и только 3 раза за секунду. А прокачать надо было порядка 1 000 000 000 пользователей, что дофига. Получается, что надо будет ждать 3-4 суток, если ВК будет отвечать на каждый запрос мгновенно. Это, в целом, терпимо, но смущало следующее замечание в документации:

Помимо ограничений на частоту обращений, существуют и количественные ограничения на вызов однотипных методов. По понятным причинам, мы не предоставляем информацию о точных лимитах.

В нашем случае, это замечание напрягает, потому что нужно будет сделать 1 000 000 запросов. На помощь здесь приходит крутейший метод execute . Большой респект за него ребятам из ВК. Интересно у кого-нибудь ещё есть такая штука? Суть в том, что через execute можно посылать в Контакт программы на специальном языке VKScript, запихивать туда несколько запросов к АПИ и, возможно, какую-то логику. В моём случае программа выглядела примерно так:

Return [ API.groups.getMembers(id=1, offset=0, count=1000), API.groups.getMembers(id=1, offset=1000, count=1000), API.groups.getMembers(id=1, offset=2000, count=1000), API.groups.getMembers(id=1, offset=3000, count=1000), API.groups.getMembers(id=1, offset=4000, count=1000), API.groups.getMembers(id=1, offset=5000, count=1000), ... ];
Внутри программы может быть не больше 25 обращений к АПИ. То есть число запросов сокращается до 40 000, теоретически бан может миновать. Каждый такой запрос выполнялся уже совсем не мгновенно, а примерно 5-6 секунд, поэтому подождать всё равно пришлось. Да, можно было бы запустить скачивание в несколько потоков, но чёт было стрёмно. Через два с половиной дня всё докачалось и заняло примерно 10Гб у меня на диске.

Теперь встаёт вопрос как запихнуть эти 10Гб в оперативную память и как посчитать попарное пересечение аудиторий для 100 000 групп. Спасает тот факт, что каждый пользователь состоит обычно в небольшом количестве групп (99% пользователей состоят менее чем в 15 группах). Можно выписать какие вклады вносит в пересечения каждый пользователь и потом эти вклады сложить. Пускай, например, есть два пользователя: А и Б, и три группы 1, 2 и 3. А состоит во всех трёх, Б - только в 1 и 3. А вносит вклады в три пересечения: (1, 2), (1, 3) и (2, 3), Б - в одно: (1, 3). Складываем, получаем, что 1 и 3 пересекаются по двум пользователя, остальные группы по одному. Если технично проигнорировать пользователей, которые состоят в 15 группах и больше, то придётся выписать примерно 500 000 000 пересечений, что гораздо лучше, чем при решении в лоб, где нужно будет посчитать 100 000 * 100 000 пересений.

Прекрасно, осталась только проблема с оперативной памятью. К счастью, описанный алгоритм хорошо ложится на парадигму мап-редьюс, поэтому был запилен нано-хадуп на 50 строчек и расчёт выглядел так: выписываем группы и пользователей, которые в них состоят в две колонки:

Group user 3953835 10 2065169 100001643 2112714 100001643 ...
Получается файл на ~9Гб, сортируем его юниксовым сортом по второй колонке, смотрим, где состоит Павел Дуров:
group user 2226515 1 37110020 1 38354466 1 43453499 1 60140141 1 60615047 1 64980878 1 1019652 10 ...
Читаем файл, группируем поток по второй колонке, в памяти держим только список групп пользователя, если групп меньше 15, выписываем все паросочетания в ещё один файл:

Source target 10000 10027193 9980615 9997141 9974 9976553 ...
Так как порог подобран грамотно, файл получается не слишком большой - ~9Гб. Сортируем его по двум колонкам:
source target 10000 100000 10000 100000 10000 10009982 10000 100100 10000 100100 10000 10019194 10000 10019194 10000 1002 10000 1002 10000 1002 ...
Дальше файл читается, группируется по двум колонкам и сразу считается пересечение. Для групп 10000 и 100000, например, перечение 2 пользователя. Это можно сказать сразу, ничего хранить в памяти не надо.

Отправить анонимно

Big Data

На днях удалось провернуть интересную штуку. Для всех групп Вконтакте с числом подписчиков от 5000 до 10 000 (~100 000 групп) был построен полный граф, в котором веса рёбер равнялись пересечению аудиторий групп.

Во-первых, такой граф красиво выглядит:

Во-вторых, с его помощью можно быстро подбирать группы заданой тематики. Например, нужно найти группы про вязание. По ключевому слову «вязание» находим, одну подходящую группу, Knitting -Вязание online- , например. Выводим группы, с которыми она связана:

И повторяем пока не надоест или пока не перестанут появляться новые названия.

Вязание. В этом мире всё связано...:
8.88% Корпорация «ПРЯЖА»
3.06% Мамочкин канал - для творческих мам (КРЮЧКОМ!)
2.58%
2.30% Knitting -Вязание online-
2.14% Интернет-Магазин Пряжи «АЖУР»
1.94%
1.85% Магазин пряжи - ღ ВАША ПРЯЖА ღ
1.76% Пряжа
1.72% Ажурный мир: связано с любовью!
1.55%

«Мадам Вязалкина» Пряжа (товары для рукоделия):
2.49% Пряжа
2.37% Корпорация «ПРЯЖА»
1.42% Магазинчик пряжи Eesti lõng (Kauni, Кауни)
1.39% Пряжа Кауни (Kauni) - легенда Эстонии. Вязание.
1.32% ПРЯЖА ДЁШЕВО.ФЛИС.РЕЗИНКИ ДЛЯ ПЛЕТЕНИЯ БРАСЛЕТОВ
1.26% Магазин пряжи и товаров для рукоделия КУДЕЛЬ
1.24% Вязаные головные уборы и не только.
1.21% HOBBY & HOME | РУКОДЕЛИЕ
1.18% Интернет-Магазин Пряжи «АЖУР»
1.15% Пряжа Spagetti Спагетти

Аналогичного результата можно добиться грамотно подобрав ключевые слова для поиска: «вязание», «пряжа», «рукоделие», «крючком». Но их не всегда просто придумать.

Чтобы построить такой граф было использовано несколько неочевидных технических решений, о которых я хотел бы рассказать.

Чтобы получить полный список групп заданного размера, был прокачан прекрасный сайт allsocial.ru . Интересно как они собирают эти данные? Просто идут по всем индексам: vk.com/club1 , vk.com/club2 , ...? Брались только средние группы с числом подписчиков от 5000 до 10 000 человек по двум причинам: огромные паблики типа МДК чёкнешься прокачивать, но, что важнее, членство в них не несёт особенного сигнала, такие группы связаны со всем на свете.

Чтобы получить список подписчиков групп в АПИ Вконтакта, есть специальный метод. Но он позволяет получать по 1000 пользователей за раз и только 3 раза за секунду. А прокачать надо было порядка 1 000 000 000 пользователей, что дофига. Получается, что надо будет ждать 3-4 суток, если ВК будет отвечать на каждый запрос мгновенно. Это, в целом, терпимо, но смущало следующее замечание в документации:

Помимо ограничений на частоту обращений, существуют и количественные ограничения на вызов однотипных методов. По понятным причинам, мы не предоставляем информацию о точных лимитах.

В нашем случае, это замечание напрягает, потому что нужно будет сделать 1 000 000 запросов. На помощь здесь приходит крутейший метод execute . Большой респект за него ребятам из ВК. Интересно у кого-нибудь ещё есть такая штука? Суть в том, что через execute можно посылать в Контакт программы на специальном языке VKScript, запихивать туда несколько запросов к АПИ и, возможно, какую-то логику. В моём случае программа выглядела примерно так:

Return [ API.groups.getMembers(id=1, offset=0, count=1000), API.groups.getMembers(id=1, offset=1000, count=1000), API.groups.getMembers(id=1, offset=2000, count=1000), API.groups.getMembers(id=1, offset=3000, count=1000), API.groups.getMembers(id=1, offset=4000, count=1000), API.groups.getMembers(id=1, offset=5000, count=1000), ... ];
Внутри программы может быть не больше 25 обращений к АПИ. То есть число запросов сокращается до 40 000, теоретически бан может миновать. Каждый такой запрос выполнялся уже совсем не мгновенно, а примерно 5-6 секунд, поэтому подождать всё равно пришлось. Да, можно было бы запустить скачивание в несколько потоков, но чёт было стрёмно. Через два с половиной дня всё докачалось и заняло примерно 10Гб у меня на диске.

Теперь встаёт вопрос как запихнуть эти 10Гб в оперативную память и как посчитать попарное пересечение аудиторий для 100 000 групп. Спасает тот факт, что каждый пользователь состоит обычно в небольшом количестве групп (99% пользователей состоят менее чем в 15 группах). Можно выписать какие вклады вносит в пересечения каждый пользователь и потом эти вклады сложить. Пускай, например, есть два пользователя: А и Б, и три группы 1, 2 и 3. А состоит во всех трёх, Б - только в 1 и 3. А вносит вклады в три пересечения: (1, 2), (1, 3) и (2, 3), Б - в одно: (1, 3). Складываем, получаем, что 1 и 3 пересекаются по двум пользователя, остальные группы по одному. Если технично проигнорировать пользователей, которые состоят в 15 группах и больше, то придётся выписать примерно 500 000 000 пересечений, что гораздо лучше, чем при решении в лоб, где нужно будет посчитать 100 000 * 100 000 пересений.

Прекрасно, осталась только проблема с оперативной памятью. К счастью, описанный алгоритм хорошо ложится на парадигму мап-редьюс, поэтому был запилен нано-хадуп на 50 строчек и расчёт выглядел так: выписываем группы и пользователей, которые в них состоят в две колонки:

Group user 3953835 10 2065169 100001643 2112714 100001643 ...
Получается файл на ~9Гб, сортируем его юниксовым сортом по второй колонке, смотрим, где состоит Павел Дуров:
group user 2226515 1 37110020 1 38354466 1 43453499 1 60140141 1 60615047 1 64980878 1 1019652 10 ...
Читаем файл, группируем поток по второй колонке, в памяти держим только список групп пользователя, если групп меньше 15, выписываем все паросочетания в ещё один файл:

Source target 10000 10027193 9980615 9997141 9974 9976553 ...
Так как порог подобран грамотно, файл получается не слишком большой - ~9Гб. Сортируем его по двум колонкам:
source target 10000 100000 10000 100000 10000 10009982 10000 100100 10000 100100 10000 10019194 10000 10019194 10000 1002 10000 1002 10000 1002 ...
Дальше файл читается, группируется по двум колонкам и сразу считается пересечение. Для групп 10000 и 100000, например, перечение 2 пользователя. Это можно сказать сразу, ничего хранить в памяти не надо.

Отправить анонимно

Как найти группу в ВК – информация открытая. Но в некоторых случаях, когда человек не имеет страницы в соцсети или известен лишь ID сообщества, действие вызывает у людей сложности. Можно ли отыскать нужный паблик без регистрации, названия и где расположены списки управляемых групп, рассказываем далее.

Для этого типа работы с сообществами регистрация не нужна. Список незащищенных настройками приватности объединений доступен всем интернет-пользователям. Найти группу ВКонтакте без странички в социальной сети можно двумя способами.

1. Если известно название, зайдите в любой поисковик. Пропишите имя сообщества в поисковой строке и нажмите «Ввод». Популярные группы обычно появляются среди первых результатов выдачи. Менее известные сообщества можно поискать через «Яндекс», ограничив круг страницами ВК.
2. Перейдите на страницу https://vk.com/communities. В поисковой строке напишите имя группы и запустите процесс. Официальные объединения и миллионники в списки выдачи занимают первые позиции, до менее же популярных пабликов придется листать вручную.

Не помните название, но можете воспроизвести в памяти текст записи на стене или используемые хэштеги? Вбивайте в поисковую строку. Ограничьте поиск в параметрах рамками социальной сети, точным запросом, и в 90% случаев способ сработает.

Как найти группу в ВК по ID

Если известен ID сообщества, задача упрощается в разы. Поиск группы ВКонтакте в этом случае доступен зарегистрированным и незарегистрированным пользователям. Скопируйте ID и:

Учтите, что поиск по частным сообществам не осуществляется. Попасть в подобные можно только по приглашению администратора, посторонние в выдаче результат не видят.

Как найти группу в ВК, из которой вышел

Чтобы обнаружить покинутое объединение, придется потратить чуть больше времени и проявить детективные способности. Выхода 4.

Помните, что результата ни один из способов не гарантирует. Успех зависит от количества информации, которую вспомнили, и того, как давно вы покинули паблик.

Как найти свою группу в контакте

Чтобы найти группу в ВК, которую сам создал и вышел из нее, пройдите в раздел «Группы». Среди вкладок «Все сообщества» и «Управление» наверху выберите вторую. В списке появятся сообщества, которыми вы руководите.

В некоторых случаях покинутые паблики в «Управлении» не отображаются. Тогда придется вспоминать тексты записей, точное название или ID, друзей, которые тоже состояли в сообществе, и искать страницу вручную.

Поиск администратора группы

Способ работает не всегда, но попробовать стоит. Для поиска админа:

• откройте интересующий паблик, найдите обсуждение и скопируйте ссылку на одну из тем;
• создайте новое сообщество или воспользуйтесь существующим;
• кликните по блоку «Ссылки» – «Добавить новую» и вставьте адрес обсуждения из буфера обмена.

Для поиска сообществ:

1. Введите в это поле название задачи, под этим названием она будет отображаться в истории всех задач в Pro-версии, под таким названием будут скачиваться результаты во Flash-версии и в Pro.

2. Укажите данные для анализа:

• Введите ключевое слово или словосочетание в именительном падеже, по которому нужно найти сообщества. Обратите внимание, что поиск по нескольким словам в модуле невозможен.
• Укажите, осуществлять поиск по точному вхождению фразы или нет. При выборе "Точное вхождение поисковой фразы" в результаты попадут только те сообщества, в названии которых есть указанное словосочетание или словоформа, а не любое слово из указанного словосочетания или слово с другим окончанием.
• Во Flash-версии дополнительно можно указать поиск только официальных, т. е. верифицированных сообществ.

3. Фильтры настройки результатов:

• Выберите тип сообщества, которое нужно найти: сообщество, публичную страницу или мероприятие - или выберите "любой" в случае, если тип сообщества не важен. Во Flash-версии дополнительно можно найти будущие встречи.
• Определите географическое положение для групп и мероприятий, так как у публичных страниц информация о гео есть только в том случае, если они были созданы как группы, а затем переведены в паблики.

Дополнительно во Flash-версии можно:

• Задать сбор сообществ по количеству пользователей, скорости роста, отношению дневной посещаемости к количеству пользователей, отношению количества лайков к количеству пользователей, отношению количества комментариев к количеству пользователей, отношению количества записей в обсуждениях к количеству пользователей. То есть собранные сообщества будут выстроены по убыванию по выбранному параметру. Доступно при поиске без указания города. Это необходимо сделать до начала парсинга.
• Отфильтровать список по количеству подписчиков. Сообщества, не удовлетворяющие указанным минимуму и максимуму подписчиков, в выборку не попадут. Это необходимо сделать до начала парсинга.
• Отфильтровать список по ключевым словам, которые не должны быть в названии сообщества (ввод через пробел).
• Отфильтровать найденные сообщества по дате, не позднее которой должен быть опубликован последний пост в сообществе. Чтобы этот параметр стал активным, нужно дождаться завершения задачи и нажать "Найти даты последнего поста".

Как только все данные заполнены, для выполнения задачи необходимо нажать кнопку "Запустить" в Pro-версии и "Поиск" во Flash-версии.

Если вы работаете в Pro-версии, сообщение о завершении работы придет на почту, которую вы указали при регистрации. Если же во Flash-версии, то необходимо дождаться окончания работы модуля, чтобы сохранить результаты.