Готовые списки стоп-слов в подсказках и кластеризации

а сейчас можно задавать минус слова или нет ?

Здравствуйте, Юрий!
Да, конечно. Сейчас задавать минус слова можно в сборщике подсказок и кластеризации.

Привет, ребята.
Сделайте лист стоп-слов по тематике казино для скандинавии)
СпасЫбо!

Спасибо за предложение, Владислав! 
В ближайшем будущем мы планируем значительно расширить списки стоп слов по различных тематиках.

Супер! У себя в компании мы только подошли к этому вопросу, и именно, так и думали, что нужно составить разные списки стоп-слов.

---

вот выдержка из нашего внутреннего файла:

Мульти-тематичные

подходят для любой темы



1. Группа 100% минус-слова
мусор, который никогда не возьмём
например:
-секс -девушка ...


2. Группа Города
все города
возможно когда-нибудь возьмём


3. Группа ??
?? слова, котрые может быть возьмём, когда-нибудь
например:
?? -форум -блог ...                            =информационные запросы, возьмём если организуем эти желание пользователя
?? -руками -самим -инструкция ...     =информационные запросы, возьмём, если будем продвигать отдельно информационники

Узко-тематичные

применимы только для данной темы
?? при взятии новой темы, можно проглядеть списки узкотематичных минус-слов, составленные для других близких тем


4. Группа
собираются методом просмотра уточняющих запросов по топ-словам темы
вбиваем каждый топзапрос в WS и собираем стоп-слова
например, тема "прочистка засоров канализации":
смотрим в WS - http://wordstat.yandex.ru/#!/?words=прочистка
-принтер -картридж -головка -epson -средство -форсунка

Ренат, посмотрите - тут мы как раз сегодня об этом рассказали http://www.rush-analytics.ru/faq/sostavlyaem-spisok-stop-slov

Есть предложения, как реализовать это в интерфейсе? Были бы благодарны за предложение.

____
Олег Шестаков, CTO Rush Analytics

думаю вам, имея БД, сервис-сайт, было бы лучше, даже для самих себя, такой вариант:

1.--------------
в БД вбиваются все стоп-слова какие будите находить по мере сбора по тематикам ивообще.
отправка идёт с пометкой(тегом) тематики,

например, "секс", все города", города и населённые пункты "МО" или ЦАО
или я для совей темы по засорам)), выбрал бы "принтеры", но это уж очень узкая тематика, и думаю так нет необходимотсти замарачиваться, хотя бы сегодня, достаточно было бы категорий общего характера.

Т.о. у нас БД набитая ключами с пометоками "стоп-слово"+тег1+тег2+...



2.----------------
В функционале сервиса, просто каждый выбирает по тем тегам, что он хочет вычесть.

Из БД загружаются по этим тегам нужные стоп-слова, формируется единый список.
Далее все эти стопы не учавствуют при сборе.



+ было бы отлично, если вдруг чего то забыли добавить в стопы, то можно было бы почистить стопами после всех сборов,

например, ещё тыкаем теги стоп-слов, и у нас из собранных показываются какие будут удалены.
Это было бы круто!
т.к. не всегда знаешь, что может уйти если по регулярке грохнуть весь список))

Ещё идея по сбору стоп-слов по тематикам:
Дайте возможность юзеру самому размечать связку"тематика - стоп-слово"
Далее вы только проверяете и расширяете эти списки.

Спасибо за дельное предложение!
Уже скоро выйдет новый функционал в настройках проекта.
Можно будет в готовом проекте добавлять или удалить стоп слова.

Считаю, обязательно разбивать стоп-слова городов, по регионам, как минимум, отдельно МО.
У нас например, тема буерние, стройка коттеджей, котельные, так там наоброт, только города МО и нужны!
Или напрмиер, сайт по Воронежу и области крутится, так тут нужно точно вычесть всю россию, кроме ВО.

Ещё нужно разделить "Места в Москве"(согласен что их выделили отдельно, их много)  и отдельно станции метро(это легко, они все известны)

Да и ВСЕ города России по регионам тоже думаю легко спарсить откуда нить, вот только бы найти откуда))
может википедия поможет?
или KLADR от 1С...
вобщем с городами, я думаю, можно легко разобраться методом парсинга справочников.

Для составления списка городов надо брать ФИАС - http://fias.nalog.ru/Public/NewsPage.aspx

Спасибо

Было бы интересно увидеть список стоп-слов по продаже новых авто. В этой тематике очень много нецелевых запросов по устаревшим моделям и запчастям.

здесь мне кажется тоеж может помочь парсинг кокого нибудь сайта.
т.е. спарсить все марки всех годов,
вот и список слов

думаю такой парсер могут написать на фрилансе, за 3-5 тыщ
найти бы сайт... яндекс авто, например))

Спасибо за идеи, Ренат!

Мне кажется я угадаю, если скажу, что в стоп-слова у вас пойдет все то, что не было отнесено к кластерезованным группам. Проанализировать поперек, посчитать, сколько раз встретилось каждое слово, проверить вхождения слов в кластерезованные группы. Все что не вошло - и есть стоп слова в рамках сегмента.

Владислав, на данный момент во вкладку некластеризованные у нас попадают слова, которые не имеют общих ТОПов вообще или их меньшее количество чем указанно в точности кластеризации. Но все их удалять с проекта не нужно, так как и в этом списке можно найти много чего полезного.
Но, создание такого автоматизированного фильтра - интересная задумка.
Внесена на более детальное рассмотрение.