Форум пользователей MySQL

По поводу индекса согласен с Shopen, однако, на первый вопрос тоже отвечу -
Вы можете использовать регулярные выражения, если будете писать не LIKE, а
RLIKE, например, RLIKE '[[:<:]]кот[[:>:]]'.

http://dev.mysql.com/doc/refman/5.1/en/regexp.html

Если у Вас таблица в 10 строк, то никакой проблемы с тем, чтобы сравнить все строки с регулярным
выражением, не возникает. Если же у Вас таблица вырастет со временем до 10 миллионов строк, то
для того, чтобы найти строки, удовлетворяющие определенному критерию, потребуется в
несколько миллионов раз больше времени (т.к. данные будут браться не из кэша, как происходит
в случае маленькой таблицы, а с диска). Для того, чтобы ускорить этот процесс и используются
индексы.

Да, похоже, это бага. В cp1251 отрабатывает правильно с учетом кодировки, в UTF8
рассматривает как бинарную

P.S. У меня с большой буквы не ищет маленькие в том числе.

Нет, правильный способ всё-таки, полнотекстовый поиск. По указанным уже выше причинам.

http://dev.mysql.com/doc/refman/5.1/en/ … earch.html

Не могу согласится с тем, что полнотекстовый поиск идеально подходит для задачи поиска. По крайней мере для меня. Прочитал кое-что про такой поиск. Данные в моей таблице могут быть как очень короткими, так и длинными. Полнотекстовый поиск имеет ограничения на длину искомых слов, сам определяет релевантность и иногда не выдаёт результат, даже если слово есть в базе. И как изменить параметры такого поиска на сервере я даже представить не могу. А я бы хотел более прогнозируемый результат.
Индексировать поле, в котором я произвожу поиск, наверное смысла нет. У меня там будут не фамилии и имена, а какой-то текст.
Не имею практического опыта и хотелось бы приблизительно оценить, сколько уходит времени для поиска с помощью регулярных выражений в таблице с приблизительно миллион или более строк с текстом в два-три предложения (без индексов, а имено поиск в каждой строке). Если у кого-то есть такие данные? Сколько секунд запрос обрабатывается? Был бы признателен за информацию А то я собираюсь делать поиск с использованием регулярного выражения, в котором есть подзапрос where с ещё одним регулярным выражением.

Отредактированно sito-corito (26.07.2008 01:14:36)

sito-corito написал:

Не могу согласится с тем, что полнотекстовый поиск идеально подходит для задачи поиска. По крайней мере для меня.

расскажите чем конкретно не подходит?

sito-corito написал:

Полнотекстовый поиск имеет ограничения на длину искомых слов, сам определяет релевантность и иногда не выдаёт результат, даже если слово есть в базе. И как изменить параметры такого поиска на сервере я даже представить не могу. А я бы хотел более прогнозируемый результат.

Про изменение длины слова вам уже сказали. Насчет релевантности - а вы как - сами ее собрались считать с помощью регулярных выражений?

sito-corito написал:

Индексировать поле, в котором я произвожу поиск, наверное смысла нет. У меня там будут не фамилии и имена, а какой-то текст.

А какая разница что в поле фамилии или слова? Если поле по которому ищете не будет проиндексировано - то тормоза будут по любому (при ваших ожидаемых объемах особенно).
Индексировать можно либо воспользовавшись fulltext, либо сделав свою таблицу индекс (наиболее гибкий путь, но и наиболее затратный) либо воспользовавшись каким то существующим движком, типа сфинкса (он тоже создаст разумеется индекс где то для себя), который вам посоветовал rgbeast

sito-corito написал:

Не имею практического опыта и хотелось бы приблизительно оценить, сколько уходит времени для поиска с помощью регулярных выражений в таблице с приблизительно миллион или более строк с текстом в два-три предложения (без индексов, а имено поиск в каждой строке). Если у кого-то есть такие данные? Сколько секунд запрос обрабатывается? Был бы признателен за информацию А то я собираюсь делать поиск с использованием регулярного выражения, в котором есть подзапрос where с ещё одним регулярным выражением.

оценить время невозможно - это зависит от конкретной железки, от настроек mysql от конкретных данных в базе.
можно примерно эмпирически сказать, что разница между поиском по регулярным выражениям и полнотесктовым (или тем же сфинксом) в лучшем случае будет примерно один-два порядка. в худшем, если на хостинге есть ограничения рукотворного характера или аппаратного - то вы просто не дождетесь результата.

если вам очень нужна гибкость - сделайте свой поиск, но только не на регулярных выражениях. Примерный алгоритм такой:
- Текстовые поля разбиваете на слова, может быть выкидываете короткие (предлоги,союзы...)
- Полученные слова пропускаете через морфологический анализ (если нужна морфология)
- Полученные нормальные формы слов или слова - заносите в таблицу (tWordIndex) попутно сохраняя в еще одну таблицу (tWordRelations) id слова + id записи откуда слово  + количество раз, которое оно в этой записи встречалось (или словоформа) + еще какие то данные, которые вам нужны, например вы можете тут высчитывать вес слова в записи, на основе своих собственных параметров (*3 если внутри <h1>слово</h1>, например)
- Делаете нужные индесы в таблицах

При поиске ищете так (это схематичный запрос):

SELECT tSource.text 
JOIN tWordIndex JOIN tWordRelations
WHERE tWordIndex IN 'слова_из_формы_поиска,разбитые_по_разделителям'
ORDER BY 'поле_с_весами_слов'

перед этим приводите поисковый запрос к нормальной морфологической форме (если требуется)

Это только примерная схема, тут есть что и додумать и дооптимизировать

sito-corito написал:

Вот примерно такой поиск я и делаю.

тогда непонятно - а зачем вам понадобились регулярные выражения?

sito-corito написал:

Яндекс и Гугл и другие поисковики обзавидуются, наверное.

Сомневаюсь