Вчера обнаружил странное поведение BlexBot-а.

Сканировал сайт (порядка 15000 запросов) и все мусорные типа этих:
/oroksegvedelem
/on-szerint-ki-legyen-a-2017-ben-az-ev-tajepitesze-kozonsegszavazas
/oktatasrol
/office/office-map.asp?CEQ_OfficeCode=28
/office/Coldwell-Banker-Fountain-Realty-NC/28/
/o/
/nous-contacter
/noble-coran/regles-de-recitation-tajwid
/noble-coran
/media/tim-dieppe-speaks-about-the-confusion-and-disruption-gender-neutral-pronouns-will-bring-to-sch
/media-pages-416.php
/login.php?qfrom=/login.php
/livre-commentes?view=category&category_id=5&video=0&ordering=c_dsc
/index.php/bonnes-adresses/187-95-val-d-oise/2112-95460-compagnie-erinna
/index.php/component/search/?searchword=%C3%A9ditions&searchphrase=exact&Itemid=474&start=20
/index.php/197-welcome
/index.php/ag/year.listevents/2017/04/20/-


там же всевозможные варианты расширений типа логин.пхп, фото.асп, cgi и т.д.


До этого он периодически оказывал честь своими посещениями, но сканировал исключительно существующие урлы.

Прописал дисаллоу в роботс и он тут же культоуно откланялся.

Что это было?

брутфорс

1)Брутфорс - полный перебор:)
2)BlexBot - бот-редиска:)
BLEXBot assists internet marketers to get information on the link structure of sites and their interlinking on the web, to avoid any technical and possible legal issues and improve overall online experience. To do this it is necessary to examine, or crawl, the page to collect and check all the links it has in its content.

видать  выделенный фрагмент у них выполняется полностью.

3)Целей в данном случае не знаю:(
Откуда он мог взять такие урлы? Подозреваю либо глюк системы (берет мой домен, но адреса с другого), либо кто-то скормил ему эту пачку.