Почнемо відразу з коду основного скрипту:

#!/usr/bin/perl

# which-forum.pl script
# (c) 2010 Alexandr A Alexeev, http://сайт/

use strict;

# Закоментовані рядки - для суворості
# Якщо завдання - зібрати статистику двигунів, залишити як є
# якщо скласти список форумів - розкоментувати

my $data;
$data .= $_ while (<> ) ;

# перевірити, скільки Powered by phpBB без посилання в підвалі
print "phpbb \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?phpbb\.com\/?"[^>]*>phpBB/i or
# $data =~ /viewforum\.php\?[^""]*f=\d+/i or
$data =~ /phpBB\-SEO/i or
$data =~ /) ;
print "ipb \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?invision(?:board|power)\.com\/?[^"]*"[^>]*> [^<]*IP\.Board/i or
$data =~ /]+href="[^"]*http:\/\/(?:www\.)?invisionboard\.com\/?"[^>]*>Invision Power Board/i or
$data =~ /

/i or
$data =~ /index\.php\?[^""]*showforum=\d+/i) ;
print "vbulletin \n "
if ($data =~ /Powered by:?[^<]+vBulletin[^<]+(?:Version)?/i or
$data =~ /) ;
print "smf \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?simplemachines\.org\/?"[^>]*>Powered by SMF/i or
$data =~ /index\.php\?[^""]*board=\d+\.0/i) ;
print "punbb \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:(?:www\.)?punbb\.org|punbb\.informer\.com)\/?"[^>]*> PunBB/i); #or
# $data =~ /viewforum\.php\?[^""]*id=\d+/i);
print "fluxbb \n "
# if($data =~ /viewtopic\.php\?id=\d+/i or
if ( $data =~ /]+href="http:\/\/(?:www\.)fluxbb\.org\/?"[^>]*>FluxBB/i) ;
print "exbb \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?exbb\.org\/?"[^>]*>ExBB/i); # or
# $data =~ /forums\.php\?[^""]*forum=\d+/i);
print "yabb \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?yabbforum\.com\/?"[^>]*>YaBB/i or
$data =~ /YaBB\.pl\?[^""]*num=\d+/i ) ;
print "dleforum \n "
if ($data =~ /\(Powered By DLE Forum\)<\/title>/i or
$data =~ /]+href="[^"]+(?:http:\/\/(?:www\.)?dle\-files\.ru|act=copyright)[^"]*">DLE Forum<\/a>/i) ;
print "ikonboard \n "
if ($data =~ /]+href="[^"]*http:\/\/(?:www\.)?ikonboard\.com\/?[^"]*"[^>]*>Ikonboard/i or
$data =~ /\n "
if ($data =~ /\n "
# if($data =~ /forums\.php\?fid=\d+/i or
# $data =~ /topic\.php\?fid=\d+/i or
if ($data =~ /]+href="http:\/\/(?:www\.)?flashbb\.net\/?"[^>]*>FlashBB/i) ;
print "stokesit \n "
# if($data =~ /forum\.php\?f=\d+/i or
if ($data =~ /]+href="http:\/\/(?:www\.)?stokesit\.com\.au\/?"[^>]*>[^\/]*Stokes IT/i) ;
print "podium \n "
# if($data =~ /topic\.php\?t=\d+/i or
if ($data =~ /]+href=[""]?http:\/\/(?:www\.)?sopebox\.com\/?[""]?[^>]*>Podium/i) ;
print "usebb \n "
# if($data =~ /forum\.php\?id=\d+/i or
if ($data =~ /]+href="http:\/\/(?:www\.)?usebb\.net\/?"[^>]*>UseBB/i) ;
print "wrforum \n "
# if($data =~ /index\.php\?fid=\d+/i or
if ($data =~ /]+href="http:\/\/(?:www\.)?wr\-script\.ru\/?"[^>]*>WR\-Forum/i) ;
print "yetanotherforumnet \n "
if ($data =~ /Yet Another Forum\.net/i or
$data =~ /default\.aspx\?g=posts&t=\d+/i) ;

Цей та інші скрипти, згадані в пості, ви знайдете у цьому архіві.

Скрипт which-forum.plвивчає код html-сторінки щодо наявності у ньому сигнатур форумного движка. Аналогічний прийом ми використовували при визначенні WordPress та Joomla, але є кілька відмінностей. По-перше, сам скрипт не завантажує код сторінки, а читає його зі stdin або файлу, переданого як аргумент. Це дозволяє завантажити сторінку один раз, наприклад, за допомогою wget, а потім прогнати її через кілька аналізаторів, якщо їх не один. По-друге, у цьому скрипті наявність сигнатури є 100% ознакою движка. Минулого разу наявність сигнатури лише надавала ваги відповідного двигуна і «вигравав» двигун з максимальною вагою. Я вирішив, що в цьому випадку такий підхід лише дарма ускладнить код.

Щоб протестувати роботу скрипта, я провів невелике дослідження. Я склав список з декількох тисяч форумів і прогнав кожен із них через свій скрипт, визначивши тим самим відсоток спрацьовувань програми та популярність різних движків.

Для отримання списку форумів я скористався своїм парсером Google. Пошуковій системі надсилалися запити типу

site:forum.*.ru
site:talk.*.ru
site:board.*.ru
site:smf.*.ru
site:phpbb.*.ru
....

і так далі. Повний код генератора запитів ви знайдете у файлі gen-forumsearch-urls.pl. Крім зони.ru також використовувалися.su.ua.kz и.by. Минулого разу провести таке дослідження було важко, оскільки сайти WordPress і Joomla не мають подібних сигнатур в URL. Каталоги типу cmsmagazine.ru/catalogue/ не забезпечують достатнього обсягу вибірки. Що таке 600 сайтів на Drupal?

Треба визнати, що результати експерименту мене засмутили. З 12590 досліджуваних сайтів тільки на 7083 двигун був визначений успішно, тобто лише в 56% випадків. Може, я не врахував якогось двигуна? Невже на половині форумів стояв Bitrix? Чи мені більше часу приділити пошуку сигнатур? Загалом, тут потрібні додаткові дослідження.

Серед 56% успішно впізнаних движків найпопулярнішими, як і слід очікувати, виявилися IPB (31%), phpBB (26,6%) та vBulletin (26,5%)

За ними з великим відставанням слідують SMF (5,8%) та DLEForum (5,3%). Мій улюблений punBB виявився лише на 6-му місці (1,64%). Я не радив би сильно довіряти цим цифрам (мовляв, кожен третій форум у рунеті працює на IPB), але певні висновки зробити, звісно, ​​можна.

Наприклад, якщо ви маєте намір робити сайт на форумі і плануєте модифікувати форум, скажімо, платити користувачам по 0.01 $ за кожне повідомлення з автоматичним виведенням коштів раз на тиждень, то вам слід вибрати один з трьох найбільш популярних движків. Чим популярніший форум, тим більше шансів знайти програміста, який добре в ньому розуміється.

Якщо ж істотних змін у движку не передбачається, то можливо сенс вибрати не найпопулярніший движок, наприклад SMF або punBB. Цим ви зменшите кількість хакерських атак на свій форум і кількість спаму, що автоматично розсилається на ньому.

Скриптам для пошуку/визначення форумів також можна знайти не одне практичне застосування. Перше, що спало мені на думку — це відсортувати по ТІЦ упізнані форуми і розмістити на першій сотні пости з посиланнями на один зі своїх сайтів. Однак сотня форумних dofolllow-посилань ніяк не вплинула на ТІЦ (пройшло 2 апдейти), так що краще не витрачати тут час, якщо вас не цікавлять переходи.

Зрозуміло, що застосування скриптів далеко не єдине. Думаю, ви легко придумаєте, як їх можна використовувати.

Starting a New Topic

Browse to the board where you wish to post and click the New Topic button (positioned by default at both the top and the bottom of the board, as shown in the ), which should take you to the Start new topic screen. While this presents a number of options, the two most important are the Subject field and main Message field (не сприймається як такий, але впевнений, що його розмір). З власним повідомленням і запуском до типу (або paste) вашого повідомлення в головному текстовому районі, не говорячи, що повідомлення про те, що вони проходять, або елементи, які не можуть бути отримані для отримання until it ha both. If you"re happy with your plain text message, ви можете, щоб post it by clicking the Post button and/or preview it first by clicking the Preview button, але є багато інших доступних для того, щоб думати, що маленький bit more interesting.

  • Деякі forums show the navigation tree at the top in space-saving horizontal mode.
  • Деякі форми можуть бути configured to offer an additional Spell Check button alongside the Post and Preview options.

Starting a New Poll

A poll є basically topic with an added question and voting options, started by clicking New Poll instead of New Topic. To post a poll it is necessary to fill out the Question field and at least two of the Option fields in addition to the Subject and Message fields required by a standard topic. Більшість варіантів, щоб налаштувати, як багато choices user user vote for, how long the poll should run, whether users can change their votes and what conditions must be fulfilled for results to be displayed should be self-explanatory.

To offer more than five choices in a poll, simply click Add Option as many times as necessary.

Зверніть увагу, що це може також бути можливим для деяких користувачів в кількох forums, щоб отримати додаток до існуючого топіка.

Posting an Event to the Calendar

Where this option has been configured (it"s not standard "out of the box"), ви можете post event by selecting Calendar from the followed by Post Eventвід календарного екрану. What you see now is a Start new topicЗображення з додатковими полями для того, що випливає з сторінки, часу і таргетингу, які simple add your event to calendar and create link back to your post in the board.

Replying to a Topic або Poll

Replying to a topic or poll є basically the same as , but it"s no necessary to enter anything in the Subject field unless you wish to change what"s already there. Для того, щоб отримати додаток, ви повинні скористатися вашим chosen option(s) and click Submit Vote.

Якщо "Quick Reply" має бути налагодженим, простий порожній ланцюжок буде з'ясувати після post(s) на сторінці, але ви будете мати тип вашого і manually, якщо ви збираєтеся використовувати це.

Quoting a Post

To reply to a post by quoting it, може either click the Quote button for relevant post and add your message to the quoted text or click the Reply button followed by Insert Quoteвід відповідного повідомлення в "Topic Summary" нижче, але зауважте, що:

  • Вгорі ці опції add a link to the original post showing the name of the poster and the date and time of the post, whereas the quote tag simply quotes the relevant post without this additional information.
  • Ви можете також отримати або отримати "автором" attribute незалежно від повного Quoteфункція, як демонструється в межах.

Modifying or Deleting a Post

To modify a post, click the Modify button and make your changes. Зверніть увагу, що найбільші forums є добре, щоб бути встановлений для показу часу і часу останньої edit, але administrator(s) може також дозволити короткий період до внесення до цього happens.

To delete a post, click the Delete button followed by OKвід Remove this message? box that appears. Кілька forums може також дозволити вам перейти до списку слів або пальці, що ви натисніть, але кнопки для цих є зазвичай на шпильці на сторінці.

Standard Posting Options

Notify me of replies

Виберіть це, щоб підписатися до електронної пошти для шпигуна.

Return to this topic

Виберіть це, щоб повернутись до топіка (залишити повідомлення index) після повідомлення (NB може бути також налаштований цей біг, як preference in your profile).

Don't use smileys

Check this to prevent certain in your post from being parsed and rendered as smileys.

Attachments

Якщо можливо, ця особливість дозволяє вам отримати файли до ваших повідомлень у багатьох випадках як найбільш електронних клієнтів, так що ви маєте скористатися браузером для відповідного файлу(s) на вашому комп'ютері перед clicking Post. Ви можете скористатися вашим контактом(s) або більше, ніж , але я думаю, що:

  • Відображений тип файлів і розмірів вибирається за допомогою forum administrator(s).
  • Although most forums є likely be configured to display attached images as part of the post, it"s not possible to preview attachments so you should always browse to and attach your files just before you finally postВаш повідомлення.

References

SMF Bulletin Board Code

Кнопки показують, що до SMF позначаються теми і можуть бути різними від forum to forum.

Tag Name Button Code Output Comments
Bold [b]bold bold *
*
*
*
Glow glow Трьох атрибутів (eg red, 2, 50) в "glow" tag є color, strength and width respectively.
Дві атрибути (наприклад, red, left) в "shadow" tag є кольором і напрямком.
move move Немає valid XHTML, але може бути використане для зображення!
Simple
Machines
Forum
Simple Machines Forum Забезпечує критичний текст для формування, викладеного в monospace font.
left align *
centered *
right align *
Right-to-Left * right to left! Typical usage would be to post Arabic or Hebrew in English document.
Left-to-Right * left to right! Typical usage would be to post English в Arabic або Hebrew document.
*
font size *
font face Тільки fonts installed on the user"s computer will be displayed, so use with caution!
Font Color Change Color Black Red Yellow Pink Green Orange Purple Blue Beige Brown Teal Navy Maroon Lime Green red red Виберіть колір від drop-down.

http://somesite/somefile.swf
http://somesite/somefile.swf Зверніть увагу, що якщо флеш-пам'ятник має бути роз'єднаний з forum administrator(s), флеш-пам'ять буде відображатися як правильний hyperlink як показує. Дві атрибути в "flash" tag (where relevant) є width and height respectively.

http://somesite/image.gif
Type the width and height attributes to resize the image.

http://somesite/image.gif
http://somesite/ http://somesite/ NB "url" tag opens в новому window, але ви можете "iurl" tags to open in the same window.

descriptive link
descriptive link

[email protected]
[email protected] *

ftp://somesite/somefile
ftp://somesite/somefile *

descriptive link
descriptive link
* Чи не мелодійний output з "table" tags alone.
* Чи не маємо повного випуску з "table" і "tr" tags alone.

content
content
Зауважте, що правильні повідомлення з tags, so "table" tags contain the "tr" tags, які всі contain an equal number of "td" tags!
SMF
Bulletin
Board
Code
SMF Bulletin
Board Code
superscript *
subscript *
teletype Monospace font.

Протягом тривалого часу не love for seobayers so iam writing this tutorial for you guys:

Один з величезних думок про хрумера буде бути створений сторінки і мій мислення, щоб бути noob , але smart one:P, будь-яка спроба зробити кращі способи для створення thins easier. Recently я був вивчений тестом і виконаний добрий спосіб generating profile links easily. Before we start i will post results:

Tools- Hrefer 3.3, Xrumer 7.5, Scrapebox, Adword tool for keyword, Keyword studio pro і linklist merger

Linklist generated- 250k (unique domains)
Profiles generated- 60k (unique domains) - a lot in just 20 days.

Step 1
Generate keywords, які люди дійсно намагаються до rank for. Це є найбільш глибокий хід в profile building. I saw a huge list being shared on another forum що had over 300k words. I say what is the use for searching keywords як "aaaaa", "abra ka dabra" etc. Who will rank for these? So i used common sense and generated keywords which people actually use for ranking.

Usage -
1) Позначте нижче 100 keywords з google search (не adwords) які є broad і мають масивну конкуренцію як credit card, insurance etc.

2) Один-єдиний load ці ключові слова в keyword studio pro (і використовували crack version:P) і генерують подібні ключові слова. Зверніть увагу на те, що ці слова є більше, ніж scrapebox wonderwheel scraper.

3) Load all these keywords in scrapebox and generate keywords upto 3 levels. De-dup them etc. and save them. Вони в кінцевому підсумку з великою кількістю всіх ключових слів створені з 100 слів.

Step 2
Load them in hrefer but before you begin do this:

1) Edit additive words and just use these:

"powered by smf"
"powered by vbulletin"
"powered by phpbb"
"powered by ip.board"

Etc. etc. etc. але тільки forum software names. I did this so i don"t know which є most useful.

2) Edit search engine filter and place this:

Member.php?action=
profile.php?viewprofile=

Etc. etc. basically all those filters which have view profile у їх url.

Логічний це отримати максимальне число цих сторінок, які мають бути створені для пошуку visible backlinks. (Iam having trouble loggin into my dedi so will post the complete list later)

3) Start scraping and wait for it to complete.

Step 3- Another very important step.

Зазвичай ви все ще клацніть на links в хрумер і blast away але не ви повинні analyze the database as to remove dead ones. So click on tools -> database analysis

1) Type the same "powered by" stuff в box on left hand side.

2) Choose ваш linklist і select search content and 50 threads and go. Це буде скинути всі 404 forums і blogs etc.

Now we run xrumer with this linklist.

1) Load the database and setup your project.

2) Goto advanced options -> select register only, goto speed<--->успіх і рух all the way to success and select recaptcha with 40-50 atempts.

3) Start and let it complete.

While the posting is done i usually move to next keyword building step.

Якщо всі ваші фотографії є ​​створені, натисніть на linklist merger і створіть великий файл від нього. Нові перемикаються дупи і всі і ви маєте хороший профіль link package.

So the ist is - keywords which people search - тільки кілька additive words and filters - right settings etc.

Вам буде відомо, що з вашого останнього повідомлень з основним успіхом і запису off і 20-25 atempts for captcha ви будете approx 30k+ profiles. I get 60k with recaptcha and half-success

Happy profile creation.

Якщо хтось не знає, Simple Machines Forum - для стислості SMF - це, як сказано на офіційному сайті, безкоштовний, професійного рівня пакет, який дозволить вам організувати вашу власну онлайн спільноту за кілька хвилин. на цьому двигуні, ви можете подивитися тут. Я сам ставив свій форум з неї (до речі, заходьте FreeForum.biz).

Не важливо, чи багато чи мало спаму з'являється на вашому форумі. Важливо те, що ви витрачаєте свій дорогоцінний час на модерацію. Налаштування плагіна, який робитиме за вас всю роботу, займає кілька хвилин, а заощадить він вам, загалом, дні та місяці, які складуться з тих хвилин, які ви витрачали б на стирання повідомлень та видалення користувачів.

Я зауважу, що намагався боротися зі спамерами своїми силами – блокував доступ через IP і навіть підмережі. Це справді працювало, відсіювало дуже багато сміття, проте раз на один-два дні хтось пробивався. І досить багато часу витрачалося на поповнення бази забанених IP. Я подумав, що повинен бути зручніший спосіб, і він дійсно знайшовся!

1. Встановлення та налаштування Stop Spammer

За два тижні роботи цей плагін заблокував 2202 фальшивих користувачів. Кожен із них залишив би щонайменше по одному повідомленню. Спамери не збираються зменшувати обертів і щодня я витрачав би час на розчищення свого форуму.

Натомість, раз на кілька днів я заходжу на сторінку управління користувачами, бачу там щось на кшталт цього:

Переходжу до розділу «Очікують на схвалення» (це і є знайдені спамери, які позбавлені можливості залишати повідомлення до схвалення їхніх облікових записів адміністратором). Ставлю галочку «Виділити всіх» і видаляю їх одним натисканням:

Ось і все, всі спам-обліки вирушають у небуття. Повертаємося до нашого списку користувачів:

Видно, що список помітно порідшав, але хто решта? Виділяємо всіх та відправляємо однією кнопкою на перевірку:

З'явився один червоний, його відразу видаляємо. Якщо у вас є вільний час, можете зайнятися іншими. Якщо часу немає, то нічого не робіть з новими користувачами — більшість із них «почервоніють» під час наступних перевірок. Якщо ж у вас є час, можете зайти на їхні профілі і подивитися – якщо там у підписі прописане посилання – відразу в бан, це фальшиві обліки спамерів, які ніколи не залишать жодного корисного повідомлення.

Я розповів як користуватися цим чарівним плагіном, тепер я розповім як його встановити.

Завантажте два файли: language_full.zip (це мовний пакет для перекладу плагіна) і StopSpammer_v2_3_9.zip (номер може бути інший, тому що версії оновлюються). Розпакуйте вміст архіву StopSpammer_v2_3_9.zip в якусь папку. У цю папку розпакуйте архів language_full.zip, погодьтеся на заміну файлів. Тепер запакуйте нашу папку до архіву zip.

У адмінці переходьте до встановлення пакетів. Напроти напису "Завантажити пакет" є кнопка для вибору файлу на комп'ютері. Вибираєте наш новий архів (де ми замінили мовний файл), вивантажуєте його на форум та активуєте пакет.

Ось і все готове!

Додаткове налаштування плагіна відбувається в адмінці: перейдіть до

Користувачі → Реєстрація → Налаштування

Там можна залишити значення за промовчанням. Ще там є поле "Ваш API ключ". Без цього ключа ви не зможете повідомляти про нові спамери (але плагін буде працювати та фільтрувати відомих спамерів). Якщо хочете отримати власний ключ API, зайдіть на сайт www.stopforumspam.com для реєстрації, а потім вкажіть ключ тут. Якщо ви поки не отримали ключ, залиште поле порожнім. Тоді використовуватиметься ключ за замовчуванням.

2. Встановлення та налаштування Anti-Spam Links

У адептів СЕО-релігії (докладніше про моє ставлення до СЕО-ністів можете подивитися в інший) є тверда переконаність, що збільшуючи кількість посилань на свій сайт, вони його «просувають» (чомусь ідея створювати цікавий і якісний контент ні до кого з них не спадає на думку). Був би лох, а способи витягти з нього гроші знайдуться. Так ось, деякі «громадяни» надають послуги з «прогонки» сайтів на форумах. Вони створюють велику кількість облікових записів на різних форумах і вставляють туди зворотні посилання у підписах та інших доступних полях. При тому, що вже навіть «сео-експериментатори» досвідченим шляхом довели, толк від цих нульових посилань, деякі попереджають, що за це можна отримати бан від пошукових систем, Яндекс, наприклад, просто ігнорує посилання на ВСІХ форумах і сайтах, де будь-хто може залишати посилання. У Гугла теж є подібні алгоритми — ігнорування посилань у коментарях та ін. Але лохам закон не писаний… Тому нам, власникам форумів, доводиться зважати на ті факти, що «круті сео-оптимізатори» за тисячу рублів замовляють «прогін» своїх говноробок.

Дуже багато відсіє плагін Stop Spammer. Але ми можемо допомогти йому! Можна вибити з-під ніг спамерів саму цікавість розміщувати посилання на вашому форумі. Саме для цього і потрібний Anti-Spam Links. Цей плагін (конкретні цифри можна змінювати в налаштуваннях) робить так що:

  • ті у кого, наприклад, менше п'яти повідомлень, взагалі не можуть залишати посилання
  • ті у кого, наприклад, менше 15 повідомлень, не можуть залишати активні посилання, з посилань забирається http:// і взагалі ці посилання стають нуболінками (newbielink)
  • Ті, хто має, наприклад, менше 50 повідомлень, можуть залишати активні посилання, але всі посилання отримують атрибут nofollow.
  • ну і ті, хто має більше 50 повідомлень, можуть вставляти звичайні активні посилання, які передають вагу сайту сторінці, на яку посилаються.

Повірте мені, горе-оптимізатори дуже уважно ставляться до того, в якому вигляді їхнє посилання потрапляє на сайт. Вони дуже швидко втратять до вашого форуму інтерес, якщо не зможуть з легкістю залишати там свої посилання на свої сайти.

Так, до речі, наведені вище правила працюють у таких полях як підписи.

Щоб встановити цей плагін, перейдіть на його офіційну сторінку . Завантажте архів anti_spam_links_v1.0.1.zip (номер може бути інший). Знову в адмінці форуму перейдіть до встановлення пакетів (як це робили з попереднім пакетом) та встановіть його. Мовного файлу для цього пакета немає, тому розпаковувати архів чи щось із ним робити не потрібно.

Щоб настроїти плагін, перейдіть до розділу

Конфігурація → Налаштування моди… → Налаштування модифікацій

За бажанням проставте, скільки повідомлень повинен мати користувач для апгрейду своїх можливостей.

Висновок

Ці два плагіна ДУЖЕ сильно полегшать вам, власнику форуму, життя і заощадять багато часу. Тим не менш, час від часу спамери прориваються і, хоча б раз на тиждень, потрібно "прорізати" користувачів та видаляти спам-повідомлення. Тому не закидайте свої веб-ресурси!


Close