Форум пользователей MySQL

<?php
error_reporting(E_ALL ^ E_NOTICE);

set_time_limit(0);

$MaxThread=20;
$RecordsPerThread=100;
$fromHour =0;
$toHour=24;

if ($_GET['potok'])       $MaxThread = $_GET['potok'];
if ($_GET['recs']) $RecordsPerThread = $_GET['recs'];
if ($_GET['ot'])           $fromHour = $_GET['ot'];
if ($_GET['do'])             $toHour = $_GET['do'];

$d=explode(" ",date('h A', time()));
$hour=($d[1]=="PM")?(($d[0]+12==24)?0:$d[0]+12):$d[0]; // текущее время (час)

//$worker_processes = array();
for ($i = 0; $i < $MaxThread; $i++)
    {
        $prid = pcntl_fork();
            if ($prid == -1) { continue;}
        elseif ($prid > 0)   {
        //    $worker_processes[] = $prid;
            continue;
        }
$thrid=floatval(substr(microtime(),0,5).substr(strrev(microtime()),0,5))*100000000;      
analyzeIt($thrid);
      exit;
    } //for ($i = 0; $i < $MaxThread; $i++)
exit();

/*
* Функция поиска и передачи для обработки записей
*/
function analyzeIt($thrid)
{
global $RecordsPerThread, $fromHour, $toHour, $hour;  // по скольку строк будет обрабатывать каждый поток в один заход
    $YYYYMM=date('Ym', strtotime($table));
    $db=new MyDB('host','user','password','top_log');
    while (true) {
        $tables=$db->query("SHOW TABLES FROM ".'top_log'); // список имеющихся таблиц в базе top_log
        foreach($tables as $key=>&$value){
            // берем необработанных записей
            // мы их сначала сразу обозначим как обрабатываемые записи чтобы избежать битых данных
            $table=$value[Tables_in_top_log];
            logger("table_".$table.".log", date('H:i:s',time()).' : THREAD #:'.$thrid.'-Table '.$table.' Beginned'.chr(10).chr(13));
            $continue=true;
            while ($continue){
                if (($hour>=$fromHour) && ($hour<=$toHour)){  
                $db->query("Update top_log.".$table." SET thread='".$thrid."', processed=1 WHERE processed=0 and thread='' LIMIT ".$RecordsPerThread);
                $records=$db->query("SELECT id,pid,idata,ip,path,path_real,agent,page_ref,color,monitor,vjs FROM top_log.".$table." WHERE processed=1 AND thread='".$thrid."'; ");
                createTables($db,$table); // создание таблиц
                if ($records) {     // в выбранной таблице $value[Tables_in_top_log] имеются записи для обработки
                        // $time_start = getmicrotime();
                        // echo "<hr>".$ides."<hr>";
                        // echo '<br>'.$table."-".$RecordsPerThread.'<hr><br>';
                        $a_id=$a_pid=$a_idata=$a_ip=$a_path=$a_path_real=$a_agent=$a_page_ref=$a_color=$a_monitor=$a_vjs='';
                        for ($i=0;$i<count($records);$i++) {
                            $a_id[]=$records[$i][id];
                            $a_pid[]=$records[$i][pid];
                            $a_idata[]=$records[$i][idata];
                            $a_ip[]=$records[$i][ip];
                            $a_path[]=$records[$i][path];
                            $a_path_real[]=$records[$i][path_real];
                            $a_agent[]=$records[$i][agent];
                            $a_path_ref[]=$records[$i][page_ref];
                            $a_color[]=$records[$i][color];
                            $a_monitor[]=$records[$i][monitor];
                            $a_vjs[]=$records[$i][vjs];
                        }
                        $TRQ_top_br='';
                        addtoqueries($TRQ_top_br, qTOPBR($table, $a_pid, $a_agent));
                        addtoqueries($TRQ_top_br, qTOPOS($table, $a_pid, $a_agent));
                        addtoqueries($TRQ_top_br, qTOPPOPPAGES($table, $a_pid, $a_path));
                        addtoqueries($TRQ_top_br, qTOPVISITORS($table, $a_pid, $a_ip, $a_agent, $a_color, $a_monitor, $a_vjs, $a_idata));
                        addtoqueries($TRQ_top_br, qTOPHOUR($table, $a_pid, $a_ip, $a_idata));
                        addtoqueries($TRQ_top_br, qTOPPROVHOUR($db,$table, $a_pid, $a_ip, $a_idata));
                        addtoqueries($TRQ_top_br, qTOPSPIDER($table, $a_pid, $a_agent));
                        addtoqueries($TRQ_top_br, qTOPDOMEN($table, $a_pid, $a_path, $a_path_real, $a_path_ref));
                           
                            $commit=true;
                            $db->query("START TRANSACTION");
                            foreach($TRQ_top_br as $key=>$value) {
                                $a=$db->query($value);
                                if (!$a && $a!==0)    $commit=false; // rollback
                            }
                            if ($commit) {
                                $db->query("COMMIT");
                                $db->query(" Update top_log.".$table." SET processed=2 WHERE processed=1 and thread='".$thrid."'; ");
                                logger("_cmAnalyzer_".$table.".log", date('H:i:s',time()).' : THREAD #:'.$thrid.'-COMITTED IDs=>('.implode(",",$a_id).')'.chr(13).chr(10)."-".chr(10).chr(13));
                                }
                            else {
                                logger("_rbAnalyzer_".$table.".log", date('H:i:s',time()).' : THREAD #:'.$thrid.'-ROLLBACKED IDs=>('.implode(",",$a_id).')'.chr(13).chr(10)."-".chr(10).chr(13));
                                $db->query("ROLLBACK");
                                }
                    sleep(3); //ждем 3 секунда чтобы не занимать всю память
                    } else
                        {
                            $continue=false;
                            convertTables($db,$table);
                            logger("table_".$table.".log", date('H:i:s',time()).' : THREAD #:'.$thrid.'-Table '.$table.' Ended'.chr(10).chr(13));
                        }// if ($records)
                } // if (($hour>=$fromHour) && ($hour<=$toHour))
            }//while($continue)
        } //foreach($tables as $key...
        sleep(10); //ждем 10 секунда чтобы не занимать всю память
    } // end of while(true)
}

/*
* author (c) maksud
*/
function qTOPDOMEN($table, $pid, $path, $pathreal, $pathref) {
    $qrbr1 = " INSERT INTO top_domains.".$table." (pid,type,count) VALUES "; // postDomen
    $qrbr2 = " INSERT INTO top_domains.".$table."_list (name,md5) VALUES "; // postDomen list
    $qrbr3 = " INSERT INTO top_ref.".$table." (pid,type,count) VALUES "; // postReferral
    $qrbr4 = " INSERT INTO top_ref.".$table."_list (name,md5) VALUES "; // postReferral list
    $qrbr5 = " INSERT INTO top_search.".$table." (pid,type,count) VALUES "; // postSearch
    $qrbr6 = " INSERT INTO top_search.".$table."_list (name,md5) VALUES "; // postSearch list
   
   $qr1=$qr2=$qr3=$qr4=$qr5=$qr6='';
    for ($i=0;$i<count($pid);$i++){
        $domen=getDomen($path[$i], $pathreal[$i], $pathref[$i]);
        if ($domen){
            $md5=md5($domen);$md5ref=md5($pathref[$i]);
            $qr1.="(".$pid[$i].",'".$md5."',1),";
            $qr2.="('".$domen."','".$md5."'),";
            $qr3.="(".$pid[$i].",'".$md5ref."',1),";
            $qr4.="('".$pathref[$i]."','".$md5ref."'),";
            if ($spider=detectSpider($pathref[$i])){
                $md5sp=md5($spider);
                $qr5.="(".$pid[$i].",'".$md5sp."',1),";
                $qr6.="('".$spider."','".$md5sp."'),";
            }
        }
    }
    $qrbr1=($qr1)?$qrbr1.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr2=($qr2)?$qrbr2.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    $qrbr3=($qr3)?$qrbr3.substr_replace($qr3,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr4=($qr4)?$qrbr4.substr_replace($qr4,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    $qrbr5=($qr5)?$qrbr5.substr_replace($qr5,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr6=($qr6)?$qrbr6.substr_replace($qr6,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr1,$qrbr2,$qrbr3,$qrbr4,$qrbr5,$qrbr6);
}

/*
* author (c) Nishanov maksud
*/
function qTOPSPIDER($table, $pid, $agent) {
   $qrbr=" INSERT INTO top_robot.".$table." (pid,type,count) VALUES "; // postSpider
   $qrbr1=" INSERT INTO top_robot.".$table."_list (name,md5) VALUES "; // postSpider list
   $qr1=$qr2='';
    for ($i=0;$i<count($pid);$i++){
        $spider=detectSpider($agent[$i]);
        if ($spider){
            $md5=md5($spider);
            $qr1.="(".$pid[$i].",'".$md5."',1),";
            $qr2.="('".$spider."','".$md5."'),";
        }
    }
    $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr1=($qr2)?$qrbr1.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr,$qrbr1);
}

/*
* author (c) maksud
*/
function qTOPPROVHOUR($db, $table, $pid, $ip, $idata) {
        $provs=$db->query(" SELECT DISTINCT topid as pid, ipaddress as ip, providerid as provid FROM catalog.resources WHERE topid IN (".implode(',',$pid).")");
        if ($provs) {
            $YYYYMM=date('Ym', strtotime($table));
                $qrbr = " INSERT INTO top_prov_hour.".$table." (prid,hour,count,ip) VALUES "; // postHour
               $qrbr1 = " INSERT INTO top_prov_day.".$table." (prid,ip,count) VALUES "; // postHour
               $qrbr2 = " INSERT INTO top_prov_week.".$table." (prid,ip,count) VALUES  "; // postHour
               $qrbr3 = " INSERT INTO top_prov_month.".$YYYYMM." (prid,ip,count) VALUES "; // postHour

               $qr1=$qr2=$qr3=$qr4='';
                for ($i=0;$i<count($pid);$i++){
                           $prIP=false;
                           foreach($provs as $key => $value){
                                if ($value[pid] == $pid[$i]) {
                                    $prIP=$value[ip];break 1;
                                }
                           }
                    if (!$prIP || !$prIP == '0.0.0.0' || !$prIP == '255.255.255.255' || $prIP='' ) { continue;}
                    else {    $_d=explode(' ',date('h A', $idata[$i]));$hour=($_d[1]=="PM")?(($_d[0]+12==24)?0:$_d[0]+12):$_d[0];
                            $qr1.="(".$pid[$i].",'".$hour."',1,'".$ip[$i]."'),"; //pid, hour, count,ip
                            $qr2.="(".$pid[$i].",'".$ip[$i]."',1),"; //pid, ip, count
                         }
                }
            $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
            $qrbr1=($qr2)?$qrbr1.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
            $qrbr2=($qr2)?$qrbr2.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
            $qrbr3=($qr2)?$qrbr3.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
        return array($qrbr,$qrbr1,$qrbr2,$qrbr3);
        }
    return '';
}
/*
* author (c) maksud
*/

function qTOPHOUR($table, $pid, $ip, $idata) {
$YYYYMM=date('Ym', strtotime($table));
   $qrbr=" INSERT INTO top_hour.".$table." (pid,hour,count,ip) VALUES "; // postHour
   $qrbr1=" INSERT INTO toprating.".$table." (pid,ip,count) VALUES "; // postHour
   $qrbr2=" INSERT INTO top_week.".$table." (pid,ip,count) VALUES  "; // postHour
   $qrbr3=" INSERT INTO top_month.".$YYYYMM." (pid,ip,count) VALUES "; // postHour

   $qr1=$qr2=$qr3=$qr4='';
    for ($i=0;$i<count($pid);$i++){
        $_d=explode(' ',date('h A', $idata[$i]));$hour=($_d[1]=="PM")?(($_d[0]+12==24)?0:$_d[0]+12):$_d[0];
            $qr1.="(".$pid[$i].",'".$hour."',1,'".$ip[$i]."'),"; //pid, hour, count,ip
            $qr2.="(".$pid[$i].",'".$ip[$i]."',1),"; //pid, ip, count
    }
    $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr1=($qr2)?$qrbr1.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr2=($qr2)?$qrbr2.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr3=($qr2)?$qrbr3.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    return array($qrbr,$qrbr1,$qrbr2,$qrbr3);
}

/*
* author (c) maksud
*/
function qTOPVISITORS($table, $pid, $ip, $agent, $color, $monitor, $vjs, $idata) {
$YYYYMM=date('Ym', strtotime($table));
   $qrbr=" INSERT INTO top_visitor_hour.".$table." (pid,hour,count,type) VALUES "; // postVisitors
   $qrbr1=" INSERT INTO top_visitor_day.".$table." (pid,type,count) VALUES "; // postVisitors
   $qrbr2=" INSERT INTO top_visitor_week.".$table." (pid,type,count) VALUES "; // postVisitors
   $qrbr3=" INSERT INTO top_visitor_month.".$YYYYMM." (pid,type,count) VALUES "; // postVisitors
   $qrbr4=" INSERT INTO top_visitor_day.".$table."_list (ip,agent,color,monitor,vjs,md5) VALUES "; // postVisitors list
   $qrbr5=" INSERT INTO top_visitor_week.".$table."_list (ip,agent,color,monitor,vjs,md5) VALUES "; // postVisitors list
   $qrbr6=" INSERT INTO top_visitor_month.".$YYYYMM."_list (ip,agent,color,monitor,vjs,md5) VALUES "; // postVisitors list

   $qr1=$qr2=$qr3=$qr4=$qr5=$qr6=$qr7='';
    for ($i=0;$i<count($pid);$i++){
            $md5=md5($ip[$i].$agent[$i].$color[$i].$monitor[$i].$vjs[$i]);
              $_d=explode(' ',date('h A', $idata[$i]));$hour=($_d[1]=="PM")?(($_d[0]+12==24)?0:$_d[0]+12):$_d[0];
            $qr1.="(".$pid[$i].",'".$md5."',1),"; //pid, type, count
            $qr3.="(".$pid[$i].",'".$hour."','".$md5."',1),"; //pid, hour, type, count
            $qr2.="('".$ip[$i]."','".$agent[$i]."','".$color[$i]."','".$monitor[$i]."','".$vjs[$i]."','".$md5."'),"; //pid, hour, type, count
    }
    $qrbr=($qr3)?$qrbr.substr_replace($qr3,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr1=($qr1)?$qrbr1.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr2=($qr1)?$qrbr2.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr3=($qr1)?$qrbr3.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbr4=($qr2)?$qrbr4.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    $qrbr5=($qr2)?$qrbr5.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    $qrbr6=($qr2)?$qrbr6.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr,$qrbr1,$qrbr2,$qrbr3,$qrbr4,$qrbr5,$qrbr6);
}

/*
* author (c) maksud
*/
function qTOPPOPPAGES($table,$pid,$path){
   $qrbr=" INSERT INTO top_pop.".$table." (pid,type,count) VALUES "; // postPopPages
   $qrbrl=" INSERT INTO top_pop.".$table."_list (name,md5) VALUES "; // postPopPages list
   $qr1=$qr2='';
    for ($i=0;$i<count($pid);$i++){
            $md5=md5($path[$i]);
            $qr1.="(".$pid[$i].",'".$md5."',1),";
            $qr2.="('".$path[$i]."','".$md5."'),";
    }
    $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbrl=($qr2)?$qrbrl.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr,$qrbrl);
}

/*
* функция для определения браузера
* author (c) maksud
*/
function qTOPBR($table,$pid,$agent){
   $qrbr=" INSERT INTO top_br.".$table." (pid, type, count) VALUES ";
   $qrbrl=" INSERT INTO top_br.".$table."_list (name, version, md5) VALUES ";
   $qr1=$qr2='';
    for ($i=0;$i<count($agent);$i++){
        $browser=user_browser($agent[$i]);
            $md5=md5($browser["b"].$browser["v"]);
            $qr1.="(".$pid[$i].",'".$md5."',1),";
            $qr2.="('".$browser["b"]."','".$browser["v"]."','".$md5."'),";
    }
    $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbrl=($qr2)?$qrbrl.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr,$qrbrl);
}
/*
* функция для определения OS
* author (c) maksud
*/
function qTOPOS($table,$pid,$agent){
   $qrbr=" INSERT INTO top_os.".$table." (pid, type, count) VALUES ";
   $qrbrl=" INSERT INTO top_os.".$table."_list (name, md5) VALUES ";
   $qr1=$qr2='';
    for ($i=0;$i<count($agent);$i++){
        $os=user_OS($agent[$i]);
            $md5=md5($os);
            $qr1.="(".$pid[$i].",'".$md5."',1),";
            $qr2.="('".$os."','".$md5."'),";
    }
    $qrbr=($qr1)?$qrbr.substr_replace($qr1,"",-1)." ON DUPLICATE KEY UPDATE count=count+1;":"";
    $qrbrl=($qr2)?$qrbrl.substr_replace($qr2,"",-1)." ON DUPLICATE KEY UPDATE md5=md5;":"";
    return array($qrbr,$qrbrl);
}
   

function createTables($db,$table)
{
$YYYYMM=date('Ym', strtotime($table));
$sqlSTR=array("CREATE TABLE IF NOT EXISTS top_br.".$table."_list
            ( name varchar( 24 ) CHARACTER SET cp1251 NOT NULL default '',
              version varchar( 16 ) NOT NULL default '',
              md5 varchar( 32 ) NOT NULL default '' COMMENT 'md5hash',
              PRIMARY KEY ( md5 )
            ) ENGINE = InnoDB DEFAULT CHARSET = utf8;",
"CREATE TABLE IF NOT EXISTS top_br.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_ua.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ",
"CREATE TABLE IF NOT EXISTS top_hour.".$table."
            ( pid bigint(20) NOT NULL default '0',
              hour int(2) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day and hour',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              PRIMARY KEY  (pid,hour,ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS toprating.".$table."
            ( pid bigint(20) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              PRIMARY KEY  (pid,ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=cp1251;",
"CREATE TABLE IF NOT EXISTS top_month.".$YYYYMM."
            ( pid bigint(20) NOT NULL default '0',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,ip),
              KEY hit (count),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_week.".$table."
            ( pid bigint(20) NOT NULL default '0' COMMENT 'pid of resource',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              count bigint(20) NOT NULL default '0' COMMENT 'hits',
              PRIMARY KEY  (pid,ip),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_prov_hour.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              hour int(2) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day and hour',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              PRIMARY KEY  (hour,ip),
              KEY prid (prid)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_prov_day.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              PRIMARY KEY  (ip),
              KEY prid (prid)
            ) ENGINE=InnoDB DEFAULT CHARSET=cp1251;",
"CREATE TABLE IF NOT EXISTS top_prov_month.".$YYYYMM."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (ip),
              KEY prid (prid),
              KEY hit (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_prov_week.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              count bigint(20) NOT NULL default '0' COMMENT 'hits',
              PRIMARY KEY  (ip),
              KEY prid (prid)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_prov_visitor_hour.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              ip bigint(20) NOT NULL default '0' COMMENT 'ipaddress',
              hour int(2) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day and hour',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor',
              PRIMARY KEY  (ip,hour,type)
            ) ENGINE=InnoDB DEFAULT CHARSET=cp1251;",
"CREATE TABLE IF NOT EXISTS top_prov_visitor_day.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              ip bigint(20) NOT NULL default '0' COMMENT 'ipaddress',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor',
              PRIMARY KEY  (ip,type)
            ) ENGINE=InnoDB DEFAULT CHARSET=cp1251;",
"CREATE TABLE IF NOT EXISTS top_prov_visitor_day.".$table."_list
            ( md5 varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor',
              ip bigint(20) default NULL,
              agent text,
              color tinyint(2) default NULL,
              monitor varchar(10) default NULL,
              vjs float default NULL,
              PRIMARY KEY  (md5),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=cp1251;",
"CREATE TABLE IF NOT EXISTS top_prov_visitor_week.".$table."
            ( prid bigint(20) NOT NULL default '0' COMMENT 'providerid',
              ip bigint(20) NOT NULL default '0' COMMENT 'ip address',
              count bigint(20) NOT NULL default '0' COMMENT 'hits',
              PRIMARY KEY  (ip),
              KEY prid (prid)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_hour.".$table."
            ( pid bigint(20) NOT NULL default '0',
              hour int(2) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day and hour',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              PRIMARY KEY  (pid,hour,type)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_day.".$table."
            ( pid bigint(20) NOT NULL default '0',
              count bigint(20) NOT NULL default '0' COMMENT 'count of unical IP at this day',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              PRIMARY KEY  (pid,type)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_day.".$table."_list
            ( md5 varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              ip bigint(20) default NULL,
              agent text,
              color tinyint(2) default NULL,
              monitor varchar(10) default NULL,
              vjs float default NULL,
              PRIMARY KEY  (md5),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_month.".$YYYYMM."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY hit (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_month.".$YYYYMM."_list
            ( md5 varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              ip bigint(20) default NULL,
              agent text,
              color tinyint(2) default NULL,
              monitor varchar(10) default NULL,
              vjs float default NULL,
              PRIMARY KEY  (md5),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_week.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              count bigint(20) NOT NULL default '0' COMMENT 'hits',
              PRIMARY KEY  (pid,type)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_visitor_week.".$table."_list
            ( md5 varchar(32) NOT NULL default '0' COMMENT 'md5 of visitor' ,
              ip bigint(20) default NULL,
              agent text,
              color tinyint(2) default NULL,
              monitor varchar(10) default NULL,
              vjs float default NULL,
              PRIMARY KEY  (md5),
              KEY ip (ip)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_domains.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_domains.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5 hash',
              PRIMARY KEY  (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_os.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_os.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5 hash',
              PRIMARY KEY  (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_pop.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_pop.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5 hash',
              PRIMARY KEY  (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_ref.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_ref.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5',
              PRIMARY KEY md5 (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='List';",
"CREATE TABLE IF NOT EXISTS top_robot.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_robot.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5 hash',
              PRIMARY KEY md5 (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_search.".$table."
            ( pid bigint(20) NOT NULL default '0',
              type varchar(32) NOT NULL default '0',
              count bigint(20) NOT NULL default '0',
              PRIMARY KEY  (pid,type),
              KEY count (count)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;",
"CREATE TABLE IF NOT EXISTS top_search.".$table."_list
            ( name text character set cp1251 NOT NULL,
              md5 varchar(32) NOT NULL default '' COMMENT 'md5 hash',
              PRIMARY KEY md5 (md5)
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8;");
        while (list($id,$query)=each($sqlSTR))
        {
          $db->query($query);
        }
}

/*
* Конвертация конечных таблиц в MyISAM
*/
function convertTables($db,$table)
{
    $YYYYMM=date('Ym', strtotime($table));
$ts="top_hour";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_br";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_ua";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_os";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_search";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_pop";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_prov_day";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_visitor_week";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_prov_hour";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_prov_week";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_prov_month";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$YYYYMM."';"))
    $db->query("alter table ".$ts.".".$YYYYMM." engine=MyISAM;");
$ts="top_visitor_hour";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_visitor_day";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_ref";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_visitor_month";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$YYYYMM."';"))
    $db->query("alter table ".$ts.".".$YYYYMM." engine=MyISAM;");
$ts="top_domains";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");
$ts="top_robot";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."';"))
    $db->query("alter table ".$ts.".".$table." engine=MyISAM;");

$ts="top_br";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_os";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_search";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_pop";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_ref";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_domains";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_visitor_day";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_visitor_week";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$table."_list';"))
    $db->query("alter table ".$ts.".".$table."_list engine=MyISAM;");
$ts="top_visitor_month";
if (!$db->query("select table_name from information_schema.tables where engine='MyISAM' and table_schema='".$ts."' and table_name='".$YYYYMM."_list';"))
    $db->query("alter table ".$ts.".".$YYYYMM."_list engine=MyISAM;");
}

function user_browser($agent)
{
    preg_match("/(MSIE|Opera|Firefox|Chrome|Version|Opera Mini|Netscape|Konqueror|SeaMonkey|Camino|Minefield|Iceweasel|K-Meleon|Maxthon)(?:\/| )([0-9.]+)/", $agent, $browser_info);
    list(,$browser,$version) = $browser_info;
    if (preg_match("/Opera ([0-9.]+)/i", $agent, $opera)) return array("b"=>'Opera',"v"=>$opera[1]);
    if ($browser == 'MSIE') {
        preg_match("/(Maxthon|Avant Browser|MyIE2)/i", $agent, $ie);
        if ($ie) return array("b"=>$ie[1].' based on IE',"v"=>$version);
        return array("b"=>'IE',"v"=>$version);
    }
    if ($browser == 'Firefox') {
        preg_match("/(Flock|Navigator|Epiphany)\/([0-9.]+)/", $agent, $ff);
        if ($ff) return array("b"=>$ff[1],"v"=>$ff[2]);
    }
    if ($browser == 'Opera' && $version == '9.80') return array("b"=>'Opera',"v"=>substr($agent,-5));
    if ($browser == 'Version') return array("b"=>'Safari',"v"=>$version);
    if (!$browser && strpos($agent, 'Gecko')) return array("b"=>'Browser based on Gecko',"v"=>'');
    return array("b"=>$browser,"v"=>$version);
}

function user_OS($agent)
{
$opsys='';
// если с мобильных
if (strstr($agent, 'J2ME/MIDP')) $opsys .= "Мобильная ";
// сами ОСи
        if ( strstr ($agent, 'Win') ) :$opsys .= "Windows";
            elseif ( strstr($agent, 'Linux') ) :$opsys .= "Linux";
            elseif ( strstr ($agent, 'Unix') ) :$opsys .= "Unix";
            elseif ( strstr ($agent, 'Mac') ) :$opsys .= "Macintosh";
            elseif ( strstr ($agent, 'OS/2') ) :$opsys .= "OS/2";
            elseif ( strstr ($agent, 'BeOS') ) :$opsys .= "BeOS";
      else :$opsys .= "Другая";
        endif;
return $opsys;
}

function detectSpider($agent)
{
    $engines = array(    array('Aport', 'Aport robot'),
                        array('Google', 'Google'),
                        array('Yandex', 'Yandex'),
                        array('Mail.Ru', 'Mail.Ru Bot'),
                        array('www.uz', 'WWW.UZ'),
                        array('msnbot', 'MSN'),
                        array('Rambler', 'Rambler'),
                        array('Yahoo', 'Yahoo'),
                        array('AbachoBOT', 'AbachoBOT'),
                        array('accoona', 'Accoona'),
                        array('AcoiRobot', 'AcoiRobot'),
                        array('ASPSeek', 'ASPSeek'),
                        array('CrocCrawler', 'CrocCrawler'),
                        array('Dumbot', 'Dumbot'),
                        array('FAST-WebCrawler', 'FAST-WebCrawler'),
                        array('GeonaBot', 'GeonaBot'),
                        array('Gigabot', 'Gigabot'),
                        array('Lycos', 'Lycos spider'),
                        array('MSRBOT', 'MSRBOT'),
                        array('Scooter', 'Altavista robot'),
                        array('AltaVista', 'Altavista robot'),
                        array('WebAlta', 'WebAlta'),
                        array('IDBot', 'ID-Search Bot'),
                        array('eStyle', 'eStyle Bot'),
                        array('Scrubby', 'Scrubby robot'),
                        array('YaDirectBot', 'Yandex Direct')
                    );
    foreach ($engines as $engine)
        {
            if (stristr($agent, $engine[0]))
                {
                 if ($engine[0]=='www.uz') {if (substr(strrev($agent),0,6)!="zu.www" && strlen($agent)==6) return ($engine[1]); }
                 else return($engine[1]);
                }
        }
    return (false);
}

function getDomen($path, $real_path, $page_ref)
{
$domen='';
if (strcasecmp($path,$real_path)!=0) return false;

if (strlen($path)<11) return false;
    if (strlen($page_ref)>=11)
        {
            $k=parse_url($page_ref);$domen.=$k[host];
            return $domen;
        }
    return false;
}
/*
* Класс для работы с БД
*/
class MyDB
{
        public $db = null;
        private $result = null;
        public function __construct($host, $user, $password, $base, $port = null, $charset = 'utf8')
                        {
                            $this->db = new mysqli($host, $user, $password, $base, $port);
                            $this->db->set_charset($charset);
                        }
        public function query($query)        
                {
                    if(!$this->db) return false;
                    if(is_object($this->result))
                            $this->result->free();
                    $this->result = $this->db->query($query);
                    if($this->db->errno)
                            logger("analyzer_".date('dmY', time()).".log", chr(10).chr(13)."===ERROR #==".$this->db->errno."-::::-".$this->db->error."===QUERY===".$query.chr(13).chr(10)."-");
                    if(is_object($this->result))
                    {
                            while($row = $this->result->fetch_assoc())
                                    $data[] = $row;
                            return $data;
                    }
                    else if($this->result == FALSE) return false;
                    else return $this->db->affected_rows;
                }
}
function getmicrotime(){  
    if(isset($GLOBALS['SYSTEM']['time_end'])){ $GLOBALS['SYSTEM']['time_last'] = $GLOBALS['SYSTEM']['time_end']; }  
    list($usec, $sec) = explode(" ",microtime());  
    $GLOBALS['SYSTEM']['time_end'] = ((float)$usec + (float)$sec);  
    return $GLOBALS['SYSTEM']['time_end'];  
}  
function addtoqueries(&$queries,$query){
    foreach($query as $key=>$value)
    {
        if ($value!='') $queries[]=$value;
    }
}
function logger($file,$text){
$path_for_log ='/var/www/analyzer/logs/';
    $f = fopen($path_for_log.$file, "a");
    fwrite($f, $text);
    fclose($f);
}
?>