您当前的位置: 首页 » MySQL/MSSQL编程 » mysql中从字段中URL提取域名信息
mysql中从字段中URL提取域名信息
论坛链接
如果你有一字段dm记录了一个url，为了更好的优化模糊查询速度或统计速度，在数据表原有的结构上增加3个字段，分别为
`sdm` varchar(64) NOT NULL, #subdomain记录子域名，如：123456.user.qzone.qq.com
`tdm` varchar(32) NOT NULL, #topdomain记录一级域名，如：qq.com
`rdm` varchar(8) NOT NULL, #rootdomain记录根域，如：com
操作顺序
# 1、为表增加字段
ALTER TABLE `tablename` ADD `sdm` varchar(64) NOT NULL, ADD `tdm` varchar(32) NOT NULL, ADD `rdm` varchar(8) NOT NULL;
# 2、提取url中的域名信息
UPDATE `tablename` SET `sdm`=SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(`dm`, '/', 3), '/', -1) ,':',1);
# 3、提取域名中的根域
UPDATE `tablename` SET `rdm`=(IF(`sdm` REGEXP '(com|tel|mobi|net|org|asia|me|tv|biz|cc|name|info)(\\.[a-zA-Z]{2})$', SUBSTRING_INDEX(`sdm`, '.', -2), IF(`sdm` REGEXP '([a-zA-Z]{2,4})$', SUBSTRING_INDEX(`sdm`, '.', -1), '')));
# 4、根据子域名和根域取一级域名
UPDATE `tablename` SET `tdm`=CONCAT(SUBSTRING_INDEX(TRIM(TRAILING `rdm` FROM `sdm`), '.', -2), `rdm`) ;
执行结果：
影响的数据栏: 126978
时间: 7.172ms
`sdm` varchar(64) NOT NULL, #subdomain记录子域名，如：123456.user.qzone.qq.com
`tdm` varchar(32) NOT NULL, #topdomain记录一级域名，如：qq.com
`rdm` varchar(8) NOT NULL, #rootdomain记录根域，如：com
操作顺序
# 1、为表增加字段
ALTER TABLE `tablename` ADD `sdm` varchar(64) NOT NULL, ADD `tdm` varchar(32) NOT NULL, ADD `rdm` varchar(8) NOT NULL;
# 2、提取url中的域名信息
UPDATE `tablename` SET `sdm`=SUBSTRING_INDEX(SUBSTRING_INDEX(SUBSTRING_INDEX(`dm`, '/', 3), '/', -1) ,':',1);
# 3、提取域名中的根域
UPDATE `tablename` SET `rdm`=(IF(`sdm` REGEXP '(com|tel|mobi|net|org|asia|me|tv|biz|cc|name|info)(\\.[a-zA-Z]{2})$', SUBSTRING_INDEX(`sdm`, '.', -2), IF(`sdm` REGEXP '([a-zA-Z]{2,4})$', SUBSTRING_INDEX(`sdm`, '.', -1), '')));
# 4、根据子域名和根域取一级域名
UPDATE `tablename` SET `tdm`=CONCAT(SUBSTRING_INDEX(TRIM(TRAILING `rdm` FROM `sdm`), '.', -2), `rdm`) ;
执行结果：
影响的数据栏: 126978
时间: 7.172ms