您当前的位置: 首页 » MySQL/MSSQL编程 » MySQL 查询中的分页思路的优化
MySQL 查询中的分页思路的优化
论坛链接
复杂条件搜索时，where somthing order by somefield+somefieldmysql会搜遍数据库，找出“所有”符合条件的记录，然后取出m,n条记录。如果你的数据量有几十万条，用户又搜索一些很通俗的词，然后要依次读最后几页重温旧梦。mysql该很悲壮的不停操作硬盘。
所以，可以试着让mysql也存储分页，当然要程序配合。
ASP的分页：在ASP系统中有Recordset对象来实现分页，但是大量数据放在内存中，而且不知道什么时候才失效(请ASP高手指点). SQL数据库分页：用存储过程+游标方式分页，具体实现原理不是很清楚，设想如果用一次查询就得到需要的结果，或者是id集，需要后续页时只要按照结果中的IDs读出相关记录。这样只要很小的空间保留本次查询的所有IDs. (SQL中的查询结果不知道怎样清楚过期垃圾?)
这样，可以让mysql模拟存储分页机制：1. select id from $table where $condition order by $field limit $max_pages*$count;查询符合条件的IDs.限定最大符合条件的记录数量，也可以不加。2. 因为php在执行结束后所有变量都要lost，所以可以考虑:方案a. 在mysql建立临时表，查询结果用一个时间或随机数作为唯一标志插入。其中建立page1~pagen个字段，每个字段保存该页中需要的ids, 这样一个id对一条记录.方案b. 如果打开session,也可以放在session中保存，实际上是放在文件中保存。建立一个$IDs数组，$IDs[1]~$IDs[$max_pages]. 考虑到有时候用户会开几个窗口同时查询，要为$ids做一个唯一标志，避免查询结果相互覆盖。二维数组和$$var都是好办法。3. 在每页页的请求中，直接找到对应的IDs，中间以","间隔：select * from $table where id in ($ids); 速度绝对快4. 收尾要考虑查询结果的自动清除，可以设置定时或者按比例随机清楚。如果用mysql临时表要加上一个时间标志字段，session中要加入$IDs["time"]=time(); 在一定时间以后不操作视为过期数据。
如果要优化，可以考虑用把1和2.a中的语句合并成select ...... into ....
Note:1.以上只是针对mysql的修补方案，希望mysql哪天能把这些功能加进去2.其它数据库也可以套用。3.如果其它数据库还有更先进的分页方式，请告诉我或mailto: [email]steeven@kali.com.cn[/email].如果真的有很多数据要查询，还是和mysql再见吧，sql,oracle都提供了更先进的关键词索引查询。
所以，可以试着让mysql也存储分页，当然要程序配合。
ASP的分页：在ASP系统中有Recordset对象来实现分页，但是大量数据放在内存中，而且不知道什么时候才失效(请ASP高手指点). SQL数据库分页：用存储过程+游标方式分页，具体实现原理不是很清楚，设想如果用一次查询就得到需要的结果，或者是id集，需要后续页时只要按照结果中的IDs读出相关记录。这样只要很小的空间保留本次查询的所有IDs. (SQL中的查询结果不知道怎样清楚过期垃圾?)
这样，可以让mysql模拟存储分页机制：1. select id from $table where $condition order by $field limit $max_pages*$count;查询符合条件的IDs.限定最大符合条件的记录数量，也可以不加。2. 因为php在执行结束后所有变量都要lost，所以可以考虑:方案a. 在mysql建立临时表，查询结果用一个时间或随机数作为唯一标志插入。其中建立page1~pagen个字段，每个字段保存该页中需要的ids, 这样一个id对一条记录.方案b. 如果打开session,也可以放在session中保存，实际上是放在文件中保存。建立一个$IDs数组，$IDs[1]~$IDs[$max_pages]. 考虑到有时候用户会开几个窗口同时查询，要为$ids做一个唯一标志，避免查询结果相互覆盖。二维数组和$$var都是好办法。3. 在每页页的请求中，直接找到对应的IDs，中间以","间隔：select * from $table where id in ($ids); 速度绝对快4. 收尾要考虑查询结果的自动清除，可以设置定时或者按比例随机清楚。如果用mysql临时表要加上一个时间标志字段，session中要加入$IDs["time"]=time(); 在一定时间以后不操作视为过期数据。
如果要优化，可以考虑用把1和2.a中的语句合并成select ...... into ....
Note:1.以上只是针对mysql的修补方案，希望mysql哪天能把这些功能加进去2.其它数据库也可以套用。3.如果其它数据库还有更先进的分页方式，请告诉我或mailto: [email]steeven@kali.com.cn[/email].如果真的有很多数据要查询，还是和mysql再见吧，sql,oracle都提供了更先进的关键词索引查询。