【转】shell日志分析--支持分析日志访问路径,统计访问IP,IPTABLES解与封

admin 发表于 [Linux] 分类,标签: Linux VPS管理 服务器环境 性能优化
0
#!/bin/bash #特性: #1,可分析多个网站项目日志 #2,每个网站项目日志可根据关键字进行统计分析 #3,可调整访问IP次数的阀值(超过多少次加入到墙) #4,可调整IP封的时间 #5,可在定时任务修改分析日志的时间间隔 #6,防火墙在封的时候进行了去重,不会封同样的IP #-----zhaoll@ ############...阅读全文>>

MySQL性能优化的最佳20+套经验

admin 发表于 [MySQL] 分类,标签: 编程技巧 性能优化 SQL MySQL查询
0
  今天,数据库的操作越来越成为整个应用的性能瓶颈了,这点对于Web应用尤其明显。关于数据库的性能,这并不只是DBA才需要担心的事,而这更 是我 们程序员需要去关注的事情。当我们去设计数据库表结构,对操作数据库时(尤其是查表时的SQL语句),我们都需要注意数据操作的性能。这里,我们不会讲过 多的SQL语句的优化,而只是针对MySQL这一Web应用最多的数据库。希望下面的这些优化技巧对你有用。1. ... 阅读全文>>

MySQL 5.1中的分区管理

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
1)删除分区 ALTER TABLE t1 DROP PARTITION (x0, x1);  此命令 用于删除 RANGE / LIST 分区中的 任何 分区 。 对于 RANGE 分区 , 删除分区后,被删除 的 范围将被 其余的分区继承 。被删除的 分区...阅读全文>>

PHPCMS V9亿万级数据解决方案——模型表分区

admin 发表于 [开源PHP网站] 分类,标签: PHP开发框架 MySQL命令行 性能优化
11
PHPCMS V9没有分表设计模型数据表,可以采用MySQL分区来解决,分区的好处是不需要修改原来的PHP代码,就能实现数据表的分表存储,其存储过程不需要PHP操作,MySQL能自动为你解决各个分表之间的关系。 对文章模型(数据表news和附表news_data)进行分区后,  从下图可以看到这两个表被分解为几个表了: 阅读全文>>

MySQL分区的概念总结

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
一、开始 判断你的MySQL是否支持分区,使用命令: mysql> SHOW VARIABLES LIKE '%partition%'; +-----------------------+-------+ | Variable_name | Value | +-----------------------...阅读全文>>

mysql分表的详细设计与应用

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
一般来说,当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了,这次我来详细说说分表的一些方法。目前我所知道的方法都是MYISAM的,INNODB如何做分表并且保留事务和外键,我还不是很了解。首先,我们需要想好到底分多少个表,前提当然是满足应用。这里我使用了一个比较简单的分表方法,就是根据自增id的尾数来分,也就是说分0-9一共10个表,其取值也很好做,就是对10进行取模。另外,还...阅读全文>>

MySQL分表处理的实现方法

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
MySQL分表处理用于处理海量的数据库,下面就为您详细介绍MySQL 分表处理的实现方法,希望对您能够有所启迪。 面对海量数据的表的时候,我们需要对它进行分表处理,我是按月份分的表,即每月都要建立一张表 比如 table_2010_04,table_2010_05,table_2010_06......您可以根据自己的需要,可以根据时间和不同的字段以及类型来分表。我按月分表是因为...阅读全文>>

mysql分表方案(优化查询)

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
一,先说一下为什么要分表 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。 根据个人经验,mysql执行一个sql的过程如下:1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行结果。在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的...阅读全文>>

Mysql合并表Merge引擎

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
1.Merge(MRG_MyISAM)存储引擎类型允许你把许多结构相同的表合并为一个表。当从合并表中执行查询,从多个表返回的结果就像从一个表返回的结果一样。 2.要创建合并表的前提是每一个合并的表必须有同样的表定义(表结构、索引),并且子表的存储引擎必须是Myisam。   3.合并表的创建方法  create table t_1( id int(...阅读全文>>

MYSQL 数据库的合并表(可用于对多个分表进行操作)

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
0
Merge Tables 如果愿意的话,可以把合并表看成一种较老的、有更多限制的分区表,但是它们也有自己的用处,并且能提供一些分区表不能提供的功能。 合并表实际是容纳真正的表的容器。可以使用特殊的UNION语法来CREATE TABLE。下面是一个合并表的例子: mysql> CREATE TABLE t1(a INT NOT NULL PRIMARY KEY)ENGINE...阅读全文>>

Linux VPS服务器根据CPU负载及内存占用自动重启的bash shell脚本

admin 发表于 [Linux] 分类,标签: CentOS Linux VPS管理 性能优化
0
主要用于监控 linux 服务器负载及内存占用,如 MySQl、php-fpm,当负载或内存占用达到设置值后,便自动重启该进程以避免宕机。 # 设置最大内存占用百分比 PID_MEM_MAX="85" # 设置最大系统负载 SYS_LOAD_MAX="3" # 设置需要监控的服务名称 NAME_LIST=&...阅读全文>>

apache加速模块mod_pagespeed的安装

admin 发表于 [Linux] 分类,标签: CentOS Linux SSH 服务器缓存 性能优化
0
在很多童鞋还是感觉自己网站速度不够快的,寻找各种加速方法的时候,Google又出了一个给网站加速的模块,apache加速模块mod_pagespeed。早在去年6月,Google 为开发者提供了一个可以给出相关网站优化建议的工具 Page Speed,但是有了建议后的后续执行工作也是很麻烦的。贴心的 Google 特为懒惰型 MJJ们 提供了傻瓜化解决方案:mod_pagespeed。据称该模块可...阅读全文>>

【转】Innodb如何查看剩余表空间?

admin 发表于 [MySQL] 分类,标签: MySQL命令行 性能优化
1
在 Myisam 和 Innodb Innodb_file_per_table 独立表空间的情况下,只需要查看磁盘剩余空间,再配合统计出来的数据增长速率就可以对磁盘空间进行预警,提前解决隐患。那么在预分配共享表空间的情况下查看剩余表空间:阅读全文>>

把MySql数据库中的MyISAM引擎表转换为InnoDB引擎

admin 发表于 [MySQL] 分类,标签: MySQL函数 MySQL命令行 性能优化
0
MySQL中的MyISAM和InnoDB有什么区别,在这儿就不哆嗦了。一个好比便利店,一个好比大型购物中心,他们是为了适应不同的场合而存在的。当流量比较小,我们可以用MyISAM,当流量大时,我们可能会把数据库中的,全部表或者部分表转换成InnoDB。下面说2种切实可行的方法来完成这种转换。 1、转换单个表:     ALTER TABLE 数据表 TY...阅读全文>>

强大的PHP缓存类(支持基于文件缓存和eaccelerator、apc、xcache、memcache模块缓存)

admin 发表于 [PHP] 分类,标签: PHP代码 PHP自定义函数 服务器缓存 性能优化 eAccelerator memcache
0
强大的PHP缓存类(支持基于文件缓存和eaccelerator、apc、xcache、memcache模块缓存)   直接贴代码: <?php /* * Name: wrapperCache * URL: http://www.admpub.com/blog/ * Version: v0.1 * Date: 29/1...阅读全文>>

四种多服务器共享session的方法

admin 发表于 [PHP] 分类,标签: 知识总结 服务器缓存 性能优化 memcache
0
伴随网站业务规模和访问量的逐步发展,原本由单台服务器、单个域名的迷你网站架构已经无法满足发展需要。 此时我们可能会购买更多服务器,并且启用多个二级子域名以频道化的方式,根据业务功能将网站分布部署在独立的服务器上;或通过负载均衡技术(如:DNS轮询、Radware、F5、LVS等)让多个频道共享一组服务器。   OK,头脑中我们已经构思了这样的解决方案,不过进入深入开发后...阅读全文>>

php读取大文件详解

admin 发表于 [PHP] 分类,标签: 知识总结 性能优化
0
需求如下:   现有一个1G左右的日志文件,大约有500多万行, 用php返回最后几行的内容。实现方法: 1. 直接采用file函数来操作 注: 由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下 限制只能最大使用内存16M,这是通过php.ini里的memory_lim...阅读全文>>

用PHP针对上百兆的*.log日志文件,用什么方法做PV统计较好?

admin 发表于 [PHP] 分类,标签: PHP代码 知识总结 性能优化
0
1.做计划任务:零晨过后,把昨天的log文件一行一行的读出来分析,并做统计,然后将统计结果放进数据库。是否可取?2.根据需要,有时要做实时做统计,实时做pv统计,也是一行一行的读吗?会不会影响当前*.log的更新?3.方法1和2占用内存的情况怎样?解决方案: $fp = fopen($filename, 'r'); // 只读操作,不会影响写入 $buf = fread...阅读全文>>

使用PHP构建高性能系统【转】

admin 发表于 [PHP] 分类,标签: 服务器缓存 性能优化
0
如何解决系统中可能存在的性能问题呢? 首先,我们需要清楚在业务上有什么要样的性能需求; 第二步,根据性能的要求去考虑系统的设计, 第三步,系统的开发过程中去关注可能存在的局部性能问题。 评估系统的性能要求: 没有开发过性能敏感系统的团队,容易犯的错误是,不去考虑系统将来有多少人使用,并发访问有多高,需要存贮多少数量的数据? 直接就开始做系统的开发,抱着等着出了性能问题...阅读全文>>

PHP5:命名空间(namespace)+__autoload 执行效率比普通的__autoload快十倍以上【转】

admin 发表于 [PHP] 分类,标签: 知识总结 性能优化
0
测试环境:XP+PHP(5.3.1)+nginx(0.8.30)+Xdebug 2.0.5文件的目录结构为: 其中class1.php和class.php两文件在test\shop\member\article目录下。 截图如下: 从上面两图可以看出,命名空间配合__autoload在加载文件上的执行效率是普通__autoload加载文件方法的10倍以上,且内存消耗...阅读全文>>