标签存档: PHP

悲催的延续

也许写技术博客不应该带太多情绪。。。好吧以后注意。

悲剧在延续,继安装好各个软件后,开始调试。PDO连接数据库直接给502错误。

你要是报个500吧,我还能理解,502是什么态度呢?

命令行下运行,就仨字——“段错误”(Segment fault)

搜索给出是内存访问错误,登时有点抓狂,莫非要我追源码不成。

研究一阵子无果,问了下大家意见,志强说见过类似错误,赶快邀来帮忙。展示了一下由于完全没有其他信息,也比较没辙,志强提出使用connect方式连接一下mysql看看,果然,出现信息了 “Headers and client library minor version mismatch. Headers:50045 Library:50517”

终于有所发现,50517是新的数据库版本,50045是原有的老的数据库版本,看来是php编译的时候使用的mysql源文件还是老版本的,也就是说原有的mysql并没有清除干净,于是马上开始着手清除原有的mysql的文件,然后一遍一遍的编译php。

话说志强是一位好同志,个高人帅又安静,爱好点乐器,天平的东北爷们,而且貌似还单身,有靠谱的可以给介绍一个嗯嗯,咳,跑题了。。。

当删掉了最后一部分我认为有可能是原mysql的文件并再次编译未果之后,我开始怀疑是不是文件的问题了。。。有点迟钝了。。。这时想到了缓存,于是重启服务器。

终于!开机后的再次编译之后运行成功,原来我被这个幽灵缓存坑了一整天。。。

最后总结一下,时间耽误在思维的局限上,更早之前就应该想想更多的问题点。崩溃没有意义,应该冷静的跳出圈子转换思维。另外耐心和迅捷操作也很重要。

接上 编译安装Memcache

Memcache的安装比较顺利了,不过也有一些小问题需要注意

Memcached据说需用到libevent这个库 https://github.com/downloads/libevent/libevent/libevent-2.0.15-stable.tar.gz,但是不装好像也没有什么问题。

Install Libevent
1
2
3
4
5
6
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable
./confiugre --prefix=/usr
make
make install

安装Memcached

Install memcached
1
2
3
4
5
6
7
wget http://memcached.googlecode.com/files/memcached-1.4.9.tar.gz
tar zxvf memcached-1.4.9.tar.gz
cd memcached-1.4.9
./confiugre --prefix=/opt/modules/memcached --with-libevent-dir=/usr
make
make install

安装 php memcache扩展

Install php-memcache
1
2
3
4
5
6
7
8
wget http://pecl.php.net/get/memcache-3.0.6.tgz
tar xvf memcache-3.0.6.tgz
cd memcache-3.0.6
/opt/modules/php/bin/phpize
./configure --enable-memcache --with-php-conf=/usr/local/php/bin/php-config
make
make install

安装完成后,提示
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626

配置php.ini文件,在文件最后添加
extension_dir="/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626"
extension=memcache.so

查看php是否成功加载memcache.so
/opt/modules/php/bin/php -m

启动memcached服务端程序
memcached -d -m 64 -u www-data -l localhost -p 11211 -c 640 -P /tmp/Memcached.pid

各个参数的意义
-d选项是启动一个守护进程,
-m是分配给Memcached使用的内存数量,单位是MB,
-u是运行Memcache的用户,我这里是root,
-l是监听的服务器IP地址,
-p是设置Memcache监听的端口,最好是1024以上的端口,
-c选项是最大运行的并发连接数,默认是1024,按照你服务器的负载量来设定,
-P是设置保存Memcache的pid文件

配置memcached开机启动

init memcache
1
2
3
cp memcached.txt /etc/init.d/memcached
chmod + x /etc/init.d/memcached
chkconfig memcached on

svn比较简单不再纪录

悲催之LNMP环境编译安装

最近负责一台实验机的部署,需要搭建LNMP环境,由于并不太熟悉安装细节,决定尝试指定目录编译安装,方便以后的管理控制。

之后便开始了为期3天的痛苦折磨,各种诡异的错误,加上本身心情不好,无以言表烦闷挫败之感,今天跟其死磕到底,终于拨云见日,小出一口气。

Linux环境的搭建本身应该是很基础的知识,由于以前并未实际操作过,算是一个缺口,这次也正好是个机会恶补一下吧,如冯鑫所说,停止自欺欺人,从基础开始巩固自己,不失为一件好事。

先叙述一段前奏:整体配置之前,下载了各个软件的源码包,不小心毁了原来的Apache+php系统导致报警系统实效,临时熬夜搭建了最新的nginx+php-fpm的环境配用,中间踩雷无数,主要关于nginx的配置。由于还没有安装mysql,php编译时没有带上mysql的相关参数,只是临时使用,当第二天真正搭建时才开始了mysql+php编译的噩梦。。。

失败的地方就不说了,主要叙述安装过程及注意要点,以备后用。

php必须在mysql后面安装,nginx随意

1,先安装nginx可以用来测试php,nginx编译安装也最简单注意附带上prefix参数确定路径。其他教程也有nginx附带zlib和openssl组件的,如果附带可以按如下方式安装。

a.安装zlib,openssl等组件

Install zlib & openssl
1
2
3
4
5
6
7
8
9
10
unzip -x zlib125.zip
cd zlib-1.2.5
./configure --prefix=/usr
make
make install
tar zxvf openssl-0.9.8r.tar.gz
cd openssl-0.9.8r
make
make install

b.安装 nginx

Install Nginx & pcre
1
2
3
4
5
6
7
tar zxvf pcre-8.13.tar.gz
tar zxvf nginx-1.0.8.tar.gz
cd nginx-1.0.8
./configure --prefix=/usr/local/nginx --sbin-path=/usr/sbin --with-http_ssl_module --with-http_sub_module --with-http_flv_module --with-http_stub_status_module --with-zlib=../zlib-1.2.5 --with-openssl=../openssl-0.9.8r --with-pcre=../pcre-8.13
make
make install

2,安装mysql,长话短说

mysql5.5.17需要安装CMake

Install CMake
1
2
3
4
5
tar zxvf cmake-2.8.5.tar.gz
cd cmake-2.8.5
./configure
make
make install

在安装最后一步时可能会出错,解决办法是指定安装位置make install DESTDIR=/usr/local.

最后可用的参数设置:

Install Mysql
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
groupadd mysql
useradd -d /opt/modules/mysql -g mysql -s /usr/sbin/nologin mysql
chown -R mysql:mysql /opt/modules/mysql
chmod -R 755 /opt/modules/mysql
cmake -DCMAKE_INSTALL_PREFIX=/opt/modules/mysql \
-DMYSQL_DATADIR=/opt/modules/mysql/data \
-DWITH_INNOBASE_STORAGE_ENGINE=1 \
-DWITH_ARCHIVE_STORAGE_ENGINE=1 \
-DWITH_BLACKHOLE_STORAGE_ENGINE=1 \
-DWITH_FEDERATED_STORAGE_ENGINE=1 \
-DWITH_PARTITION_STORAGE_ENGINE=1 \
-DMYSQL_UNIX_ADDR=/tmp/mysqld.sock \
-DMYSQL_TCP_PORT=3306 \
-DENABLED_LOCAL_INFILE=1 \
-DEXTRA_CHARSETS=all \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DMYSQL_USER=mysql
make
make install

复制配置文件my.cnf

Install Mysql
1
2
3
cp /opt/modules/mysql/support-files/my-medium.cnf /etc/my.cnf
chown mysql.mysql /etc/my.cnf
chmod 755 /etc/my.cnf

配置开机启动

Install Mysql
1
2
3
cp /opt/modules/mysql/support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld
chkconfig mysqld on

在这之前,需要初始化mysql信息表。记得非默认路径安装的要带上mysql和data的路径。
mysql_path/scripts/mysql_install_db --user=mysql --basedir=/opt/modules/mysql --datadir=/path_to_mysql_data_dir

另外补充开放root外网访问命令,备忘:
GRANT ALL PRIVILEGES ON *.* TO 'monitor'@'%' IDENTIFIED BY 'admin'WITH GRANT OPTION;
FLUSH PRIVILEGES;

启动mysql并设置密码

Install Mysql
1
2
/etc/init.d/mysqld start
/usr/local/mysql/bin/mysqladmin -u root password '新密码'

3,php安装,最悲催的就是这个,configure各种报错,最后又神奇可用,无以言表。。。

最后可用的设置,注:新版本的php都自带fpm了,所以不用安装。

Install PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
./configure --prefix=/opt/modules/php \
--with-config-file-path=/opt/modules/php/etc \
--with-iconv-dir \
--with-freetype-dir \
--with-jpeg-dir \
--with-png-dir \
--with-zlib \
--with-libxml-dir=/usr \
--enable-xml \
--disable-rpath \
--enable-magic-quotes \
--enable-safe-mode \
--enable-bcmath \
--enable-shmop \
--enable-sysvsem \
--enable-inline-optimization \
--with-curl \
--with-curlwrappers \
--enable-mbregex \
--enable-fpm \
--enable-mbstring \
--with-mcrypt \
--enable-ftp \
--with-gd \
--enable-gd-native-ttf \
--with-openssl \
--with-mhash \
--enable-pcntl \
--enable-sockets \
--with-xmlrpc \
--enable-zip \
--enable-soap \
--without-pear \
--with-gettext \
--enable-fpm \
--with-fpm-user=www \
--with-fpm-group=www \
--with-pdo-mysql=/opt/modules/mysql \
--with-mysql=/opt/modules/mysql \
--with-mysqli=/opt/modules/mysql/bin/mysql_config
make
make install

make时曾出现 /usr/bin/ld: cannot find -lltdl 解决很简单,库在,只是没编译

Install PHP
1
2
3
4
cd /usr/share/libtool/libltdl
./configure --prefix=/usr
make
make install

复制php.ini到配置文件目录及php-fpm 开机启动

Install PHP
1
2
3
cp php.ini-production /opt/modules/php/etc/php.ini
cp /opt/modules/php/sbin/php-fpm /etc/init.d/php-fpm
chmod +x /etc/init.d/php-fpm

这时候还不能使用/etc/init.d/php-fpm start启动,需修改一下php-fpm配置文件才可以,配置文件位置php安装目录 etc 目录下,默认有个参考文件.

Install PHP
1
2
3
4
5
cp php-fpm.conf.default /opt/modules/php/etc/php-fpm.conf
vim php-fpm.conf
,pm.start_servers = 20
,pm.min_spare_servers = 5
,pm.max_spare_servers = 35

去掉以上三项前面的逗号,这时再使用/etc/init.d/php-fpm start 即可启动。

最后配置nginx.conf最坑爹的就在这。。。

Install PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
server {
listen 80;
server_name localhost;
    root /var/www/html;
    location ~ .*\.(php|php5)?$
  {
   #fastcgi_pass unix:/tmp/php-cgi.sock;
   fastcgi_pass 127.0.0.1:9000;
   fastcgi_index index.php;
   include fastcgi.conf;
  }
}

默认情况下,最后一行fastcgi.conf是fastcgi_params,这是无论如何过不去的,看看内容,只差一行。。。

补充一句,有问题可以去LNMP.org找灵感,不过很多问题都是未提到的。。。

暂时到这儿。。。要死了。。。明天继续磕memcached和svn...

【转】PHP搭建百万级网站架构技术

很好的文章,为很多运营问题提供了解决方案,等逐一研究下

「转]

了解过世界最大的PHP站点,Facebook的后台技术后,今天我们来了解一个百万级PHP站点的网站架构:Poppen.de。Poppen.de是德国的一个社交网站,相对Facebook、Flickr来说是一个很小的网站,但它有一个很好的架构,融合了很多技术,如 Nigix、MySql、CouchDB、Erlang、Memcached、RabbitMQ、PHP、Graphite、Red5以及Tsung。

统计信息

◆200万注册用户数;

◆2万并发用户数;

◆每天20万条私有消息;

◆每天25万登录次数;

◆项目团队有11个开发人员,两个设计,两个系统管理员;

商业模式

该网站采用免费增值模式,用户可以免费使用下面任何服务:

◆搜索其他用户;

◆给好友发送消息;

◆上载图片和视频;

◆寻找好友;

◆视频聊天;

◆更多…

但如果用户想享受不受限制发送消息和上载图片,那么就得根据需要支付不同类型的会员服务,视频聊天及网站其他服务也采用同样的策略。

工具箱

Nginx

Poppen.de 所有的服务都是基于Nginx服务上的。前端有两台Nginx服务器在高峰期提供每分钟15万次请求的负载,每个机器已经有四年寿命,并且只有一个CPU 和3GB RAM。Poppen.de拥有三台独立的图像服务器,由三台Nginx服务器为*.bilder.poppen.de提供每分钟8万次请求服务。

Nginx 架构中一个很酷的设计就是有很多请求是由Memcached处理的,因此请求从缓存中获取内容而不需要直接访问PHP机器。比如,用户信息页(user profile)是网站需要密集处理的内容,如果把用户信息页全部缓存到Memcached上,那么请求直接从Memcached上获取内容。 Poppen.de的Memcached每分钟可以处理8000次请求。

架构中有三个Nginx图像服务器提供本地图像缓存,用户上载图 像到一个中央文件服务器。当向这三个Nginx之一中请求图像时,如果服务器本地中没有存在该图像,则从中央文件服务器下载到该服务器上作缓存并提供服 务。这种负载均衡的分布式图像服务器架构设计可以减轻主要存储设备的负载。

PHP-FPM

该网站运行在PHP- FPM上。共有28台双CPU、6GB内存的PHP机器,每个机器上运行100个PHP-FPM的工作线程。使用启用了APC的PHP5.3.x。 PHP5.3可以降低CPU和内存使用率的30%以上。

程序代码是基于Symfony1.2框架之上开发的。一是可以使用外部资源,二是 能够提高项目开发进度,同时在一个著名的框架上可以让新开发人员更容易加入到团队中来。虽然没有任何事情都是十全十美的,但可以从Symfony框架中得 到很多好处,让团队可以更多的精力放在Poppen.de的业务开发上去。

网站性能优化使用XHProf,这是Facebook开源出来的一个类库。这个框架非常容易个性化和配置,能够可以缓存大部分高代价的服务器计算。

MySQL

MySQL是网站 主要的RDBMS。网站又几个MySql服务器:一台4CPU、32GB的服务器存储用户相关信息,如基本信息、照片描述信息等。这台机器已经使用了4 年,下一步计划会使用共享集群来替换它。目前仍基于这个系统上进行设计,以简化数据访问代码。根据用户ID进行数据分区,因为网站中大部分信息都是以用户 为中心的,如照片、视频、消息等。

有三台服务器按主-从-从配置架构提供用户论坛服务。一台从服务器负责网站自定义消息存储,到现在有 2.5亿条消息。另外四台机器为主-从配置关系。另外由4台机器配置成NDB族群专门服务于密集型写操作数据,如用户访问统计信息。

数据表设计尽量避免关联操作,尽可能缓存最多的数据。当然,数据库的结构化规范已经完全被破坏掉了。因此,为了更容易搜索,数据库设计创建了数据挖掘表。大部分表是MyISAM型表,可以提供快速查找。现在的问题是越来越多的表已经全表锁住了。Poppen.de正考虑往XtraDB存储引擎上迁移。

Memcached

网站架构中Memcached应用相当多,超过45GB的高速缓存和51个节点。缓存了Session会话、视图缓存以及函数执行缓存等。架构中有一个系统 当记录被修改时可以自动地把数据更新到缓存中去。未来改善缓存更新的可能方案是使用新的Redis Hash API或者MongoDB。

RabbitMQ

在 2009年中开始在架构中使用RabbitMQ。这是一个很好的消息解决方案,便于部署和集中到这个架构中去,在LVS后运行了两台RabbitMQ服务 器。在上个月,已经把更多的东西集成到该队列中,意味着同一时刻有28台PHP服务器每天要处理50万次请求。发送日志、邮件通知、系统消息、图像上载等 更多的东西到这个队列中。

应用PHP-FPM中的fastcgi_finish_request()函数集成队列消息,可以把消息异步发 送到队列中。当系统需要给用户发送HTML或JSON格式响应时,就调用这个函数,这样用户就没有必要等到PHP脚本清理。

这个系统可以改善架构资源管理。例如,在高峰期服务每分钟可以处理1000次登录请求。这表示有1000并发更新用户表保存用户的登录时间。由于使用了队列机制,可以 按相反的顺序来运行这些查询。如果需要提高处理速度,只需要增加更多的队列处理者即可,甚至可以增加更多的服务器到这集群中去,而不需要修改任何配置和部 署新节点。

CouchDB

日志存储CouchDB运行在一台机器上。在这台机器上可以根据模块/行为进行日志查询 /分组,或者根据错误类型等等。这对定位问题非常有用。在使用日志聚合服务CouchDB之前,不得不逐台登录到PHP服务器上设法日志分析定位问题,这 是非常麻烦的。而现在把所有的日志集中到队列中保存到CouchDB中,可以集中进行问题检查和分析。

Graphite

网站使用Graphite采集网站实时信息并统计。从请求每个模块/行为到Memcached的命中和未命中、RabbitMQ状态监控以及Unix负载等等。Graphite服务平均每分钟有4800次更新操作。实践已经证实要监测网站发发生什么是非常有用的,它的简单文本协议和绘图功能可以方便地即插即 用的方式用于任何需要监控的系统上。

一件很酷的事情是使用Graphite同时监控了网站的两个版本。一月份部署了Symfony框架新 版本,以前代码作为一个备份部署。这就意味着网站可能会面临性能问题。因此可以使用Graphite来对两个版本在线进行对比。

发现新版本上的Unix负载表较高,于是使用XHProf对两个版本进行性能分析,找出问题所在。

Red5

网站为用户也提供了两种类型的视频服务,一种是用户自己上载的视频,另外一种是视频聊天,用户视频互动和分享。到2009年年中,每月为用户提供17TB的流量服务。

Tsung

Tsung 是一个Erlang编写的分布式基准分析工具。在Poppen.de网站中主要用于HTTP基准分析、MySQL与其他存储系统(XtraDB)的对比分 析。用一个系统记录了主要的MySQL服务器的流量,再转换成Tsung的基准会话。然后对该流量进行回放,由Tsung产生数以千计的并发用户访问实验 室的服务器。这样就可以在实验环境中与真实场景非常接近。

http://www.iamlintao.com/?p=1408