ITeye博客

2012 年文章归档

共 15 篇文章

DAL_逻辑架构

项目由于数据量较大,采用了对mysql进行了水平扩展的方式来支撑大数据量的存储、访问和负载均衡。这篇文字主要总结了一下已在线上运行的数据访问层,并在此基础上对逻辑架构进行一些补充和完善,有些是个人的设想,欢迎有经验的朋友批评指正,谢谢。 设计简介: 1. router 负责sql路由和过滤 1.1 app sql router: 负责应用对数据库操作的路由。 1.2 sql statistics center: 负责对整个系统中所有sql的统计。 2. Hot manager 负责sql热点的监视和分析 2.1 sql monitor : 负责sql监视(过滤) 2.2 host analy…

2012-09-26 09:52 · 系统架构设计

Thread_管理异步、定时及周期性任务

项目中有很多异步、定时及周期性任务的需求,其实现有一定的特点,汇总以备忘。 简单分析: 结构分析: 1.Task 属性包含处理任务的完整类名、任务处理的参数、延迟的时间(毫秒)、执行的周期间隔(毫秒)。 1.1 任务的完整类名 执行任务时,可以根据处理任务的完整类名,利用反射机制生成任务类的实例 1.2 任务处理的参数 执行任务时,可以从该参数中获取相关的参数值。 2.TaskThread 实现了接口Runnable,并且包含了当前线程要执行的任务对象。用户自定义任务类需要extends该类。 3.TaskManager 任务管理器包含了任务队列,访问任务队列的线程,并在TaskManage…

2012-09-24 14:43 · java apps

Thread_跨节点集合查询

项目中数据库进行了水平切分,为了处理跨节点集合查询,采用了多线程并发操作的方式来处理,并且对各线程执行的结果进行操作,如果是返回结果集,则合并排序;如果是聚合操作,则求和。个人觉得该实现方式很有代表性,所以抽取了原型实现备忘。 集合处理: import java.util.concurrent.CompletionService; import java.util.concurrent.ExecutionException; import java.util.concurrent.ExecutorService; /** * 集合查询 * * 场景: 数据库水平切分后,集合查询要对所有数据源…

2012-09-18 16:56 · java apps

Thread_大批量数据的分页处理(生产者-消费者)

java应用中通常会有处理大批量数据的场景,这里介绍一种分页处理的方式,仅供参考。 大批量数据通常不能一次读取或者写入,因为一次读取会消耗过多的内存,一次写入会长时间占用DB连接, 我的思路是参照分页查询的模式缩小每次操作的数据集,循环执行,直到处理完毕。 两种实现方式: 1.采用单线程模式顺序执行。 每次读取固定大小的数据记录,然后插入到存储设备。 2.采用多线程模式。 1个线程读取,另1个线程负责处理数据。 读写并发执行,一定程度上提高了功能的吞吐量和CPU的利用率。 具体实现: 1. 采用固定大小的队列来存储分页数据; 2. 队列满了,则开始执行入库等操作; 3. 队列空了,则开始向队…

2012-09-17 13:30 · java apps

Thread_wait、notify、notifyAll的使用方法

wait()、notify()、notifyAll()是三个定义在Object类里的方法,可以用来控制线程的状态。 这三个方法最终调用的都是jvm级的native方法。随着jvm运行平台的不同可能有些许差异。 •如果对象调用了wait方法就会使持有该对象的线程把该对象的控制权交出去,然后处于等待状态。 •如果对象调用了notify方法就会通知某个正在等待这个对象的控制权的线程可以继续运行。 •如果对象调用了notifyAll方法就会通知所有等待这个对象控制权的线程继续运行。 其中wait方法有三个over load方法: wait() wait(long) wait(long,int) wa…

2012-09-17 11:19 · java apps

TCP close_wait内幕

最近遇到的一个关于socket.close的问题,在某个应用服务器出现的状况(执行netstat -np | grep tcp): tcp 0 0 10.224.122.16:50158 10.224.112.58:8788 CLOSE_WAIT tcp 0 0 10.224.122.16:37655 10.224.112.58:8788 CLOSE_WAIT tcp 1 0 127.0.0.1:32713 127.0.0.1:8080 CLOSE_WAIT tcp 38 0 10.224.122.16:34538 10.224.125.42:443 CLOSE_WAIT tcp 38 0 …

2012-09-07 14:41 · 故障处理及调优

使用mysql的系统中常见sql错误

使用mysql的系统中常见的sql错误: 1.事务中某些表是非innodb类型。 SQLWarning ignored: SQL state 'HY000', error code '1592', message [Unsafe statement written to the binary log using statement format since BINLOG_FORMAT = STATEMENT. Statement is unsafe because it accesses a non-transactional table after accessing a transact…

2012-09-06 15:42 · mysql

开发管理工作教训总结

今年参与了一个在线教育网站的项目,规划承载1000W用户,一期上线用户80W。我有幸负责其中分布式会话开发和数据访问层(DAL)的开发及管理工作,项目已到上线阶段,突然有感触一路走来的一些经验及教训,不好意思,教训居多。 数据访问层由我负责主导,开发工作由另一位同事负责。由于手头事务繁杂,没有太多时间来对这块的工作进行细致的管理,只做到了对关键功能点的设计思路及实现难点的掌握和主导,但是还有一些地方做的不够,例如:细节代码的review,对细节设计不太合理的地方没有及时提出修改意见,并监督执行等等一些问题,导致在该同事离开以后发现对DAL的一些细节的设计不是很清楚,花了一段时间才了解得较详细…

2012-08-20 15:57 · 软件开发过程及管理

visualVM远程监视安装

1. 通过jstatd启动RMI服务 配置java安全访问,将如下的代码存为文件 jstatd.all.policy,放到JAVA_HOME/bin中,其内容如下, grant codebase "file:${java.home}/../lib/tools.jar" { permission java.security.AllPermission; }; 执行命令: jstatd -J-Djava.security.policy=jstatd.all.policy -J-Djava.rmi.server.hostname=192.168.1.211 & (192.168.1.211 服务器…

2012-08-10 14:44 · 故障处理及调优

mysql水平扩展DAL(数据访问层)压力测试

针对mysql的水平切分,项目开发的数据访问层(DAL)实现了应用对数据访问的路由和对数据库操作的支持,下面是从测试报告中摘取的部分测试情况,仅供参考。 测试环境: web(1台): 2c Intel(R) Xeon(R) CPU E5606 @ 2.13GHz 8G 280G硬盘 mysql proxy(2台): 1台 master 1台 slave 4C Intel(R) Xeon(R) CPU X5650 @ 2.67GHz 16G 数据库: 两台master 负责写 4C Intel(R) Xeon(R) CPU X5650 @ 2.67GHz 32G 两台slave 负责读 4C …

2012-07-05 09:09 · 系统架构设计

mysql水平扩展的设计思路

项目中应用了mysql数据库,由于数据量较大,采用了对mysql进行水平扩展的方式来应对,目前已基本实现。下面是水平扩展时需要处理的一些关键点: 1.处理一级路由(DB节点的拆分,例如DB节点由一组服务器扩展为2组服务器) 2.处理二级路由(DB节点内的拆分,例如一组DB服务器内将1张表拆分为10张表) 3.处理动态数据源 3.1 向当前系统中增加新的DB节点,应用系统在不重启的情况下实现连接新DB和数据库操作。 4.处理非切分字段查询和同步 5.处理跨节点数据集合操作 6.处理历史路由表(第二阶段实现) 7.处理迁移策略实现 (n: DB节点) 7.1 只有N1,散列空间 0-1000 7…

2012-05-26 09:36 · 系统架构设计

tomcat分布式会话管理流程

经过初步的功能测试,对项目中分布式会话组件进行了一些修改和完善,实现了对多系统会话的统一管理。前期也实现了集成本地缓存,后来经过讨论发现容器间同步会导致组播太多,对系统性能影响较大就把本地缓存去掉了。该组件是基于tomcat6,并对session管理进行了扩展(用户的强烈要求),不适用于其他web server。 软件配置: web服务器: tomcat6 一级缓存:oscache2.4.1 全局缓存:memcached memcached客户端: java_memcached-release_2.6.3 组播软件:jgroups-2.12.1.Final.jar 目前简单总结了如下几条设计…

2012-05-03 11:41 · 系统架构设计

应用jgroups实现tomcat session的同步

项目中采用将会话保存到全局缓存中的方式,实现了分布式session的功能。由于整个系统划分为多个子系统,并且分别部署到不同的服务器节点上,所以各tomcat容器之间的session的注销和过期时间需要同步。目前项目中采用了jgroups的组播方式实现了各容器之间session的同步问题,下面是部分代码,仅供参考: import org.apache.catalina.Manager; import org.apache.catalina.Session; import org.apache.catalina.session.CacheConstants; import org.apache.…

2012-03-15 15:58 · 系统架构设计

分布式事务处理-jotm应用

由于项目的需要,初步学习了分布式事务的相关知识,了解了可以和tomcat集成的几款分布式软件,在此基础之上,将事务处理和项目集成到了一起。 应用层采用了spring的声明式事务处理方式,经过测试知道sping本身支持单数据源的跨表事务。 集成了jotm后,对跨数据源的事务进行统一管理。经过测试,可以通过配置文件的方式将jotm和spring较好的集成在一起。 项目使用的框架:struts2+spring2.5 数据库:mysql5 第三方事务软件:jotm2.2.1 下面是配置文件,仅供参考。 <?xml version="1.0" encoding="UTF-8"?> <beans xml…

2012-03-08 10:45 · 系统架构设计

tomcat session静态结构

因为项目的需要,最近几天正在学习tomcat对session的管理机制。为了理清内部处理机制,所以整理归纳了一些图表,以备以后查阅。 1.静态结构图

2012-01-30 13:25 · 系统架构设计