舆情系统
    

技术指标

    该系统对互联网网站、论坛、博客进行信息采集、分析,并对相关信息进行分类管理以及对重点目标的实时监控。主要技术指标如下:

    网络信息的自动采集:网络信息自动采集功能利用网络爬虫来实现。

    用户可设置关键字、定义重点监控的网站、论坛、博客或IP地址段,作为采集源,自动地进行网络爬行,全面实时获取网络信息。

    信息解析及预处理:基于网络信息采集得到的数据进行分析预处理,功能包括:

    ①更新识别;

    ② URL去重;

    ③垃圾信息过滤;

    ④关键信息提取;

    ⑤自动摘要。

    自动跟踪报警:包括针对重点目标的实时跟踪监控、敏感信息的报警以及所监控论坛博客的更新提醒。

    用户可根据重点目标的个人信息(例如:网名、QQ号、手机号、Email、论坛、博客、QQ空间地址、上网IP地址等等)实时发现跟踪其论坛发言、博客更新以及上线情况;

    用户可设置敏感信息报警以及更新提示的处理方式(例如:Email方式、短信方式、弹出式信息提示框、声音提示等等)。

    用户可设置监控的关键字词,并进行分类管理(例如:部队番代号、军事术语、武器装备、军人交友、突发事件等等)。

    统计报表:系统能够提供各类信息统计图进行态势分析,包括:关键词与时间的分布图,以及重点目标的地域分布图、上网频率统计图、发言频率统计图等等。同时,要求系统提供统计报表的输出功能。

    多用户管理:支持多用户管理,不同的用户可以设置不同的监控源、监控词汇、重点监控目标等信息。


系统框架

    系统采用B/S运行模式,按照J2EE框架结构设计,分为:表示层、业务逻辑层、数据存储层三个层次。按功能模块划分为任务管理、URL生成、信息采集、网络探测、信息报警、数据库管理六个功能模块。

    1、任务管理模块:实现对监控任务进行分类,便于用户对所有的监控任务进行分类管理;对任务进行开始,暂停,继续,停止,定时启动等控制操作。
    2、URL生成模块:根据任务分配的类型,不同WEB服务器相对应不同的URL规则,自动生成URL地址。
    3、信息采集模块:负责获取目标网站、论坛、博客内容到本地内存并进行分析处理。
    4、网络探测模块:负责向重点目标IP地址进行网络嗅探,获取开发端口服务、主机类型等信息。
    5、信息报警模块:接收检测到的报警信息,通过Email、短信息、声音等形式向用户报警。
    6、数据库管理模块:实现数据访问接口,提供对各类信息的添加、修改、删除以及统计功能。


技术特点

    1、系统采用Jsp+Servlet+JavaBean+Ajax的开发模式,
    2、使用Jsp+Ajax开发系统前台界面,Servlet、JavaBean实现系统后台业务逻辑
    3、数据库采用Oracle,JDK版本:1.6,Web服务器:Tomcat6
    4、后台网络爬虫使用HttpClient+HtmlParser+Regex,并结合现有论坛、博客监控技术进行改进.
    5、网络探测通过改进开源C++项目Nmap来实现.


系统安全性

    为保证系统安全性,采取以下安全控制策略:

    1、通信协议安全性控制;

    2、数据库安全性控制;

    3、身份认证机制;

    4、权限控制。