独立凹凸曼统计系统支持排行榜等有兴趣朋友可以Q我
为什么要自研发统计系统 ?如百度其他第三方统计不能很好的解决文章具体统计数据比如PV和IP ,里面的数据杂乱无章,还有想弄一个文章日排行,周排行,月排行,也支持某个频道内排行,而且还可以导出文章排行,这样方便为考核提供依据。
统计系统命名为:凹凸曼统计 ,系统已经经历过实践具体可以查看下面功能介绍
一、开发语言:PHP+Python+js
二、功能介绍:
1、系统组成包括前端入库嵌入代(类似百度统计那种)、后端分析引擎(python)及后台管理(php mvc)。
2、设计数据库结构并用单库分表设计模式,这样设计好处以前的数据就会归档,不会影响数据性能,每日千万级~亿级完全OK,这样的平台我相信已经比较少了。
3、并且当初还设计了读写分离,前端写入的数据和后端分析可以分开来运行。
4、支持站点管理,意思支持多个站点统计数据。每个根域名对应一个站点。
5、支持每日新闻排行,查询url,页面(频道页排行,文章页面排行),排序(IP,PV),站点,频道,可选择导出excel表格。
6、支持每月新闻排行,查询浏览月份 ,发布月份,排序(IP,PV),站点,频道文章页排行,可选择导出excel表格
采用PYTHON对两个报表差异对比
对于钢材规格太多要找出两个报表,要找出那些未开票以及有错误,并且 重量和总价也可能写错不一样的 ,那是很浪费时间。花了点时间,开发基于PYTHON 程序解决此问题。
程序命名为:钢材找茬
windows下python3安装包及打包工具遇到的问题
在安装pyinstaller
使用pip工具进行安装 后面要加 –user
pip install pyinstaller –user
目前的最新版python3.7 安装pyinstaller可能会报错
You are using pip version 10.0.1, however version 18.1 is available.
You should consider upgrading via the ‘python -m pip install –upgrade pip’ command.
解决方法: python -m pip install –upgrade pip –user
然后在再使用pip install pyinstaller –user 就正常了
python开发《小猫抓》分析工具
mongodb(nosql)有一段时间木有用,正好最近写一个东东,使用php+python+mongodb(nosql)实战一下
定义工具(项目)名字:小猫抓
需求: 1、 获取子站点每天在百度最新收录新闻、收录总数 2、 获取百度权重、google pr
基本思路:客户端 php 做查询 、服务器端python 做分析并录入数据库、 数据库nosql-mongodb。
运行环境:http服务+php5.3+mongo-1.5.0+mongodb-linux-x86_64-2.6.0+python2.6.6+pymongo-2.7
客户端效果图:
Python代码性能优化技巧
代码优化能够让程序运行更快,它是在不改变程序运行结果的情况下使得程序的运行效率更高,根据 80/20 原则,实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗 80% 的工作量。优化通常包含两方面的内容:减小代码的体积,提高代码的运行效率。
改进算法,选择合适的数据结构
一个良好的算法能够对性能起到关键作用,因此性能改进的首要点是对算法的改进。在算法的时间复杂度排序上依次是:
O(1) -> O(lg n) -> O(n lg n) -> O(n^2) -> O(n^3) -> O(n^k) -> O(k^n) -> O(n!)
因此如果能够在时间复杂度上对算法进行一定的改进,对性能的提高不言而喻。但对具体算法的改进不属于本文讨论的范围,读者可以自行参考这方面资料。下面的内容将集中讨论数据结构的选择。
字典 (dictionary) 与列表 (list)
怎样解决抓包pcap无法加载?
环境:winXP+python2.5
pcap下载:http://code.google.com/p/pypcap/downloads/list
接着测试了一下安装的模块,居然报如下错误:
———- python2.5 ———-
Traceback (most recent call last):
File “grupdata.py”, line 2, in
Python 如何操作文件?
Python 如何操作文件?
分类:Python | 作者:凹凸曼 | 发表于2011/03/01 没有评论 编辑
#文件操作(类) #coding=gbk #author : 凹凸曼( lyc) #email : jar-c@163.com #time : 2010-9-30 try : import pickle import os except: print(‘相关模块未引入!’) class Bfile : path=’contacts.data’ #存放文件的路径 # 打开文件 # @param rw string # return bool def openf(self,rw): try : if os.path.isfile(Bfile.path)==False: f=open(Bfile.path,’w’) f=open(Bfile.path,rw) return f except: […]
Python2.x与 Python3.0的区别
由javaeye的姜太公翻译 原文:What’s New in Python 3.0 这篇文章主要介绍了相比于python2.6,python3.0的新特性。更详细的介绍请参见python3.0的文档。 Common Stumbling Blocks 本段简单的列出容易使人出错的变动。 * print语句被print()函数取代了,可以使用关键字参数来替代老的print特殊语法。例如: 1. Old: print “The answer is”, 2*2 2. New: print(”The answer is”, 2*2) 3. Old: print x, # 使用逗号结尾禁止换行 […]