Python 处理数据的实例详解

Python 处理数据的实例详解

最近用python（3.2的版本）写了根据特定规则，处理数据的一个小程序，用到了一些python常用的基础知识，在此总结一下：

1，python读文件
2，python写文件
3，python的流程控制
4，python的for循环
5，python的集合，或字符串里判断是否存在某个元素
6，python的逻辑或，逻辑与
7，python的正则过滤
8，python的字符串忽略空格，和以某个字符串开头和按某个字符拆分成list

python的打开文件的模式：

关于open 模式：

w     以写方式打开，
a     以追加模式打开 (从 EOF 开始, 必要时创建新文件)
r+     以读写模式打开
w+     以读写模式打开 (参见 w )
a+     以读写模式打开 (参见 a )
rb     以二进制读模式打开
wb     以二进制写模式打开 (参见 w )
ab     以二进制追加模式打开 (参见 a )
rb+    以二进制读写模式打开 (参见 r+ )
wb+    以二进制读写模式打开 (参见 w+ )
ab+    以二进制读写模式打开 (参见 a+ )

处理代码如下：

def showtxt(path,outpathname,detailpath): 
 
  greenpath=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\green.txt"; 
  redpath=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\red.txt"; 
  redset=listtxt(redpath) 
  greenset=listtxt(greenpath) 
  print("红色词数量: ",len(redset)) 
  print("绿色词数量: ",len(greenset)) 
  #符合1条件的内容写入 
  f1=open(r"C:\Users\qindongliang\Desktop\tnstxt\result\\"+detailpath+"\\1.txt",encoding="UTF-8",mode="a+") 
  #符合2条件的内容写入 
  f2=open(r"C:\Users\qindongliang\Desktop\tnstxt\result\\"+detailpath+"\\2.txt",encoding="UTF-8",mode="a+") 
  #符合3条件的内容写入 
  f3=open(r"C:\Users\qindongliang\Desktop\tnstxt\result\\"+detailpath+"\\3.txt",encoding="UTF-8",mode="a+") 
  #符合4条件的内容写入 
  f4=open(r"C:\Users\qindongliang\Desktop\tnstxt\result\\"+detailpath+"\\4.txt",encoding="UTF-8",mode="a+") 
 
 
 
  delcount=1; 
  f=open(path,encoding="UTF-8",mode="r+") 
  fnew=open(outpathname,encoding="UTF-8",mode="a+") 
  flog=open(outpathname+".log",encoding="UTF-8",mode="a+") 
  #count=1; 
  for line in f: 
    list=line.strip().split("\t") 
    line=line.strip() 
    catalogid=list[0] 
    score=list[1] 
    keyword=clear(list[4].strip()) 
    if keyword in redset: 
      if catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003") : 
        f1.write(line+"\n")#符合1条件写入 
        fnew.write(line+"\n")#符合1条件写入 
      else: 
        flog.write(line+"  不符合条件1 "+"\n") 
        delcount=delcount+1 
 
    if keyword in greenset: 
      if not (catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003")) : 
        fnew.write(line+"\n") 
      else: 
        f2.write(line+"\n") 
        flog.write(line+"  不符合条件2"+"\n") 
        delcount=delcount+1 
 
 
    flist=formatStrList(keyword) 
    if "sexy" in flist or "sex" in flist: 
      if catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003") : 
        f3.write(line+"\n") 
        fnew.write(line+"\n") 
      else: 
        flog.write(line+" 不符合条件3"+"\n") 
        delcount=delcount+1 
 
    #if (keyword.find("underwear")!=-1) & keyword.find("sexy")==-1 & keyword.find("sex")==-1: 
    if "underwear" in flist and "sexy" not in flist and "sex" not in flist: 
      if catalogid.startswith("014032") : 
        f4.write(line+"\n") 
        fnew.write(line+"\n") 
      else: 
        flog.write(line+" 不符合条件4"+"\n") 
        delcount=delcount+1 
 
    #print(list[0]," ",list[1]," ",list[4]) 
    #print() 
 
 
 
  flog.write("删除总数目： "+str(delcount)) 
  f.close() 
  f1.close() 
  f2.close() 
  f3.close() 
  f4.close() 
  fnew.close() 
  flog.close() 
 
import re 
def clear(str): 
  str=re.sub("[\"\"\'\'+]","",str) 
  return str 
 
 
def formatStrList(keyword): 
  list=keyword.split(" ") 
  for item in list: 
    item.strip(); 
  return list 
 
 
 
 
def listtxt(path): 
   f=open(path,encoding="UTF-8") 
   s=set() 
   for line in f: 
     s.add(line.strip()) 
   f.close() 
   return s 
 
path1=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\highfrequency.txt" 
pathout1=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\detail\\a_highfrequency.txt" 
detail1path="highfrequency" 
path2=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\highfrequency_d1.txt" 
pathout2=r"C:\\Users\\qindongliang\\Desktop\\tnstxt\\detail\\b_highfrequency_d1.txt" 
detail2path="highfrequency_d1" 
 
#showtxt(path1,pathout1,detail1path) 
 
showtxt(path2,pathout2,detail2path) 

以上就是对Python 的数据处理的实例详解，如有疑问请留言或者到本站社区交流讨论，感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

# Python  # 数据处理  # 处理数据的实例  # 常用处理数据的知识  # python数据预处理之数据标准化的几种处理方式  # Python数据处理numpy.median的实例讲解  # python数据预处理之将类别数据转换为数值的方法  # python处理二进制数据的方法  # 在Python中利用Pandas库处理大数据的简单介绍  # 使用 Python 处理3万多条数据只要几秒钟  # 不符合  # 在此  # 如有  # 希望能  # 写了  # 谢谢大家  # 判断是否  # 疑问请  # 新文件  # txt  # redset  # red  # redpath  # qindongliang  # Users  # green  # tnstxt  # Desktop  # listtxt 

相关文章： 寿县云建站：智能SEO优化与多行业模板快速上线指南  如何在腾讯云服务器上快速搭建个人网站？  如何选择高效响应式自助建站源码系统？  如何快速搭建安全的FTP站点？  微信网站制作公司有哪些,民生银行办理公司开户怎么在微信网页上查询进度？  建站VPS选购需注意哪些关键参数？  常州企业网站制作公司,全国继续教育网怎么登录？  c# 服务器GC和工作站GC的区别和设置  如何基于云服务器快速搭建网站及云盘系统？  如何在Golang中引入测试模块_Golang测试包导入与使用实践  SQL查询语句优化的实用方法总结  详解免费开源的DotNet二维码操作组件ThoughtWorks.QRCode（.NET组件介绍之四）  猪八戒网站制作视频,开发一个猪八戒网站，大约需要多少？或者自己请程序员，需要什么程序员，多少程序员能完成？  文字头像制作网站推荐软件,醒图能自动配文字吗？  如何在Windows虚拟主机上快速搭建网站？  c++怎么实现高并发下的无锁队列_c++ std::atomic原子变量与CAS操作【详解】  为什么Go需要go mod文件_Go go mod文件作用说明  如何快速生成高效建站系统源代码？  如何配置支付宝与微信支付功能？  装修招标网站设计制作流程,装修招标流程？  专业制作网站的公司哪家好,建立一个公司网站的费用.有哪些部分,分别要多少钱？  潮流网站制作头像软件下载,适合母子的网名有哪些？  如何使用Golang table-driven基准测试_多组数据测量函数效率  C#如何在一个XML文件中查找并替换文本内容  怎么将XML数据可视化 D3.js加载XML  建站之星价格显示格式升级，你的预算足够吗？  广州美橙建站如何快速搭建多端合一网站？  如何通过网站建站时间优化SEO与用户体验？  武清网站制作公司,天津武清个人营业执照注销查询系统网站？  制作网站公司那家好,网络公司是做什么的？  专业型网站制作公司有哪些,我设计专业的，谁给推荐几个设计师兼职类的网站？  江苏网站制作公司有哪些,江苏书法考级官方网站？  如何快速搭建高效简练网站？  南宁网站建设制作定制,南宁网站建设可以定制吗？  如何通过虚拟主机快速搭建个人网站？  大连网站制作费用,大连新青年网站，五年四班里的视频怎样下载啊？  中山网站推广排名,中山信息港登录入口？  如何在阿里云ECS服务器部署织梦CMS网站？  北京的网站制作公司有哪些,哪个视频网站最好？  ,交易猫的商品怎么发布到网站上去？  香港服务器如何优化才能显著提升网站加载速度？  C++如何使用std::optional？（处理可选值）  如何在Golang中处理模块冲突_解决依赖版本不兼容问题  制作国外网站的软件,国外有哪些比较优质的网站推荐？  建站之星如何快速更换网站模板？  在线ppt制作网站有哪些,请推荐几个好的课件下载的网站？  Android自定义listview布局实现上拉加载下拉刷新功能  制作网站的公司有哪些,做一个公司网站要多少钱？  网站制作外包价格怎么算,招聘网站上写的“外包”是什么意思？  深圳网站制作案例,网页的相关名词有哪些？