Python学习笔记¶

第九章 Python计算生态概览¶

9.1 从数据处理到人工智能¶

让我们去看看整个的链条：

  • 数据表示->数据清洗->数据设计->数据可视化->数据挖掘->人工智能

看看里面涉及到多少Python库，点到为止～

9.1.1 Python库之数据分析¶

  • 最基本的库：NumPy
  • 表达N维数组的最基础库
  • 提供了Python接口，用C语言来实现，计算速度优异
  • Python数据分析和科学计算的基础库，支撑pandas等

  • 提供直接的矩阵运算、广播函数、线性代数等功能

  • 若对数组中每一个元素直接运算，需要使用for循环，但是一旦使用NumPy，原生支持进行逐一运算

  • 最大价值：直接把数组看成一个对象
In [3]:
import numpy as npy
def npySum():
    a = npy.array([1,1,4,5,1,4])
    b = npy.array([1,9,1,9,8,1])

    c = a**2 + b**3
    return c

print(npySum())
print(type(npy.array([])))

[  2 730  17 754 513  17]
<class 'numpy.ndarray'>
  • Pandas：Python数据分析的高层次应用库
  • 提供了简单易用的数据结构和数据分析工具
  • 理解数据类型与索引的关系，操作索引的时候就是在操作数据
  • 基于NumPy开发，是Python最主要的数据分析功能库

  • 核心数据结构：

    • Series = 索引+一维数据
    • DataFrame = 行列索引+二维数据

  • SciPy：数学、科学和工程计算功能库

  • 提供了一批数学算法及工程数据运算功能
  • 类似MatLab，可以用于傅里叶变换、信号处理等应用
  • Python最主要的科学计算功能库，基于NumPy开发

9.1.2 Python库之数据可视化¶

  • Matplotlib：高质量的二维数据可视化功能库
  • 提供超过100种可视化展示效果
  • 通过matplotlib.pyplot子库调用各种可视化效果
  • 基于Numpy开发

  • 是Python最主要的数据可视化功能库

  • Seaborn：统计类数据可视化功能库

  • 基于Matplotlib再次开发，支持NumPy和Pandas

  • 展示数据间分布、分类和线性关系

  • Mayavi：三维科学数据可视化功能库

9.1.3 Python库之文本处理¶

  • PyPDF2：处理PDF的工具集

  • 完全用Python实现

  • NLTK：自然语言处理第三方库

  • 语言文本分类、标记、语法句法、语义分析等

  • Python种最优秀的自然语言处理库

  • Python-docx：处理Word文件的第三方库

9.1.4 Python库之机器学习¶

  • Scikit-learn：机器学习方法工具集
  • 聚类、分类、回归、强化学习

  • 机器学习最基本且最为优秀的Python第三方库

  • Tensorflow：Google

  • 数据流图作为基础

  • 支撑Google人工智能的框架

  • MXNet：基于神经网络的深度学习计算框架

  • PyTorch

9.2 霍兰德人格分析雷达图¶

  • 雷达图 Radar Chart
  • 霍兰德认为人格性趣和职业之间存在着内在的对应关系
  • 人格分为：研究型、艺术型、社会型、企业型、传统型、现实型
  • 职业：工程师、实验员、艺术家、推销员、记事员、社会工作者
  • 输入：各职业人群结合兴趣的调研数据
  • 输出：雷达图
  • 使用：matplotlib库、numpy库
In [17]:
#HollandRadarDraw
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import os
os.chdir("/Users/caiguu/PycharmProjects/pythonLearn")
matplotlib.rcParams['font.family']='Songti SC'
plt.rcParams['font.sans-serif'] = ['Songti SC']
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)',\
                         '企业型(E)','常规型(C)','现实型(R)']) #雷达标签
nAttr = 6
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
                 [0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
                 [0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
                 [0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
                 [0.20, 0.38, 0.87, 0.45, 0.32, 0.28],
                 [0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #数据值
data_labels = ('艺术家', '实验员', '工程师', '推销员', '社会工作者','记事员')
angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False)
fig = plt.figure(facecolor="white")
plt.subplot(111, polar=True)
plt.plot(angles,data,'o-', linewidth=1, alpha=0.2)
plt.fill(angles,data, alpha=0.25)
plt.thetagrids(angles*180/np.pi, radar_labels)
plt.figtext(0.52, 0.95, '霍兰德人格分析', ha='center', size=20)
legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1)
plt.setp(legend.get_texts(), fontsize='large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()
  • 目标 沉浸 熟练

9.3 从Web解析到网络空间¶

9.3.1 网络爬虫¶

  • Requests库：网络爬虫
  • Scrapy：构建网络爬虫系统，网络爬虫框架
  • PySpider：Web页面爬取系统

9.3.2 Web信息提取¶

  • Beautiful Soup：解析HTML和XML
  • Re：正则表达式解析和处理功能库，标准库
  • Python-Goose：提取文章类型的Web页面

9.3.3 网站开发¶

  • Django：Web系统框架，MTV模式，复杂但是专业
  • Pyramid：规模适中的Web应用框架
  • Flask：Web应用开发微框架，简单、规模小

9.3.4 网络应用开发¶

  • WeRoBot：微信公众号开发框架，微信自动发送消息
  • aip：百度的开放接口
  • MyQR：生成二维码

9.4 从人机交互到艺术设计¶

9.4.1 图形用户界面¶

  • GUI：图形用户界面
  • PyQt5：跨平台GUI，推荐使用它开发Python GUI
  • wxPython：也是一个图形用户界面
  • PyGObject：另一个GUI库，使用GTK+开发，跨平台。Anaconda就是用它写的GUI

9.4.2 游戏开发¶

  • PyGame：简单的游戏开发库
  • Panda3D：开源、跨平台的3D渲染和游戏开发库。迪士尼和卡内基美隆大学共同开发
  • cocos2d：2D游戏和图形界面交互式应用，适合专业2D游戏开发

9.4.3 虚拟现实¶

  • VR Zero：树莓派开发VR应用
  • pyovr：Python接口库，工业级应用，成熟的设备的接口
  • Vizard：基于Python的通用VR开发引擎，专业的企业级虚拟现实开发引擎

9.4.4 图形艺术¶

  • Quads：迭代艺术，像素风格
  • ascii_art：图片变ascii
  • turtle：太熟悉了吧！
  • Random Art：随机数来实现的图形艺术

9.5 玫瑰花绘制¶

  • 用Python（turtle）来绘制一个玫瑰花！
In [ ]:
#RoseDraw.py
import turtle as t
# 定义一个曲线绘制函数
def DegreeCurve(n, r, d=1):
    for i in range(n):
        t.left(d)
        t.circle(r, abs(d))
# 初始位置设定
s = 0.2 # size
t.setup(450*5*s, 750*5*s)
t.pencolor("black")
t.fillcolor("red")
t.speed(50)
t.penup()
t.goto(0, 900*s)
t.pendown()
# 绘制花朵形状
t.begin_fill()
t.circle(200*s,30)
DegreeCurve(60, 50*s)
t.circle(200*s,30)
DegreeCurve(4, 100*s)
t.circle(200*s,50)
DegreeCurve(50, 50*s)
t.circle(350*s,65)
DegreeCurve(40, 70*s)
t.circle(150*s,50)
DegreeCurve(20, 50*s, -1)
t.circle(400*s,60)
DegreeCurve(18, 50*s)
t.fd(250*s)
t.right(150)
t.circle(-500*s,12)
t.left(140)
t.circle(550*s,110)
t.left(27)
t.circle(650*s,100)
t.left(130)
t.circle(-300*s,20)
t.right(123)
t.circle(220*s,57)
t.end_fill()
# 绘制花枝形状
t.left(120)
t.fd(280*s)
t.left(115)
t.circle(300*s,33)
t.left(180)
t.circle(-300*s,33)
DegreeCurve(70, 225*s, -1)
t.circle(350*s,104)
t.left(90)
t.circle(200*s,105)
t.circle(-500*s,63)
t.penup()
t.goto(170*s,-30*s)
t.pendown()
t.left(160)
DegreeCurve(20, 2500*s)
DegreeCurve(220, 250*s, -1)
# 绘制一个绿色叶子
t.fillcolor('green')
t.penup()
t.goto(670*s,-180*s)
t.pendown()
t.right(140)
t.begin_fill()
t.circle(300*s,120)
t.left(60)
t.circle(300*s,120)
t.end_fill()
t.penup()
t.goto(180*s,-550*s)
t.pendown()
t.right(85)
t.circle(600*s,40)
# 绘制另一个绿色叶子
t.penup()
t.goto(-150*s,-1000*s)
t.pendown()
t.begin_fill()
t.rt(120)
t.circle(300*s,115)
t.left(75)
t.circle(300*s,100)
t.end_fill()
t.penup()
t.goto(430*s,-1070*s)
t.pendown()
t.right(30)
t.circle(-600*s,35)
t.done()
In [ ]:
import turtle as t
t.penup()
t.seth(-90)
t.fd(160)
t.pendown()
t.pensize(20)
t.colormode(255)
for j in range(10):
    t.speed(1000)
    t.pencolor(25*j,5*j,15*j)
    t.seth(130)
    t.fd(220)
    for i in range(23):
        t.circle(-80,10)
    t.seth(100)
    for i in range(23):
        t.circle(-80,10)
    t.fd(220)
t.done()

image.png

image-2.png

  • 艺术：思想优先，编程是手段
  • 设计：想法和编程同等重要
  • 工程：编程优先，思想次之

编程不重要，思想才重要！