使用Python抓取并存储股票数据至MySQL，包含最新等关键指标及多线程和数据库连接池功能

简介：
本项目利用Python编写爬虫程序，自动采集股票市场的实时数据，并通过优化如多线程与数据库连接池的技术手段，高效地将包括最新交易价格在内的多项核心指标存储到MySQL数据库中。 运行本项目前，请确保已安装MySQL和Redis。 爬虫部分采用单线程Python爬虫与MySQL相结合的方式。主要文件位于./PythonCrawler目录下： 1. 运行`databaseInitialization.py`脚本来初始化数据库及其表结构，数据库连接默认设置为localhost:3306。 2. 执行`findAllStocksCode.py`以获取所有4192支股票的代码和名称。完成后会生成一个名为`StockCodes.txt`的文件。 接下来需要修改以“insertRecords”开头的所有脚本中的股票信息路径，并配置定时任务crontab -e来启动爬虫。如果对每次执行的时间没有限制，参考时间如下： - 单线程爬虫：`insertRecords.py`大约运行406秒。 - 多进程爬虫：`insertRecordsMultiProcesses.py`大约运行150秒。 - 多线程爬虫：`insertRecordsMultiThread.py`大约运行146秒。