多文件合并:解决股票数据文件合并

技术文章 4个月前 完美者
1,713 0

标签:csv   index   获取文件   dex   pandas   dmi   文件名   实现   frame   

?场景:当我们导出数据后发现数据是多个文件,这个时候我们需要把文件进行合并。

实现思路:

1、通过os文件获取文件的路径;

2、把文件的路径放入一个列表;

3、导入数据;

4、把文件合并后导出。

5、注意:合并时需要把重复的追加数据删除。

步骤:

import pandas as pd
import os
pd.set_option(expand_frame_repr, False)
# 1、首先找到存储路径、
file_location = rC:\Users\ADMIN\Desktop\crawl_stock_data\DATA\test
# 2、批量获取文件名称
file_list = []
for root,dirs,files in os.walk(file_location):
    for filename in files:
        if filename.endswith(.csv):
            file_path = os.path.join(root,filename)
            file_path = os.path.abspath(file_path)
            file_list.append(file_path)
# 3、遍历名称导入数据
all_data = pd.DataFrame()
for fp in file_list:
    df = pd.read_csv(fp, skiprows=1, encoding=gbk)
    all_data = all_data.append(df,ignore_index=True)
# 4、去除重复,导出数据
all_data.sort_values(by=[交易日期,股票代码],inplace=True)
all_data.drop_duplicates().to_csv(rC:\Users\ADMIN\Desktop\crawl_stock_data\DATA.csv)

 

多文件合并:解决股票数据文件合并

标签:csv   index   获取文件   dex   pandas   dmi   文件名   实现   frame   

原文地址:https://www.cnblogs.com/hanjiangs/p/14233122.html

版权声明:完美者 发表于 2021-01-07 12:11:25。
转载请注明:多文件合并:解决股票数据文件合并 | 完美导航

暂无评论

暂无评论...