pandas对波形异常数据处理实战

1
2
3
4
5

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
df_data=pd.read_csv('dataHRTrend测试波形.csv')
df_data

1
2
3
4
5

def str2list(str):
    return np.fromstring(str[1:-1], sep=' ')

df_data['HRTrend']=df_data['HRTrend'].apply(str2list)
df_data

1
2
3
4
5
6

fig,axes = plt.subplots(3,4,figsize=(12,4))
i=0
for x in range(3):
    for y in range(4):
        axes[x,y].plot(df_data['HRTrend'][i])
        i=i+1

1

df_data['HRTrend'][0]

1

plt.plot(df_data['HRTrend'][0])

1
2
3
4
5
6

# 定义一个方法，先将空值用0填充，然后去首尾的0，再将中间存在异常的值用前值填充。
def ruledata(df_cloumn):
    ps=pd.Series(df_cloumn).fillna(0) #先将为空值用0填充
    values=pd.Series(np.trim_zeros(ps)).replace(to_replace=0, method='ffill').values #去首尾0,然后用异常值填充
    return values
df_data['rule_HRTrend']=df_data['HRTrend'].apply(ruledata) #将异常数据处理的方法进行应用处理异常值

1
2
3
4
5
6

fig,axes = plt.subplots(3,4,figsize=(12,4))
i=0
for x in range(3):
    for y in range(4):
        axes[x,y].plot(df_data['rule_HRTrend'][i])
        i=i+1