探索大模型LLM识别数据安全中的敏感信息

Shell                  
import pandas as pd                  
from sklearn.model_selection import train_test_split                  
                 
# 假设我们有一个包含敏感和非敏感数据的CSV文件                  
dataframe = pd.read_csv('sensitive_data.csv')                  
                 
# 数据清洗：移除无关列，只保留文本内容和标签                  
dataframe = dataframe[['text_content', 'is_sensitive']]                  
                 
# 数据标注：如果数据未标注，可以使用标注工具或服务进行标注                  
# 这里假设数据已经是标注好的，直接进行划分                  
train_data, test_data, train_labels, test_labels = train_labels = train_test_split(                  
dataframe['text_content'], dataframe['is_sensitive'], test_size=0.2, random_state=42                  
)                  
                 
# 保存预处理后的数据                  
train_data.to_csv('train_data.csv', index=False)                  
test_data.to_csv('test_data.csv', index=False)

Shell                  
from transformers import BertTokenizer, BertForSequenceClassification                  
from transformers import Trainer, TrainingArguments                  
                 
# 初始化分词器和模型                  
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')                  
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)                  
                 
# 定义训练参数                  
training_args = TrainingArguments(                  
output_dir='./results',# 输出目录                  
num_train_epochs=3,# 训练轮数                  
per_device_train_batch_size=16,# 训练时的batch大小                  
warmup_steps=500,# 预热步数                  
weight_decay=0.01,# 权重衰减                  
evaluate_during_training=True,# 训练时进行评估                  
logging_dir='./logs',# 日志目录                  
)                  
                 
# 定义Trainer                  
trainer = Trainer(                  
model=model,                  
args=training_args,                  
train_dataset=train_data,# 训练数据集                  
eval_dataset=test_data# 评估数据集                  
)                  
                 
# 开始训练                  
trainer.train()        

Shell                  
# 使用Trainer进行评估                  
trainer.evaluate()                  
                 
# 根据评估结果调整模型参数和训练策略，进行进一步的训练或优化                  
# 这里省略具体的优化代码，因为它依赖于评估结果和特定的优化策略

Shell                  
from transformers import pipeline                  
                 
# 加载训练好的模型和分词器                  
model = BertForSequenceClassification.from_pretrained('./results')                  
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')                  
                 
# 创建一个pipeline来进行敏感信息识别                  
sentiment_analysis = pipeline(                  
'sentiment-analysis', model=model, tokenizer=tokenizer                  
)                  
                 
# 使用模型进行预测                  
input_text = "John Doe's social security number is 123-45-6789."                  
result = sentiment_analysis(input_text)                  
                 
# 输出预测结果                  
print(result)

#发送到告警Bot

send_lark_bot(result)

#发送到SOC平台中

send_soc_sensitive_result(result)

Python                  
假设的LLM模型库from llm_model import SensitiveInformationDetector                  
初始化模型                  
model = SensitiveInformationDetector('path/to/trained/model', 'path/to/config.json')                  
示例文本                  
text ="John Doe's social security number is 123-45-6789. His email is [email protected]."识别敏感信息                  
sensitive_info = model.detect_sensitive_info(text)                  
打印识别结果print("Detected sensitive information:")                  
for item in sensitive_info:                  
print(f"- {item['type']}: {item['value']}")