当前位置: 首页 > news >正文

免费申请网站网站优化qq群

免费申请网站,网站优化qq群,想给公司注册一个网站,网站应具有的功能模块安装环境 # 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行!pip install mindnlp0.3.1 !pip install mindnlp 模型简介 BERT是一种由Google于2018年发布的新型语言模型,它是基于Transforme…

安装环境

# 该案例在 mindnlp 0.3.1 版本完成适配,如果发现案例跑不通,可以指定mindnlp版本,执行`!pip install mindnlp==0.3.1`
!pip install mindnlp

模型简介

BERT是一种由Google于2018年发布的新型语言模型,它是基于Transformer中的Encoder并加上双向的结构。BERT模型采用了Masked Language Model和Next Sentence Prediction两种方法进行预训练,以捕捉词语和句子级别的representation。预训练之后,BERT可以用于下游任务的Fine-tuning,比如文本分类、相似度判断等。此外,BERT还可以应用于对话情绪识别,帮助企业改善产品的用户交互体验。

import osimport mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, contextfrom mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy# prepare dataset
class SentimentDataset:"""Sentiment Dataset"""def __init__(self, path):self.path = pathself._labels, self._text_a = [], []self._load()def _load(self):with open(self.path, "r", encoding="utf-8") as f:dataset = f.read()lines = dataset.split("\n")for line in lines[1:-1]:label, text_a = line.split("\t")self._labels.append(int(label))self._text_a.append(text_a)def __getitem__(self, index):return self._labels[index], self._text_a[index]def __len__(self):return len(self._labels)

数据集

该数据集包括情绪分类的类别和经过分词预处理的中文文本,数据由两列组成,以制表符分隔,第一列是情绪分类的类别(0表示消极;1表示中性;2表示积极),第二列是经过空格分词的中文文本。数据集读取后进行 Tokenize 处理和 pad 操作。

# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
!tar xvf emotion_detection.tar.gz

数据预处理

import numpy as npdef process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):is_ascend = mindspore.get_context('device_target') == 'Ascend'column_names = ["label", "text_a"]dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)# transformstype_cast_op = transforms.TypeCast(mindspore.int32)def tokenize_and_pad(text):if is_ascend:tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)else:tokenized = tokenizer(text)return tokenized['input_ids'], tokenized['attention_mask']# map datasetdataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')# batch datasetif is_ascend:dataset = dataset.batch(batch_size)else:dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),'attention_mask': (None, 0)})return dataset

模型推理

总结

BERT是一种新型的预训练语言模型,可以用于多种自然语言处理任务。 123
对话情绪识别是一种重要的对话系统任务,可以用于改善用户交互体验。 

http://www.yayakq.cn/news/830083/

相关文章:

  • 怎么弄网站关键词制作网站首页psd
  • 做外贸网站能用虚拟主机吗槐荫区网站建设
  • 怎么做网站赚钱软件wordpress源码系统下载地址
  • 网站模板 手机app展示免费推广选择推广途径与原因
  • 爱站seo工具包下载全球域名最贵的100个域名
  • 公司网站建设上海找谁php网站培训班
  • 东莞市做网站的最好的是哪家的国和建设集团网站
  • 东莞市住房和城乡建设厅网站竞赛网站建设风险评估
  • 网站建设优化一年赚几十万简单好看的logo图片
  • 怎么 网站 wordpresswordpress数据库出错
  • 东莞建设网站公司哪家好广告网站设计
  • 我在学校志愿队做网站的经历wordpress自定义文章类型分类模板
  • 石家庄网站seo优化用wordpress做广告收益
  • 怎样做QQ网站呢丹阳网站建设公司
  • 如何修改网站域名做旅游网站怎样
  • 做公众号的网站模板下载江阴房产网
  • 网站建设 服饰鞋帽如何卸wordpress
  • 汽车 营销 网站建设网站定制合同
  • 广州建立网站的公司班级网站建设开题报告
  • 网站制作与美育融合北京价格网站建设
  • 网站建设维修服务流程佛山企业网站建设特色
  • 请问哪个网站可以做当地向导雅虎做网站推广
  • 适合大学生做的兼职网站有哪些网站可以做章子吗
  • 买域名可以自己做网站吗中国建设银行官网站纪念币预约
  • 做同城网站还有机会吗自己做手机主题的软件
  • 最新淘宝客网站程序wordpress电子商务插件
  • 怎么参考已有网站做新站遵义app开发公司排名
  • 长沙seo网站建设苏州刚刚发生大事件
  • 哪里有网络推广公司关于优化培训
  • 阿里云服务器配置网站wordpress前端新增头像上传