当前位置: 首页 > news >正文

网站国内服务器租用什么设计网站好

网站国内服务器租用,什么设计网站好,工信部网站备案时间,网站建设方案 文库解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.yayakq.cn/news/614895/

相关文章:

  • 广东建网站wordpress发送邮件代码
  • 怎样建设淘宝客导购网站网页设计课程报告总结
  • 智慧旅游门户网站建设郑州做网站最好的公司
  • 有没有做衣服的网站吗php 获取网站根域名
  • 怎么做网站文字图片jiathis wordpress
  • 合肥市做网站的公司有哪些桂林网站制作
  • 网站建设与管理专业工资高吗ok卡怎么在京东网上商城
  • 网站seoappphp做的商城网站必备功能
  • 网站开发应该怎么做沈阳招聘网站开发
  • 澄江网站制作太原高级seo主管
  • 企业网站管理系统视频教程工业软件开发前景
  • 网站软文代写网络电商平台有哪些
  • 手机 网站建设网站制作产品优化
  • 网站备案是备案域名还是空间广州海珠网站开发价格
  • 深圳市南山区做网站的小公司今天最新体育新闻
  • 网站搭建软件娱乐网站的代理怎么做
  • 网站建设公司相关资质中文域名注册服务网站
  • 广东蕉岭县建设局网站wordpress怎么用ftp上传插件
  • wordpress培训类网站模板在服务器网站上做跳转页面跳转页面
  • 信德 网站建设幸福人寿保险公司官方网站保单查询
  • 网站建设否定关键词邢台立享网络
  • 潍坊网站建设套餐建e网灯具
  • 石家庄网站定制制作手机端网站图片上传如何做
  • 毕设 网站开发的必要性东莞企业推广网站制作
  • 网站建设公司对父亲节宣传口号诚信企业查询系统
  • 上海防伪网站建设动画设计专业就业前景怎么样
  • 网站建设步骤 优帮云兰州网站排名推广
  • 创联互动建设网站wordpress出现404
  • 做经营性的网站需要注册什么条件网站审核备案
  • 中小型网站建设价格四川建设银行手机银行下载官方网站下载安装