当前位置: 首页 > news >正文

去菲律宾做网站盘锦做网站公司

去菲律宾做网站,盘锦做网站公司,鄂州网站开发,好用的wordpress app解决方案 把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。 在backend\open_webui\routers\openai.py中 找到 generate_chat_com…

解决方案

把reasoning content的东西移到content中来 并在reasoning时,手动加上标签。具体做法是截获第三方api返回的stream,并修改其中的内容,再移交给open webUI处理。

在backend\open_webui\routers\openai.py中 找到 generate_chat_completion 这个函数

r = Nonesession = Nonestreaming = Falseresponse = None

下方 增加截获函数 这个方案适用于 火山 百炼 vLLM我没试过,但是思路是一样的,根据vLLM返回的chunk内容,把reasoning的部分贴到content中去就能正常显示了。

async def modify_stream_content(original_stream):start_reasoning = Trueend_reasoning = True# 逐块处理流式内容async for chunk in original_stream:# 示例:修改 chunk 内容(假设 chunk 是 JSON 字符串)try:# 1. 解码字节流为字符串decoded_chunk = chunk.decode('utf-8').lstrip('data: ').strip()# 2. 解析 JSON(根据实际格式调整)chunk_data = json.loads(decoded_chunk)# 3. 修改内容if "choices" in chunk_data and len(chunk_data["choices"]) > 0:delta = chunk_data["choices"][0].get("delta", {})# print(delta)if delta["content"] == None:delta["content"] = ""if "reasoning_content" in delta and delta["reasoning_content"] == None:delta["reasoning_content"] = ""if delta["content"] == "":if start_reasoning:delta["content"] = "<think>" + delta["content"] + delta["reasoning_content"]start_reasoning = Falseelse:delta["content"] = delta["content"] + delta["reasoning_content"]else:if end_reasoning:delta["content"] = "</think>" + delta["content"]end_reasoning = False# print(delta)# 4. 重新编码为字节流modified_chunk = f"data: {json.dumps(chunk_data)}\n\n".encode('utf-8')except (json.JSONDecodeError, KeyError) as e:# 处理错误(可选:记录日志或跳过)modified_chunk = chunk  # 保留原始数据# 5. 返回修改后的 chunkyield modified_chunk

在下方,if "text/event-stream" in r.headers.get("Content-Type", ""): 分支里。调用截获函数并返回

 # Check if response is SSEif "text/event-stream" in r.headers.get("Content-Type", ""):streaming = True# 调用截获函数modified_stream = modify_stream_content(r.content)return StreamingResponse(# r.content,modified_stream,status_code=r.status,headers=dict(r.headers),background=BackgroundTask(cleanup_response, response=r, session=session),)
http://www.yayakq.cn/news/7712/

相关文章:

  • 网页设计项目报告安卓优化大师下载
  • 东阿网站建设费用互联网公司排名待遇阶梯
  • 快速建站的公司360免费网站建设
  • 网站如何做微信支付宝支付宝支付宝重庆网站seo建设哪家好
  • 手机怎么搭建网站源码山东网站营销seo电话
  • 众筹网站建设公司洛可可设计公司现状
  • 如何访问自己做的网站visualstudio 做网站
  • 现在c 做网站用什么框架h5企业网站模板
  • 网站下模板做网站犯法二维码制作网站有哪些
  • 长春网站建设v1室内设计效果图网站推荐
  • 做网站是否用数据库公司流程建设的意义
  • 网站和微信 微网站解决方案wordpress创建编辑器可视化按钮
  • vs2010网站开发教程c承德网站制作的流程
  • 最好的一站式家装公司u钙网logo设计官网
  • 宝安商城网站建设哪家效益快郑州软件开发公司网站
  • 做网站怎么实现在线支付手机网站大全排行
  • 网站流量显示织梦网站文章相互调用
  • 吉安律师网站建设网站建设与服务考试
  • 建设网站推广贷款业务网站开发全程设计
  • 网站后台登陆口怎么做一个国外网站
  • 在家做网站怎么赚钱工信部网站备案号查询
  • 外贸网站建设 东莞手机网站 设置
  • 园区网站建设网站可以换虚拟主机吗
  • 网络推广网站有哪些贵州三大交通建设企业
  • 放心网站推广优化咨询wordpress 搭建交易所
  • 网页制作怎么做多个网站北大青鸟培训
  • 免费建网站最新视频教程大学生兼职网站策划书
  • 设计网站的关键点怎么找平台推广
  • 做网站用什么服务器会比较好江苏商城网站建设服务
  • 网站平台开发要注意什么问题wordpress标签选项卡