网站优化垂直化好还是扁平化好网页版游戏排行榜田田田田田田田田

继上篇：iOS swift 后台运行应用尝试失败-CSDN博客

为什么想到画中画，起初是看到后台模式里有一个picture in picture，去了解了后发现这个就是小窗口视频播放，方便用户执行多任务。看小窗口视频的同时，可以作其他的事情。

画中画功能在20世纪80年代开始在电视机中应用，使得用户可以在一个屏幕上同时观看两个频道的内容。‌

这个技术在安卓里已经非常普遍了。各种视频内容网站都有类似功能。

而苹果支持画中画是在ios14已经开始支持。目前在使用的大多数机型，比如iphone 8p，升级系统后可到ios16.7，都能支持画中画技术。

后台任务苹果管理太严格，不好搞，那么使用画中画这种技术，直接做成多任务，这样也是另一条可以尝试的路径。

1、标准PIP使用

首先，标准写法是采用AVPlayer，输入url需要是MP4等视频文件，如果是加密后的网址，无法播放，比如b站的网址。

创建AVPlayer，使用AVPlayerLayer来初始化AVPictureInPictrueController。

        // 创建 AVPlayer 对象let videoURL = URL(string: "https://media.w3.org/2010/05/sintel/trailer.mp4")!player = AVPlayer(url: videoURL)// 创建 AVPlayerLayer 并添加到视图层上playerLayer = AVPlayerLayer(player: player)playerLayer.frame = view.boundsview.layer.addSublayer(playerLayer)// 设置画中画控制器pipController = AVPictureInPictureController(playerLayer: playerLayer)pipController.delegate = selfplayer.play()   // 直接播放

按home键退出，就会自动启动小窗口继续播放视频。

这里有一个坑，需要初始化音频，否则播放mp4无声音，且画中画也不会触发。

    do {// 设置AVAudioSession为后台模式try AVAudioSession.sharedInstance().setCategory(.playback, mode: .default)try AVAudioSession.sharedInstance().setActive(true)} catch {print("无法设置AVAudioSession: \(error)")}

视频画中画，iphone 8p_哔哩哔哩_bilibili

2、摄像头预览

摄像头捕捉并预览，这个算法也很容易找到，使用AVCaptureSession

func setupCamera(forgroundFlag: Bool, view: UIView) {farView = viewflag = forgroundFlagcaptureSession = AVCaptureSession()captureSession?.beginConfiguration()captureSession?.sessionPreset = .highguard let captureDevice = AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .front) else {print("No front camera available")return}guard let input = try? AVCaptureDeviceInput(device: captureDevice) else {print("Unable to access front camera")return}captureSession!.addInput(input)videoOutput = AVCaptureVideoDataOutput()videoOutput?.automaticallyConfiguresOutputBufferDimensions = truevideoOutput!.setSampleBufferDelegate(self, queue: DispatchQueue(label: "videoQueue"))captureSession!.addOutput(videoOutput!)if (forgroundFlag) {videoPreviewLayer = AVCaptureVideoPreviewLayer(session: captureSession!)guard let preLayer = videoPreviewLayer else { return }preLayer.frame = view.frameview.layer.addSublayer(preLayer)// 设置 UILabel 的属性label = UILabel()label!.text = "Hello, Swift!" // 设置文本内容label!.textColor = UIColor.systemBlue // 设置文本颜色label!.font = UIFont.systemFont(ofSize: 20) // 设置字体和大小label!.textAlignment = .left // 设置文本对齐方式label!.numberOfLines = 0 // 设置行数，0表示自动换行// 设置 UILabel 的位置和大小label!.frame = CGRect(x: 8, y: 20, width: 200, height: 30)}captureSession?.commitConfiguration()}

AVCaptureSession输出的是AVCaptureVideoPreviewLayer，这个layer无法直接用来初始化AVPictureInPictrueController。

3、摄像头输出PIP

swift代码在标准案例上实现都很简洁，但要自定义实现一些功能时，就会发现材料很难找。

比如怎样把摄像头预览与PIP结合。

深度搜索AI给出了一个结果，看上去好像可以，实践下来编辑都不能通过。但是它给出了一个提示，就是AVSampleBufferDisplayLayer。

这里吐槽下AI，最喜欢把不可用的东西包装成很好看的样子，在技术搜索方面，某些时候还不如原始的搜索引擎来得方便。

搜索AVCaptureVideoPreviewLayer转为AVSampleBufferDisplayLayer，也有方法，但是算法看上去稍显复杂。

官方文档Adopting Picture in Picture in a Custom Player | Apple Developer Documentation里也提到了可以使用AVSampleBufferDisplayLayer来初始化PIPController。

网上另一篇文章，说在捕获处理接口里，还有一个视频数据

func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection)

CMSampleBuffer可以直接转为AVSampleBufferDisplayLayer，使用enqueu接口，如下：

    func setupSampleBufferDisplayLayer() {sampleBufferDisplayLayer = AVSampleBufferDisplayLayer()sampleBufferDisplayLayer.frame = view.boundssampleBufferDisplayLayer.videoGravity = .resizeAspectview.layer.addSublayer(sampleBufferDisplayLayer)}func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
。。。。。。        if (sampleBufferDisplayLayer.status == AVQueuedSampleBufferRenderingStatus.failed) {sampleBufferDisplayLayer.flush() // 异常处理}sampleBufferDisplayLayer.enqueue(sampleBuffer)
。。。。。。

这样整个流程就能打通了。

通过AVSampleBufferDisplayLayer，可以用任何视频流来初始化AVPictureInPictureController。

    private func setupPiPController() {guard AVPictureInPictureController.isPictureInPictureSupported() else {print("Picture in Picture is not supported on this device")return}print("support pip!!!")if pipController == nil {pipController = AVPictureInPictureController(contentSource: .init(sampleBufferDisplayLayer: sampleBufferDisplayLayer, playbackDelegate: self))}if let pipController = pipController {pipController.delegate = selfif pipController.isPictureInPicturePossible {pipController.startPictureInPicture()}}}

4、摄像头多任务需要硬件支持

前面生成的工程，在iphone 8p上测试效果如下，进入画中画模式时，在1s以内视频捕获就停止了。

摄像头画中画，iphone 8p_哔哩哔哩_bilibili

原因在于苹果对摄像头硬件管理非常严格，摄像头开小窗口，那么用户就可能用摄像头打开另一个任务，意味着摄像头需要支持多任务。

参考官方说明：

增加代码检查如下：

    func setupCamera(forgroundFlag: Bool, view: UIView) {
。。。。。。        guard let tempcap = captureSession else { return }if (tempcap.isMultitaskingCameraAccessSupported) {print("camera supp multitask")// Enable use of the camera in multitasking modes.captureSession?.isMultitaskingCameraAccessEnabled = true} else {print("camera not supp multitask")}captureSession?.commitConfiguration()}

从调试打印来看，iphone 8p的摄像头不支持多任务。

根据AI查询结果，可能需要iphone 12以上的机型才能支持摄像头多任务。

对于AI返回结果比较存疑，因为多次返回的结果可能会不一样。比如iphone XR，有的说支持，有的说不支持。

参考另外的官方文章，视频通话、直播画中画都是一样的。

Adopting Picture in Picture for video calls | Apple Developer Documentation

因为本人手上只有iphone 8p，没有其他新机型，所以后面的调试验证没法继续下去了。在没有订单推动情况下，也不会投入了。

如果有相关项目需求的，可以找我咨询合作。