OMCS 语音视频框架 -- 概述               

       OMCS 网络语音视频框架是集成了语音、视频、远程桌面、电子白板等多种媒体于一身的网络多媒体框架(目前服务端支持Windows、Linux,客户端支持.NET、Android、iOS、Web), 实现了多媒体设备【麦克风、摄像头、桌面、电子白板】的采集、编码、网络传送、解码、播放(或显示)等相关的一整套流程,且可智能地根据网络状况实时调整帧频、清晰度、并优先保证语音通话效果 。您只要连接到OMCS服务器,就可以随时访问任何一个在线用户的多媒体设备。基于OMCS,您可以快速地开发视频聊天系统、视频会议系统、网络监控系统、远程协助系统、远程教育系统等等基于网络多媒体的应用系统。

一.OMCS功能简介

1.Owner与Guest

任何一个OMCS的Client都有两种身份:Owner和Guest。

当一个Client作为Owner时,它提供本地的摄像头、话筒、桌面、电子白板等多媒体设备供其它的Client访问。

而当一个Client访问其它Client提供的多媒体设备时,则该Client就是以Guest的身份出现。

比如,A要听到B的声音,则A必须连接到B的麦克风,在这种场景下,A就是Guest,而B就是麦克风设备的Owner。

2.单向连接,1对1,1对N,N对1,N对N的关系

一个Client可以同时访问多个在线Client的多媒体设备;而一个Client提供的某个多媒体设备,也可以同时被多个其它的Client同时访问。其基础是单向连接(比如当A访问B的摄像头时,B不用访问A的摄像头),由单向连接就可以组合成1对1,1对N,N对1,N对N的关系, 这样就非常灵活。

像监控一个摄像头这样的系统直接使用单向连接就可以;两个人视频聊天就是1对1的关系;在线教育系统中,老师讲学生听,就是1对N的关系;同时监控多个摄像头就是N对1的关系;而视频会议则是“N对N的关系”。

3.P2P通道

当两个Client之间相互通信时,OMCS底层会自动尝试P2P连接,如果P2P通道能创建成功,该两个客户端之间的后续通信都经过P2P通道进行。即使P2P通道是基于UDP的,OMCS也会保证P2P通信的可靠性。

4.信道分离

在某些具体的应用中,我们可能需要把信道依据数据的类型进行分离。比如,在视频会议系统中,希望能将传送语音的信道独立出来,以避免其它类型数据传送时可能产生的拥挤而影响到语音的流畅性。这种情况下,我们就可以将语音数据分离到一条专用的信道进行传送。

5.超简单的编程模型

当基于OMCS进行开发时,如果要访问其它客户端提供的多媒体设备,我们只需要从工具箱中拖拽对应的连接器控件/组件到UI上,然后调用其Connect方法连接到目标设备即可。Connect方法会返回连接的结果,如果连接成功,则该连接器控件/组件将会正常工作(比如,CameraConnector控件将会显示目标摄像头捕捉到的视频)。

另外,我们已经提供了完整的OMCS服务端程序,即OMCS.Server.exe,在使用时,只要部署该程序并启动它即可。

6.与应用集成

OMCS解决的仅仅是多媒体设备的管理、连接、显示/播放、控制等问题,并没有掺杂具体的业务逻辑。所以,当与具体的应用集成时,通常OMCS的服务端是独立的,而OMCS的客户端dll将被嵌入到具体应用的客户端程序中,就像下面一样:

 

二.OMCS技术特点

1.视频

(1)支持320*240、640*480、720p、1080p、2k、4k等多种采集分辨率。可在运行时,动态修改该分辨率。

(2)支持高、中、低三种视频编码质量。

(3)支持帧频1~60fps。

(4)当网络拥塞时,主动弃帧。

(5)根据网络状态,自动调整视频的编码质量。

(6)可以以位图格式获取当前视频帧。

(7)支持多种视频设备:普通摄像头、usb摄像头、虚拟摄像头、视频卡等。  

2.音频

(1)支持高、中、低三种音频编码质量。

(2)支持回音消除(AEC)、静音检测(VAD)、噪音抑制(DENOISE)、自动增益(AGC)等网络语音技术。

(3)最多可支持16路混音。

(4)自适应的JitterBuffer,根据网络状态,动态调整缓冲深度。

(5)如果同时开启音频和视频会话,则自动同步视频画面与声音。

(6)在网速慢时,自动调整视频的质量,优先保证音频的清晰和连贯。

(7)根据网络状态,自动切换语音数据到质量更高的网络通道,保证语音通话效果。

(8)不仅支持采集麦克风,还支持采集声卡,而且还可以将麦克风和声卡混音后输出给guest。(win7及以上系统)

3.远程桌面

(1)支持高、中、低三种视频编码质量。

(2)根据机器性能和网速自动选择帧频。

(3)可动态调整屏幕分辨率。

(4)提供观看模式和控制模式两种选择。

(5)当网络拥塞时,主动弃帧。

(6)可指定共享的桌面区域。

4.电子白板

(1)支持常用的视图元素:直线、曲线、箭头、矩形、三角形、椭圆、文字等;支持视图元素的上下对齐,左右对齐。

(2)可修改边框颜色、填充颜色、线条粗细、线条虚实、显示比例。

(3)可插入图片、截屏,可将整个白板保存为位图。

(4)支持课件:上传课件、打开课件、删除课件,课件翻页等。

(5)白板分页:在不使用课件的情况下,可以进行新建页、删除页、翻页等操作。

(6)提供观看模式和操作模式两种选择。

(7)激光笔:OMCS会将老师/主讲人的激光笔位置自动同步到各个客户端。 

 

三.Demo 下载

OMCS.Demos.Simplest

这是一个简单的基于OMCS的demo下载,数十行代码就可以实现一个视频对话的功能。大家可以先睹为快,并试试OMCS的视频、音频、远程桌面、电子白板的效果。后面的文章我们会详细介绍如何使用OMCS。

     视频/音频连接器 截图:     

     

      

       电子白板连接器 截图: 

     不使用课件: 

      

      使用课件: 

      

 

     远程桌面连接器 截图:

     

  

下一篇: OMCS 开发手册(01) -- 多媒体设备管理器

--------------------------------------------------------------------------------------------------------------------  

下载免费版本的OMCS以及 demo源码

阅读 更多OMCS开发手册系列文章

Q Q:168757008

官网: www.oraycn.com

导航

首页

官方网站

联系我们

站内搜索

OrayTalk 企业即时通讯系统

傲瑞通官网

详细说明

客户端下载

OrayMeeting 视频会议系统

详细说明

客户端下载

ESFramework 通信框架

详细说明

SDK与Demo下载

ESFramework FAQ

版本变更记录

OMCS 语音视频框架

详细说明

SDK与Demo下载

OMCS FAQ

版本变更记录

OVCS 视频会议Demo

详细说明

源码下载

傲瑞实用组件

SDK下载

H5Media 纯网页音视频交互

NPusher 推流组件

MCapture 语音视频采集组件

MFile 语音视频录制组件

MPlayer 语音视频播放组件

OAUS 自动升级系统

StriveEngine 轻量级的通信引擎

傲瑞组件 FAQ

授权

授权流程

产品选购指南

授权方案说明

授权SDK使用说明

其它

支持信创国产化

SDK使用技巧

联系我们