写在前面:本文的主旨为分析Scrcpy大致原理,因此对于细节部分就不予深究,本文的Scrcpy版本基于1.22。
Scrcpy(screen copy)是免费开源的投屏软件,即可以将手机画面投至电脑,并可直接借助鼠标在投屏窗口中进行交互和录制。
Scrcpy的架构为C/S架构,其中Client为PC端运行的软件,Server为安卓手机运行的软件。Client和Server之间借助ADB进行通信,通信原理如下图所示:
LocalSocketLocalSocket是基于UNIX-domain Socket的,UNIX-domain Socket是在Socket的基础上衍生出来的一种IPC通信机制,因此LocalSocket解决的是同一台主机上不同进程间互相通信的问题。其相对于网络通信使用的socket不需要经过网络协议栈,不需要打包拆包、计算校验,自然的执行效率也高。与大名鼎鼎的binder机制作用一样,都在Android系统中作为IPC通信手段被广泛使用。
可能有的观众看到上图的通信方式后会感觉很奇怪,为什么Scrcpy要绕这么一大圈来建立通信,而不是直接让Client通过Socket连接Server呢?其实原因很简单,就是权限的问题,因为普通的APP想要到读取屏幕内容和自动控制必须获取无障碍服务或者Root权限,而我们在使用Scrcpy的时候这两个都没用到,那它是怎么做到的呢?
聪明的读者应该注意到了,ADB就是获取这个权限的关键,读者可以自行去了解ADB的相关知识。简言之,ADB的权限仅次于Root,因此我们需要使用ADB来启动Server端程序,让Server端程序能够不断的获取屏幕内容传给Client,并执行由Client传来的控制指令。
这里面其实还有一个难点,即Client如何与ADB连接?
adb forward的功能是建立一个转发,例如以下命令的意思是,ADB监听本地tcp的1111端口,并将收到的数据转发给到手机中的ADBD程序,然后ADBD将数据转发至手机tcp的2222端口。
adb forward tcp:1111 tcp:2222
但这样是不能工作的,如上图所述,ADBD和Server之间的通信需要是LocalSocket而不是TCP。当然,万能的ADB也是可以做到的,只需要输入如下命令即可让ADBD以LocalSocket的方式转发数据。
adb forward tcp:1111 localabstract:scrcpy
Server端是一个Java程序,由dalvik虚拟机执行,主要负责不断获取屏幕内容传输给Client,并执行由Client下发的控制指令,其Main函数位于Server.java中。接下来让我们从Main函数开始,逐步分析Server端的原理。
进入Main函数后,首先是参数解析,在createOptions函数中,我们可以看到Server程序所有的参数,这些参数的含义我们放到Client节分析。
...
322 Options options = createOptions(args);
...
从Main函数中走到scrcpy函数,在64行,获取设备的信息,如高度,宽度和设备名称等。
...
final Device device = new Device(options);
...
在73行,建立LocalSocket,并等待连接。
try (DesktopConnection connection = DesktopConnection.open(tunnelForward, control, sendDummyByte)) {
...
}
让我们深入DesktopConnection.open方法,在53行可以看到新建了LocalServerSocket,并在55行和62行等待连接。从变量名称就可以推断出,第一次建立的连接是用于传输屏幕数据的,第二次建立的连接是用于传输控制信息的。(有的读者可能会问,外面不是还包了个if-else吗,为什么不讲else?因为else中是Server主动连接,而不是接受连接,因此这里不进行深入。)
LocalServerSocket localServerSocket = new LocalServerSocket(SOCKET_NAME);
try {
videoSocket = localServerSocket.accept();
if (sendDummyByte) {
// send one byte so the client may read() to detect a connection error
videoSocket.getOutputStream().write(0);
}
if (control) {
try {
controlSocket = localServerSocket.accept();
} catch (IOException | RuntimeException e) {
videoSocket.close();
throw e;
}
}
} finally {
localServerSocket.close();
}
继续回到Server.java的73行,建立完成LocalSocket后,即向client发送设备名称,高度,宽度信息。
if (options.getSendDeviceMeta()) {
Size videoSize = device.getScreenInfo().getVideoSize();
connection.sendDeviceMeta(Device.getDeviceName(), videoSize.getWidth(), videoSize.getHeight());
}
深入到sendDeviceMeta方法,这里可以看到Server是以何种格式将数据发往Client的。
public void sendDeviceMeta(String deviceName, int width, int height) throws IOException {
byte[] buffer = new byte[DEVICE_NAME_FIELD_LENGTH + 4];
byte[] deviceNameBytes = deviceName.getBytes(StandardCharsets.UTF_8);
int len = StringUtils.getUtf8TruncationIndex(deviceNameBytes, DEVICE_NAME_FIELD_LENGTH - 1);
System.arraycopy(deviceNameBytes, 0, buffer, 0, len);
// byte[] are always 0-initialized in java, no need to set '\0' explicitly
buffer[DEVICE_NAME_FIELD_LENGTH] = (byte) (width >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 1] = (byte) width;
buffer[DEVICE_NAME_FIELD_LENGTH + 2] = (byte) (height >> 8);
buffer[DEVICE_NAME_FIELD_LENGTH + 3] = (byte) height;
IO.writeFully(videoFd, buffer, 0, buffer.length);
}
回到Server.java的84行,建立一个控制器对象并启动。
final Controller controller = new Controller(device, connection, options.getClipboardAutosync());
// asynchronous
controllerThread = startController(controller);
deviceMessageSenderThread = startDeviceMessageSender(controller.getSender());
device.setClipboardListener(new Device.ClipboardListener() {
@Override
public void onClipboardTextChanged(String text) {
controller.getSender().pushClipboardText(text);
}
});
深入至startController函数,可以看到里面启动了一个线程,让其执行controller.control()方法,继续深入该方法,里面是一个死循环,执行handleEvent()方法,继续深入,在handleEvent()方法中就是获取控制信息并执行的部分了。命令的执行原理这里不予深究,感兴趣的读者自行研究,也不难。
private void handleEvent() throws IOException {
ControlMessage msg = connection.receiveControlMessage();
switch (msg.getType()) {
case ControlMessage.TYPE_INJECT_KEYCODE:
if (device.supportsInputEvents()) {
injectKeycode(msg.getAction(), msg.getKeycode(), msg.getRepeat(), msg.getMetaState());
}
break;
...
...
default:
// do nothing
}
}
在82行读取控制信息,让我们继续深入该方法。在117行,获取一条控制信息,若为空则表示控制信息全部执行完毕,readFrom开始从socket中读取下一次的控制信息至缓冲区。next为从缓冲区解析出一条控制信息,让我们深入next函数。
public ControlMessage receiveControlMessage() throws IOException {
ControlMessage msg = reader.next();
while (msg == null) {
reader.readFrom(controlInputStream);
msg = reader.next();
}
return msg;
}
在next函数中,从buffer中获取一个字节作为控制类型,每一个case对应一种类型。
public ControlMessage next() {
...
int type = buffer.get();
ControlMessage msg;
switch (type) {
case ControlMessage.TYPE_INJECT_KEYCODE:
msg = parseInjectKeycode();
break;
...
...
default:
Ln.w("Unknown event type: " + type);
msg = null;
break;
}
...
return msg;
}
以第一个TYPE_INJECT_KEYCODE为例,深入parseInjectKeycode()函数。至此,我们就可以推测出其具体的通信格式了。每一个控制类型都不一样,需要读者自行分析,但都大同小异。
privateControlMessage parseInjectKeycode() {
if (buffer.remaining() < INJECT_KEYCODE_PAYLOAD_LENGTH) {
return null;
}
int action = toUnsigned(buffer.get());
int keycode = buffer.getInt();
int repeat = buffer.getInt();
int metaState = buffer.getInt();
return ControlMessage.createInjectKeycode(action, keycode, repeat, metaState);
}
回到Server.java的100行,调用 screenEncoder.streamScreen() 函数,主线程开始不断发送屏幕数据至Client。让我们深入该函数,该函数调用了 internalStreamScreen() 方法,继续深入 internalStreamScreen() 方法,至此就是Server端的最后一个死循环了。
99行的encode方法的功能就是将读取屏幕数据并编码然后传输至Client,具体实现与MediaCodec、Surface、Binder等机制有关,这里不展开。
private void internalStreamScreen(Device device, FileDescriptor fd) throws IOException {
...
try {
do {
MediaCodec codec = createCodec(encoderName);
...
codec.start();
try {
alive = encode(codec, fd);
// do not call stop() on exception, it would trigger an IllegalStateException
codec.stop();
} catch (IllegalStateException e) {
...
} finally {
...
}
} while (alive);
} finally {
...
}
}
Scrcpy的Client端是一个C程序,使用SDL库构建跨平台图形化界面。和一切的C程序一样,让我们从main.c开始,首先是53行的scrcpy_options_default,这里面存储的是默认选项,其实现位于options.c文件中,读者可以自行查看。
int
main(int argc, char *argv[]) {
...
struct scrcpy_cli_args args = {
.opts = scrcpy_options_default,
.help = false,
.version = false,
};
...
bool ok = scrcpy(&args.opts);
...
return ok ? 0 : 1;
}
进入scrcpy函数,在334行sc_server_start()函数中连接Server,需要注意一下,327行的sc_server_on_connected()函数为后续连接成功时的回调函数。
bool
scrcpy(struct scrcpy_options *options) {
static struct scrcpy scrcpy;
struct scrcpy *s = &scrcpy;
...
static const struct sc_server_callbacks cbs = {
.on_connection_failed = sc_server_on_connection_failed,
.on_connected = sc_server_on_connected,
.on_disconnected = sc_server_on_disconnected,
};
...
if (!sc_server_start(&s->server)) {
goto end;
}
...
return ret;
}
进入sc_server_start()函数,该函数创建了一下线程执行run_server()函数,深入run_server()函数,722行的push_server()就是将Server端Java程序通过ADB命令传输至Android中,其执行的shell命令如下:
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
在run_server()函数的734行,execute_server()函数就是启动Server端Java程序,里面涉及很多参数,读者可以参考6.1中的内容。默认情况下,则其执行的shell命令如下(SCRCPY_VERSION 在本文中为1.22):
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server SCRCPY_VERSION log_level=info bit_rate=8000000 tunnel_forward=true
若使用javacv中的FFmpegFrameGrabber,则需要再添加以下参数,否则会传输视频时会出现错误,最好再加上锁定屏幕方向,防止传输的视频宽高突然变化:
lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc
在run_server()函数的752行,sc_server_connect_to()函数就是通过Socket连接Server端程序,if中的是等待Server端连接,这里不予讨论。主要看else中的连接流程,首先通过connect_to_server()函数连接用于传输视频的socket,再连接传输控制信息的socket,其中connect_to_server()函数就是连接后读取一个字节验证是否连接成功,这里和5.2节中讨论的是一致的,就不继续深入了。
static bool
sc_server_connect_to(struct sc_server *server, struct sc_server_info *info) {
...
if (!tunnel->forward) {
...
} else {
...
video_socket = connect_to_server(server, attempts, delay, tunnel_host,
tunnel_port);
...
if (control) {
// we know that the device is listening, we don't need several
// attempts
control_socket = net_socket();
...
bool ok = net_connect_intr(&server->intr, control_socket,
tunnel_host, tunnel_port);
...
}
}
...
}
连接成功后,在run_server()函数的763行调用连接成功回调函数,即scrcpy.c中250行的sc_server_on_connected()函数,其主要为基于SDL图形库的事件和Server端程序进行交互,这里就不深入了。
通过本文的分析,能够对Scrcpy有一个总体的掌握,请读者们自行尝试手动启动Server端Java程序,并使用喜爱的编程语言进行连接,发送和接收数据。
adb forward tcp:5000 localabstract:scrcpy
adb push ./scrcpy-server /data/local/tmp/scrcpy-server.jar
adb shell CLASSPATH=/data/local/tmp/scrcpy-server.jar app_process / com.genymobile.scrcpy.Server 1.22 log_level=info bit_rate=8000000 tunnel_forward=true lock_video_orientation=0 send_frame_meta=false encoder_name=OMX.qcom.video.encoder.avc
文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态
文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境
文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn
文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker
文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机
文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk
文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入
文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。 Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。
文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动
文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计
文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图
文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法