主页

为了接入现有业务需求，方便运营人员测试，需搭建一个符合自身的云真机平台。 背景 自动化应用操作并不能解决全部应用场景，需人工介入操作，最大化的获取应用全部信息内容。便于对更多的信息识别。 现状 在平台搭建过程中，对比调研了现有一些比较知名的云真机服务平台，如下： 360开测 阿里MQC UC岩鼠 TestBird 腾讯WeTest 腾讯优测 Testin云测 百度MTC 这些平台基本上都是基于开源框架STF或scrcpy搭建的远程安卓真机控制。 云真机包括两个方面，设备界面同步和用户操作同步，现有的实现方式有： 界面同步框架 名称 备注 minicap...

apk动态分析中，应用发起的请求是最为重要的信息之一。一般我们都是采用代理的方式来做采集这部分数据。实践过程中，首先使用的是安卓模拟器的环境，后再迁移至真机环境。 模拟器环境 模拟器：Mumu 安卓版本：6.0.1 代理：Mitmproxy 启动代理 Mitmproxy支持脚本启动，我们可以自定义脚本并在请求的过程中输出指定格式日志到指定位置。 { "t":"2020-06-29 11:05:42", "method":"POST", "url":"http://cfg.imtt.qq.com/tbs?xxxx" } 官方的文档也很全，可以看到相应的API，选择想要输出的数据，在脚本中打印输出： from mitmproxy import ct...

本文简单介绍下安卓手机调试必备工具adb常用命令。 下载 可以直接从SDK 平台工具版本说明页面中下载不通系统下的平台工具。其中包含adb.exe调试工具： 命令 windows环境下，执行命令需要打开cmd，win+r打开运行，输入cmd就能打开命令行界面。 获取版本信息 >adb Android Debug Bridge version 1.0.41 Version 30.0.1-6435776 Installed as D:\platform-tools\adb.exe 启动或关闭adb服务 由于adb并不稳定, 有时候莫名的问题掉线时, 可以先kill-server, 然后start-server来确保Server进程启动。往往可以解决问题。 &g...

文件太大，grpc传输过程中受限于默认最大消息值4MB,怎么处理比较合适？ 传输配置 可以调整grpc默认 grpc流式传输 通过使用流(streaming)，你可以向服务器或者客户端发送批量的数据， 服务器和客户端在接收这些数据的时候，可以不必等所有的消息全收到后才开始响应，而是接收到第一条消息的时候就可以及时的响应， 这显然比以前的类HTTP 1.1的方式更快的提供响应，从而提高性能。 不落地文件传输 func (c *taskController) upload(ctx *gin.Context) { fmt.Println(time.Now().Format("2006-01-02 15:04:05")) s0 := time.Now() ...

系统大概一天生产一亿条，现在kafka已经堆积了上千万条数据。kafka设置：1个topic，10个partition，logstash配置：五台4核8g。之前没有进行优化，单纯累加机器。。。。 优化方向 logstash读取kafka日志数据 logstash解析日志数据 logstash存入es kafka优化 扩展Partition 新增集群 logstash优化 logstash.conf优化 logstash.yml优化 jvm配置优化 es优化 不可操作略过。 logstash优化 本文主要涉及logstash、 logstash.conf优化 logstash.conf配置文件，含有三部分：input,filt...

0x01 水平切分 随着数据量的增加，数据库单表不堪重负，访问速度降低。这时候我们可以采用水平切分跟垂直切分进行数据优化，优化性能。一般我们用的切分是水平切分，将数据拆分到多个地方，而字段不进行变化。 水平切分常用的的分库分表和分区表。 分库分表 把一个很大的库（表）的数据分到几个库（表）中，每个库（表）的结构都相同，但他们可能分布在不同的mysql实例，甚至不同的物理机器上，以达到降低单库（表）数据量，提高访问性能的目的。 分区表 所有数据还在一个表中，但物理存储根据一定的规则放在不同的文件中。这个是mysql支持的功能，业务rd代码无需改动。 优势： 分区表，分区键设计不太灵活，如果不走分区键，很容易出现全表锁 劣势： 分区表，分区键设计不太灵活，...

0x01 前言 日志文件随着系统的运行，会越积越多。如何来解决这个问题呢？ 手动删除->自动删除->压缩后，自动删除 手动删除:磁盘报警就直接删掉历史的 自动删除:写脚本定期执行删除 压缩后，自动删除：定期删除的话，如果单周期内的日志文件很大也会导致磁盘过高。所以需要先进行压缩。 刚想上手写个脚本来实现的，就被安利了logrotate，一直捣鼓日志这块，竟然没有发现这个便捷的工具。之前傻傻的执行gzip。。。 0x02 简介 logrotate可以简化对大量日志的管理。它可以对日志文件进行自动旋转，压缩，删除和移动。每个日志文件可以每天，每周，每月或当它变得太大时处理。 logrotate默认使用cron任务来执行。可以编写多个配置文件，根据相...

现有一张表，含有113092128条数据。 +-----------+---------------+-----------+------------+ | data_size | max_data_size | data_free | index_size | +-----------+---------------+-----------+------------+ | 6992.00MB | 0.00MB | 5.00MB | 10137.00MB | +-----------+---------------+-----------+------------+ 随着时间的发展，这个表就会越来越大，越来越不好维护。另外，这个表的唯一索引条件不再唯一...