无名啊的回复 · 虎绿林

SELECT family_uid, id, name, relationship, Gender, nation, uid, phone, Culture, marriage
FROM personnels_too
ORDER BY family_uid, family_uid != uid, id;

回复了主题求助一段SQL代码

@李沐沐，不能写成这样吗？

`SQLite` 代码

看需要加索引

WITH
  data(id, name, relationship, Gender, nation, uid, phone, Culture, marriage, family, family_uid, life, Village, remarks, WorkingAddress, addtime, uptime) AS (
    VALUES
(1, '张三', '户主', '男', '汉', '101100202202052252', '18888888888', '高中', '已婚', '张三', '101100202202052252', 1, '田系组', NULL, NULL, '', ''),
(2, '李娥', '配偶', '女', '汉', '101100202102052243', '18888888888', '高中', '已婚', '张三', '101100202202052252', 1, '田系组', NULL, NULL, '', ''),
(3, '王五', '户主', '男', '汉', '101100201102052243', '18888888888', '高中', '已婚', '王五', '101100201102052243', 1, '田系组', NULL, NULL, '', ''),
(4, '丽丽', '女儿', '女', '汉', '101100201702052243', '18888888888', '高中', '已婚', '王五', '101100201102052243', 1, '田系组', NULL, NULL, '', ''),
(5, '李爱', '女儿', '女', '汉', '101100202204052243', '18888888888', '高中', '未婚', '张三', '101100202202052252', 1, '田系组', NULL, NULL, '', '')
  )

SELECT family_uid, id, name, relationship, Gender, nation, uid, phone, Culture, marriage
FROM data
ORDER BY family_uid, family_uid != uid, id;
-- ORDER BY family_uid, relationship != '户主', id;

结果

family_uid	id	name	relationship	Gender	nation	uid	phone	Culture	marriage
101100201102052243	3	王五	户主	男	汉	101100201102052243	18888888888	高中	已婚
101100201102052243	4	丽丽	女儿	女	汉	101100201702052243	18888888888	高中	已婚
101100202202052252	1	张三	户主	男	汉	101100202202052252	18888888888	高中	已婚
101100202202052252	2	李娥	配偶	女	汉	101100202102052243	18888888888	高中	已婚
101100202202052252	5	李爱	女儿	女	汉	101100202204052243	18888888888	高中	未婚

回复了主题Mysql问题，创建唯一ID

看不懂这是个啥需求啊。。

回复了主题Mysql同时拿取是什么情况

@淡然，

从表a获取status状态为0的token，获取到后标记status为1

不加锁，多个连接同时获取同一个 status == 0 的标记记录，不是很正常吗？

然后多次 update xxx set status = 1 where id = ? 呗

回复了主题这是什么编码？

@庸人，那就不知道了。。我用 3 楼的法子，都能绕开一段时间的 cloudflare。。

你本地运行着啥？有源码的话，直接瞅瞅逻辑呗？

回复了主题这是什么编码？

@庸人，浏览器打开【开发工具】，在【网络】里，把这个请求复制成【curl】请求，然后粘贴运行试试？

回复了主题【楼主删除了该帖】

#24

@罐子，噢，有可能，开发商没给源代码，只给执行文件 + 配置文件，代理商能泄露的也只有这些了。。

大佬凭空造轮子的，我听说原神私服好像就是这样？

重金购买私服二开的，传奇是个例子吗？

回复了主题【楼主删除了该帖】

#22

@罐子，它们是如何流出的呢？为嘛源码没有顺便流出来呢？

回复了主题用于解决树形结构存储的闭包表，凭什么能快速获取某个节点的祖先节点/父节点/子节点？

#13

@老虎会游泳，我做了下『闭包表』和『改良后的邻接表』的测试 （结尾附上一键建表和查询的 SQL 供测试）

数据源：2022 年中国全国 5 级行政区划
数据库：MySQL 8.0.29 和 SQLite 3.39.0
表结构：『闭包表』和『 (<pid, id>, is_leaf) 型邻接表』
测试项：『查询根节点所有后代』和『查询根节点第 5 层后代』

结果如下 （多次测试稳定后）：

『查询根节点所有后代』速度对比

表结构	`MySQL`	`SQLite`
闭包表	1.3 秒	0.13 秒
递归邻接表	1.2 秒	0.60 秒
理想中递归损耗很小的邻接表	0.6 秒	0.12 秒

『查询根节点第 5 层后代』速度对比

表结构	`MySQL`	`SQLite`
闭包表	1.2 秒	0.12 秒
递归邻接表	0.5 秒	0.13 秒
理想中递归损耗很小的邻接表	0.4 秒	0.10 秒

目前观点

4W 多次的 ref 级 WHERE pid = ?，还是能和 66W 次 eq_ref 级的 WHERE id = ? 过过招，甚至更快的。而且，磁盘IO越慢，这个差异应该越大。
数据库们的 WITH RECURSIVE 查询，损耗有点大。
- MySQL 好歹每次递归都将上一次所有结果当作一张表来计算。但大概 5 次递归的耗时，就比非递归的多一倍了
- SQLite 最摆烂，每次递归只取以前结果的一行来计算，直到取完为止。所以有 66W 次的递归，耗时大概 5 倍多。。
  
  Extract a single row from the queue.
  
  Pretend that the single row just extracted is the only row in the recursive table and run the recursive-select, adding all results to the queue.

『查询根节点所有后代』通用 `SQL`

下面 SQL 基本可用于 MySQL 和 SQLite （不支持的特性，数据库会报错，改掉即可）

PRAGMA cache_size = -204800; -- 允许 SQLite 缓存 200 MB

-- 闭包表查询
SELECT COUNT(*), SUM(code), SUM(CHAR_LENGTH(name)) -- SQLite 写法：SUM(LENGTH(name))
  FROM closure_tree
 FORCE INDEX (idx_closure_tree) -- 我这测试，MySQL 不加这行，耗时翻好几倍。SQLite 需去掉此行
  JOIN closure ON id = descendant
 WHERE ancestor = 0;

-- 递归邻接表查询
WITH RECURSIVE
  find(id, code, name, is_leaf) AS (
    SELECT id, code, name, is_leaf
      FROM adjacent
     WHERE pid = 0
     UNION ALL
    SELECT b.id, b.code, b.name, b.is_leaf
      FROM find a
      JOIN adjacent b ON NOT a.is_leaf AND b.pid = a.id
  )
SELECT COUNT(*), SUM(code), SUM(CHAR_LENGTH(name)) -- SQLite 写法：SUM(LENGTH(name))
  FROM find;

-- 理想中，没有递归损耗的邻接表查询
SELECT COUNT(*), SUM(b.code), SUM(CHAR_LENGTH(b.name)) -- SQLite 写法：SUM(LENGTH(b.name))
  FROM adjacent a
  LEFT JOIN adjacent b ON b.pid = a.id -- SQLite 需要 LEFT JOIN，否则耗时翻几倍
 WHERE NOT a.is_leaf;

『查询根节点第 5 层后代』通用 `SQL`

PRAGMA cache_size = -204800; -- 允许 SQLite 缓存 200 MB

-- 闭包表查询
SELECT COUNT(*), SUM(code), SUM(CHAR_LENGTH(name)) -- SQLite 写法：SUM(LENGTH(name))
  FROM closure_tree
 FORCE INDEX (idx_closure_tree) -- 我这测试，MySQL 不加这行，耗时翻好几倍。SQLite 需去掉此行
  JOIN closure ON id = descendant
 WHERE ancestor = 0
   AND distance = 5;

-- 递归邻接表查询
WITH RECURSIVE
  var(depth) AS (
    SELECT 5
  ),

  -- 递归部分查前 N - 1 层
  find(id, is_leaf, depth) AS (
    SELECT 0, FALSE, var.depth - 1
      FROM var
     UNION ALL
    SELECT b.id, b.is_leaf, a.depth - 1
      FROM find a
      JOIN adjacent b ON b.pid = a.id
     WHERE a.depth > 0
       AND NOT a.is_leaf
  )

-- 最后一次性 JOIN 第 N 层
SELECT COUNT(*), SUM(b.code), SUM(CHAR_LENGTH(b.name)) -- SQLite 写法：SUM(LENGTH(b.name))
  FROM find a
 CROSS JOIN adjacent b ON a.id = b.pid -- SQLite 要加 CROSS，否则耗时翻几倍
 WHERE a.depth = 0;

-- 理想中，没有递归损耗的邻接表查询（需要根据层数 N，动态生成 SQL）
SELECT COUNT(*), SUM(t5.code), SUM(CHAR_LENGTH(t5.name)) -- SQLite 写法：SUM(LENGTH(t5.name))
  FROM adjacent t1
  JOIN adjacent t2 ON t2.pid = t1.id
  JOIN adjacent t3 ON t3.pid = t2.id
  JOIN adjacent t4 ON t4.pid = t3.id
  JOIN adjacent t5 ON t5.pid = t4.id
 WHERE t1.pid = 0;

`MySQL` 一键建表 `SQL`

（在我低配笔记本和固态上，大约执行了 1 分钟）

-- 允许 200 MB 的内存表
SET max_heap_table_size = 200 << 20;

-- 建临时数据表，装载 csv 数据，以及计算序号和父子关系
CREATE TABLE data (
    code    BIGINT      NOT NULL,
    p_code  BIGINT      NOT NULL,
    type    TINYINT     NOT NULL,
    name    VARCHAR(25) NOT NULL,
    id      INT         NOT NULL,
    pid     INT         NOT NULL,
    PRIMARY KEY (code) USING BTREE,
    INDEX USING BTREE (id),
    INDEX USING BTREE (pid, id)
) ENGINE = MEMORY;

-- 加载 csv
LOAD DATA INFILE 'area_code_2022.csv'
INTO TABLE data
CHARACTER SET UTF8MB4
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
(code, name, type, p_code);

-- 按照 code 顺序计算 id
UPDATE data
  JOIN (SELECT code, ROW_NUMBER() OVER win row_num
          FROM data
        WINDOW win AS (ORDER BY code)) t USING(code)
   SET id = row_num;

-- 计算 parent_id（不存在的标0）
UPDATE data a
  LEFT JOIN data b ON b.code = a.p_code
   SET a.pid = IFNULL(b.id, 0);

-- 建邻接表，并从临时数据表填充数据
CREATE TABLE adjacent (
    id      INT         NOT NULL,
    pid     INT         NOT NULL,
    is_leaf BOOL        NOT NULL,
    type    TINYINT     NOT NULL,
    code    BIGINT      NOT NULL,
    name    VARCHAR(25) NOT NULL,
    PRIMARY KEY (pid, id)
)
SELECT -1 pid, 0 id, FALSE is_leaf, 0 type, 0 code, '' name
 UNION ALL
SELECT pid, id, type = 5 is_leaf, type, code, name
  FROM data;

-- 建闭包表主表，并从临时数据表填充数据
CREATE TABLE closure (
    id      INT         NOT NULL,
    type    TINYINT     NOT NULL,
    code    BIGINT      NOT NULL,
    name    VARCHAR(25) NOT NULL,
    PRIMARY KEY (id)
)
SELECT 0 id, 0 type, 0 code, '' name
 UNION ALL
SELECT id, type, code, name
  FROM data;

-- 建闭包表树形关系表
CREATE TABLE closure_tree (
    ancestor    INT     NOT NULL,
    descendant  INT     NOT NULL,
    distance    TINYINT NOT NULL,
    PRIMARY KEY (descendant, distance)
);

-- 递归构建树形关系
INSERT INTO closure_tree(ancestor, descendant, distance)
WITH RECURSIVE
  parent_of(orig_id, id, dist) AS (
    SELECT id, id, 0
      FROM data
     UNION ALL
    SELECT orig_id, pid, dist + 1
      FROM parent_of
      JOIN data USING(id)
     WHERE id
  )
SELECT id, orig_id, dist
  FROM parent_of;

-- 为闭包表树形关系表建二级索引
CREATE INDEX idx_closure_tree ON closure_tree (ancestor, distance);

-- 丢弃临时数据表
DROP TABLE data;

`SQLite` 一键建表 `SQL`

下列 SQL 需要依赖 SQLite Shell 的 .import --csv，核心 SQLite 库不提供此功能。

因此，需要使用命令行的 SQLite 来运行（Windows 可去官网下载个 1~2 MB 的 sqlite3.exe）。

下面使用 Bash Shell 来包装执行命令与 SQL，大约需要运行 30 秒，然后在同目录下生成 150 MB 左右的 test.db。

#!/bin/bash

sqlite3 :memory: <<'EOF'

-- 在内存中计算，最后整理紧凑才写入文件
PRAGMA TEMP_STORE = MEMORY;

-- 导入 csv 文件至临时表
CREATE TEMP TABLE csv (code INTEGER PRIMARY KEY, name TEXT, type INT, p_code INT);
.import --csv area_code_2022.csv csv

-- 建邻接表
CREATE TABLE adjacent (
    id      INT     NOT NULL,
    pid     INT     NOT NULL,
    is_leaf INT     NOT NULL,
    type    INT     NOT NULL,
    code    INT     NOT NULL,
    name    TEXT    NOT NULL,
    PRIMARY KEY (pid, id)
) WITHOUT ROWID;

-- 填充邻接表
INSERT INTO adjacent (pid, id, is_leaf, type, code, name)
SELECT -1, 0, FALSE, 0, 0, ""
 UNION ALL
SELECT p_code, ROW_NUMBER() OVER (), type = 5, type, code, name
  FROM csv
 ORDER BY code;

-- 建临时索引，提速 code 搜索
CREATE INDEX i ON adjacent (code);

-- 更新 pid
UPDATE adjacent
   SET pid = t2.id
  FROM adjacent t2
 WHERE adjacent.pid = t2.code;

-- 丢弃临时索引
DROP INDEX i;

-- 建 id -> pid 索引
CREATE INDEX idx_adjacent_id ON adjacent (id);

-- 建闭包表主表
CREATE TABLE closure (
    id      INTEGER PRIMARY KEY,
    type    INT     NOT NULL,
    code    INT     NOT NULL,
    name    TEXT    NOT NULL
);

-- 建闭包表树形关系表
CREATE TABLE closure_tree (
    ancestor    INT NOT NULL,
    descendant  INT NOT NULL,
    distance    INT NOT NULL,
    PRIMARY KEY (descendant, distance)
) WITHOUT ROWID;

-- 填充闭包表主表
INSERT INTO closure (id, type, code, name)
SELECT id, type, code, name
  FROM adjacent;

-- 递归构建树形关系
WITH RECURSIVE
  parent_of(orig_id, id, dist) AS (
    SELECT id, id, 0
      FROM adjacent
     UNION ALL
    SELECT orig_id, pid, dist + 1
      FROM parent_of
      JOIN adjacent USING(id)
     WHERE id
  )
INSERT INTO closure_tree (ancestor, descendant, distance)
SELECT id, orig_id, dist
  FROM parent_of;

-- 为闭包表树形关系表建二级索引
CREATE INDEX idx_closure_tree ON closure_tree (ancestor, distance);

-- 整理紧实数据库后，写入磁盘
ANALYZE;
VACUUM INTO 'test.db';

EOF

回复了主题【楼主删除了该帖】

#19

@罐子，这些游戏的服务端，全都是只有可执行文件，没有源码，是吗？

回复了主题【楼主删除了该帖】

#14

@666，那篇文章不是说是源码压缩包吗？

如果是 C/C++ 写的，自己编译一下应该也行？

（如果如 @罐子所说，只有个可执行文件，那就是文章胡说八道了）

回复了主题【楼主删除了该帖】

@老虎会游泳，他发的那篇知乎文章没有了。。

我记得文章里没有其他要求了。。

源码好像是百度盘的，我没会员，懒得下。。

回复了主题【楼主删除了该帖】

@666，主程序不是 php 源码吗？

@老虎会游泳，php 有编译成 x86 这种说法吗？

回复了主题问一个 VueJs 的问题

@淡然，回调 PromptSetValue(v => item.it = v) 或异步 PromptSetValue().then(v => item.it = v) ？

回复了主题问一个 VueJs 的问题

@淡然，function PromptSetValue(e, key) ？

回复了主题问一个 VueJs 的问题

@淡然，下面的写法有何不妥吗？你原始问题是啥？

回复了主题问一个 VueJs 的问题

@淡然，因为 js 没法引用对象的键？

回复了主题用于解决树形结构存储的闭包表，凭什么能快速获取某个节点的祖先节点/父节点/子节点？

#11

@老虎会游泳，老虎这么多年，没有啥树形数据要存吗？之前都用的啥方案？

回复了主题大佬萌们,如何从JQ中取出数组赋值给变量

#12

@庸人，

主要是我其实更习惯用管道这样的方式

不能在匿名管道内修改外部的变量！（如：jq | readarray、sum=0; seq 3 | while read -r i; do (( sum += i )); done）

理由

因为这会开启一个子 shell，然后在子 shell 中，readarray 将 jq 的输出转成数组。

等这一行执行完毕，子 shell 就会退出，刚整理好的数组也随着进程结束而消失了。

那用啥？

所以，只能用 <<< 或 < <(...) 的形式。

前者需要完全准备好一个字符串，再作为 stdin 喂给所在的命令。我觉得没必要，没这么干

（试想，你拷贝一个 1GB 的文件，会申请 1GB 的内存，全部读取完成后，再写入至新文件吗？）
后者，<(...) 是将 ... 的 stdout 重定向至某个文件（一般是具名管道），然后将此文件作为 stdin 喂给所在命令

（如果是管道实现，则一般是 4KB 缓冲区）

但是当我单拧出来一个数组,那么结尾就会有一个换行🤣🤣

使用 readarray 时指定 -t 参数，会自动删除行末的换行符

回复了主题用于解决树形结构存储的闭包表，凭什么能快速获取某个节点的祖先节点/父节点/子节点？

@老虎会游泳，那个博主给出新的解决方案了，速度上确实应该会很快，但空间占用也很恐怖。。

更改表结构和建立索引

那个博主新的表结构为：

CREATE TABLE 闭包表 (
    祖先 INT,
    后代 INT,
    距离 INT,
    PRIMARY KEY (后代, 距离),
    KEY (祖先, 距离)
);

使得有如下两种索引：

聚集索引：(后代, 距离, 祖先)
二级索引：(祖先, 距离, 后代)

就能高效应对下列查询了：

(孙)子/后代节点：走二级索引 (✔查询节点, ✔1 或 2 或任意, ❓<要获取的后代节点>)
(祖)父/祖先节点：走聚集索引 (✔查询节点, ✔1 或 2 或任意, ❓<要获取的祖先节点>)

下列查询会小范围扫表，但问题不大：

某后代节点与某祖先节点的距离：走聚集索引 (✔查询后代节点, ❓<要获取的距离>, ❌查询祖先节点)

只要 查询后代节点 层级没有深到离谱，扫表范围也就连续的几行几十行而已。

占的空间太大了，怀疑性价比

一个 66W 的 5 级地区表，就要配套一个相当于 780W 的闭包表，快接近 12 倍于主表的辅助表了。。

如此恐怖的空间换时间方案，到底能快多少呢？真的值得投入这么多空间来提速吗？

回复了主题大佬萌们,如何从JQ中取出数组赋值给变量

@庸人，你的需求是要备份当下的网易云歌单吗？还是啥。。

回复了主题大佬萌们,如何从JQ中取出数组赋值给变量

@庸人，你说下原始需求，感觉会有更好的实现方式

回复了主题大佬萌们,如何从JQ中取出数组赋值给变量

@庸人，比如：

$ readarray -td $'\0' arr < <(jq -rj '[.[].name] | join("\u0000")' <<<'[{"id": 1, "name": "a\nb\n"}, {"id": 2, "name": "c\nd"}]')
$ declare -p arr
declare -a arr=([0]=$'a\nb\n' [1]=$'c\nd')

如果你不担心你的 name 里有换行符的话，可以直接：

$ readarray -t arr < <(jq -r '.[].name' <<<'[{"id": 1, "name": "ab"}, {"id": 2, "name": "cd"}]')
$ declare -p arr
declare -a arr=([0]='ab' [1]='cd')

回复了主题大佬萌们,如何从JQ中取出数组赋值给变量

@庸人，直接回答：可以用 Bash 的 readarray 来一次性读到某个数组

另外：

Bash Shell 更适合交互式和简单脚本使用。含有数组、字典甚至更复杂数据结构的，可能都值得你考虑换其他语言了
不想换的话，考虑尽量用 jq 来一次性生成你最终要的数据？

回复了主题c盘里有个乱码文件夹，是病毒还是哪个软件的？

@童真再见，@tasy5kg，你们都是咋找到这种文件(夹)的？我打开 Everything 都不知道搜点什么关键词。。

无名啊

SQLite 代码

结果

『查询根节点所有后代』速度对比

『查询根节点第 5 层后代』速度对比

目前观点

『查询根节点所有后代』通用 SQL

『查询根节点第 5 层后代』通用 SQL

MySQL 一键建表 SQL

SQLite 一键建表 SQL

理由

那用啥？

更改表结构和建立索引

占的空间太大了，怀疑性价比

`SQLite` 代码

『查询根节点所有后代』通用 `SQL`

『查询根节点第 5 层后代』通用 `SQL`

`MySQL` 一键建表 `SQL`

`SQLite` 一键建表 `SQL`