Posts on FlyingWhale's Blog

缓存基础和应用实现（一）

Thu, 25 Apr 2024 00:00:00 +0000

缓存分类

本地缓存

指的是在应用中的缓存组件，其最大的优点是应用和cache是在同一个进程内部，请求缓存非常快速，没有过多的网络开销等，在单应用不需要集群支持或者集群情况下各节点无需互相通知的场景下使用本地缓存较合适；同时，它的缺点也是应为缓存跟应用程序耦合，多个应用程序无法直接的共享缓存，各应用或集群的各节点都需要维护自己的单独缓存，对内存是一种浪费。

分布式缓存

指的是与应用分离的缓存组件或服务，其最大的优点是自身就是一个独立的应用，与本地应用隔离，多个应用可直接的共享缓存。

本地缓存

HashMap

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54


public class LRUCache extends LinkedHashMap {

 // 缓存大小限制 
 private int maxSize;
 @Override
 protected boolean removeEldestEntry(Map.Entry eldest) {
 return size() > maxSize;
 }

 public LRUCache(int maxSize) {
 // 尾插法，按照访问顺序LRU，超过最大限制则删除头结点
 super(maxSize + 1, 1.0f, true);
 this.maxSize = maxSize;
 }

 @Override
 public Object get(Object key) {
 // 将获取到的节点key放到链表尾部
 synchronized (key) {
 return super.get(key);
 }
 }

 @Override
 public Object put(Object key, Object value) {
 synchronized (key) {
 return super.put(key, value);
 }
 }

 public static void main(String[] args) {
 LRUCache cache = new LRUCache(3);
 cache.put("1", "1");
 cache.put("2", "2");
 cache.put("3", "3");
 System.out.println(cache.get("1"));
 System.out.println(cache.keySet());
 cache.put("4", "4");
 System.out.println(cache.keySet());
 System.out.println("ok");
 }

/**
removeEldestEntry false
removeEldestEntry false
removeEldestEntry false
1
[2, 3, 1]
removeEldestEntry true
[3, 1, 4]
ok
**/

}

Guava Cache

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25


 // Guava Cache 
 Cache<String, String> cache = CacheBuilder.newBuilder()
 // 支持同时写缓存的并发访问线程数 
 .concurrencyLevel(8)
 // 设置初始化缓存容量 
 .initialCapacity(10)
 // 设置最大缓存容量 
 .maximumSize(100)
 // 根据LRU设置过期时间 
 .expireAfterWrite(10, TimeUnit.SECONDS)
 // 根据LFU设置过期时间 
// .expireAfterAccess(10, TimeUnit.MINUTES) 
 .build();
 cache.put("1", "1");
 cache.put("2", "2");
 System.out.println(cache.asMap());
 Thread.sleep(1000 * 10);
 cache.put("3", "3");
 System.out.println(cache.asMap());


/**
{1=1, 2=2}
{3=3}
**/

Caffeine Cache

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


 // Caffeine Cache
 Cache<String, String> cache = Caffeine.newBuilder()
 // 设置初始化缓存容量 
 .initialCapacity(10)
 // 设置最大缓存容量 
 .maximumSize(100)
 // 根据LRU设置过期时间 
 .expireAfterWrite(10, TimeUnit.SECONDS)
 // 根据LFU设置过期时间 
// .expireAfterAccess(10, TimeUnit.SECONDS) 
 .build();
 cache.put("1", "1");
 cache.put("2", "2");
 System.out.println(cache.asMap());
 Thread.sleep(1000 * 10);
 cache.put("3", "3");
 System.out.println(cache.asMap());


/**
{1=1, 2=2}
{3=3}
**/

Encache

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


 //1. 初始化好CacheManager
 CacheManager cacheManager = CacheManagerBuilder.newCacheManagerBuilder()
 // 一个CacheManager可以管理多个Cache
 .withCache(
 "singleDog",
 CacheConfigurationBuilder.newCacheConfigurationBuilder(
 String.class,
 Object.class,
 // heap相当于设置数据在堆内存中存储的 个数 或者 大小
 ResourcePoolsBuilder.newResourcePoolsBuilder().heap(10).build()).build()
 ).build(true);
// cacheManager.init();
 //2. 基于CacheManager回去到Cache对象
 Cache<String, Object> cache = cacheManager.getCache("singleDog", String.class, Object.class);
 //3. 存 set/put/add/
 cache.put("ehcache","57个单身狗！！");
 //4. 取
 System.out.println(cache.get("ehcache"));

分布式缓存

注解缓存

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53


/**
Spring注解缓存：作用在类或方法上，当调用一个缓存方法时，会将入参和返回结果作为键值对存放在缓存中，下次同样的请求入参从缓存中返回结果
**/

// Application增加@EnableCaching注解

// 增加缓存配置
@Configuration
public class CacheConfiguration {

 @Bean
 CacheManager cacheManager() {
 return new ConcurrentMapCacheManager("LEAD_DATA");
 }

}


// value必填标识使用已配置缓存的缓存名称,key标识缓存的key（SpringEL表达式） 
@Cacheable(value = {"LEAD_DATA"}, key = "#id", sync = true)
public String getName(Long id) {
 System.out.println("没有走缓存");
 if (id == 1L) {

 return "你好";
 }
 return "hello";
}

public String testInnerCallGetName(Long id) {
 return getName(id);
}

// 测试用例
@Test
public void testCache() {
 String name = userService.getName(1L);
 String name1 = userService.getName(1L);
 System.out.println(name);
 System.out.println(name1);

 // 类内部其他方法调用加缓存注解的方法，不会走缓存
 String name4 = userService.testInnerCallGetName(1L);
 System.out.println(name4);
}

/**
没有走缓存
你好
你好
没有走缓存
你好
**/

Memcached

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26


/**
处理请求采用多线程模型
数据结构仅支持string类型操作，且value限制在1MB以下，过期时间不能超过30天
必须设置实例的内存上限，淘汰策略：LRU【1.5版本后支持LFU、random】
官方未提供数据持久化和事务的支持，采用一致性哈希算法集群化，但不支持主从复制只能单点部署
**/

// 安装 Memcached
brew install libevent
brew install memcached
brew install telnet
// 启动memcached
brew services start memcached
// 连接memcached
telnet 127.0.0.1 11211

// set设置键值对命令
// flags为包括键值对的整型参数，用于存储额外信息【没啥用】
// exptime是以秒为单位的缓存时间，0表示永远缓存
// bytes标识存储的字节数，注意必须和存储的value实际字节数对应，不然报错
// value为存储的value数据
set 键名 flags exptime bytes
value

// get查看键对应值的命令
get 键名

Redis

1

todo 待实现

缓存淘汰算法

LRU(Least Recently Used)：优先删除访问时间最早的数据，最近最少使用，基于访问时间，在被访问过的元素中去除最久未使用的元素，保证热点数据的有效性
LFU(Least Frequently Used)：优先删除访问次数最少的数据，最近最不常用，基于访问次数，去除命中次数最少的元素，保证高频数据有效性
FIFO：最先进入缓存的数据，在缓存空间不足时被清除，为了保证最新数据可用，保证实时性
设置过期时间
随机

参考文章

https://pdai.tech/md/arch/arch-y-cache.html https://pdai.tech/md/arch/arch-z-cache.html https://juejin.cn/post/6844904199453409294 https://juejin.cn/post/7257519248054157369 https://developer.aliyun.com/article/1048470 https://juejin.cn/post/6931190862295203848 https://www.cnblogs.com/rxbook/p/17310156.html https://cloud.tencent.com/developer/article/1697819

Redis数据结构

Thu, 18 Apr 2024 00:00:00 +0000

基础类型

String –> SDS简单动态字符串
Hash –> Hash Table哈希表
List –> LinkedList双端链表
Set
ZSet –> ZipList压缩列表、ZSkipList跳表

特殊类型

HyperLogLog
Bitmap
Geo

用途及示例

String （最常用的数据类型）

用途

缓存
计数器
session共享

示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


# 缓存
set product_name_key 测试产品

# 计数器
incr counter // 值加1
decr counter // 值减1
incrby counter 100 // 值加100
decrby counter 100 // 值减100

# session共享
todo

# 查看值
get key

List

用途

消息队列（阻塞队列）
栈
队列
有限集合

示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


# 消息队列

# 栈
lpush key value // 左端加入元素
lpop key value // 左端删除元素

rpush key value // 右端加入元素
rpop key value // 右端删除元素

# 队列
lpush key value // 左端加入元素
rpop key value // 右端删除元素

rpush key value // 右端加入元素
lpop key value // 左端删除元素


# 有限集合
lpush key value // 左端加入元素
ltrim key start_index end_index // 保留指定范围内的元素，删除范围外元素，保证集合有限，实现LRU最近最少使用的缓存淘汰算法

rpush key value // 右端加入元素
ltrim key start_index end_index // 保留指定范围内的元素，删除范围外元素，保证集合有限

# 消息队列（阻塞队列）
lpush list1 value // 左端加入元素
brpop list1 list2 ... timeout_second // 从左到右找到第一个非空列表，右端删除元素；如果所有列表都为空，则阻塞等待timeout时间

rpush list1 value // 右端加入元素
lrpop list1 list2 ... timeout_second // 从左到右找到第一个非空列表，左端删除元素；如果所有列表都为空，则阻塞等待timeout时间

// 阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，获取元素的线程会等待队列变为非空。当队列满时，存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。阻塞队列就是生产者存放元素的容器，而消费者也只从容器里拿元素。

Hash

用途

缓存：能直观，相比string更节省空间，适合存储对象，如用户信息，视频信息等。

示例

1
2
3
4
5
6
7


hset key sub_key value // 添加键值对，如果存在则更新

hget key sub_key // 查询散列键对应的值

hgetall key // 查询所有键值对

hdel key sub_key // 散列中删除指定键值对

Set

用途

给同一类人、事物打标签
点赞，或点踩，收藏等，可以放到set中实现

示例

1
2
3
4
5
6
7
8
9


sadd key value // set添加元素

scard key value // 查询set元素个数

srem key value // set存在value则删除

smembers key // 返回集合所有元素

sismember key value // 判断value是否在set中

ZSet

用途

排行榜：有序集合经典使用场景。例如小说视频等网站需要对用户上传的小说视频做排行榜，榜单可以按照用户关注数，更新时间，字数等打分，做排行。

示例

1
2
3
4
5
6
7


zadd key1 score1 value1 score2 value2 ... // 有序集合添加元素

zrange key start_index end_index // 查询返回指定范围有序集合的元素，从小到大排序

zscore key value // 查询value在有序集合中的排序分值

zrem key value // 有序集合存在value则删除

对象机制

redisObject数据结构

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


/*
 * Redis 对象
 */
typedef struct redisObject {

 // 类型
 unsigned type:4;

 // 编码方式
 unsigned encoding:4;

 // LRU - 24位, 记录最末一次访问时间（相对于lru_clock）; 或者 LFU（最少使用的数据：8位频率，16位访问时间），可以用于内存回收算法时跟当前时间比较
 unsigned lru:LRU_BITS; // LRU_BITS: 24

 // 引用计数。当引用计数为0时内存会被释放；每新建或共享一次对象，引用次数加1
 int refcount;

 // 指向底层数据结构实例
 void *ptr;

} robj;

处理命令流程

根据给定的key，在数据库字典中查找和他相对应的redisObject，如果没找到，就返回NULL；
检查redisObject的type属性和执行命令所需的类型是否相符，如果不相符，返回类型错误；
根据redisObject的encoding属性所指定的编码，选择合适的操作函数来处理底层的数据结构；
返回数据结构的操作结果作为命令的返回值。

对象共享

对于一些常量值设置为共享对象，减少数据结构简单小对象的重复资源分配，减少cpu消耗。作为共享对象的值如下：

各种命令的返回值，比如成功时返回的OK，错误时返回的ERROR，命令入队事务时返回的QUEUE，等等
包括0 在内，小于REDIS_SHARED_INTEGERS的所有整数（REDIS_SHARED_INTEGERS的默认值是10000）

小结

redis使用自己实现的对象机制（redisObject)来实现类型判断、命令多态和基于引用次数的垃圾回收；
redis会预分配一些常用的数据对象，并通过共享这些对象来减少内存占用，和避免频繁的为小对象分配内存。

底层数据结构

ZipList 压缩数组

内存存储结构

zlbytes字段的类型是无符号32位整型, 这个字段中存储的是整个ziplist所占用的内存的字节数
zltail字段的类型是无符号32位整型, 它指的是ziplist中最后一个entry的偏移量. 用于快速定位最后一个entry, 以快速完成pop等操作
zllen字段的类型是无符号16位整型, 它指的是整个ziplit中entry的数量. 这个值只占2bytes（16位）: 如果ziplist中entry的数目小于65535(2的16次方), 那么该字段中存储的就是实际entry的值. 若等于或超过65535, 那么该字段的值固定为65535, 但实际数量需要一个个entry的去遍历所有entry才能得到.
zlend是一个终止字节,不存储数据，其值为全F, 即0xff. ziplist保证任何情况下, 一个entry的首字节都不会是0xff，即255

Entry节点数据结构

第一种情况：一般结构 <prevlen> <encoding> <entry-data>

prevlen：前一个entry的长度大小；当前一个元素长度小于254，prevlen长度为1字节；当前一个元素长度大于等于254，prevlen长度为5字节
encoding：不同的情况下值不同，用于表示当前entry的类型（int 或 string）和长度。
- 存储string时，encoding长度为1字节则后6位存储entry中string的长度；长度为2字节则后14位存储string长度；长度为5字节则后4字节存储string长度；
- 存储int时，encoding长度为1个字节，后4位存储0 - 12的整型数据；长度为2个字节，后1字节存储有符号整型数据；长度为3个字节，后2字节存储无符号int16数据；长度为4个字节，后3字节存储有符号int16数据；长度为5个字节，后4字节存储int32数据；长度为9个字节，后8字节存储int64数据
entry-data：真是用于存储entry表示的数据；

第二种情况：在entry中存储的是int类型时，encoding和entry-data会合并在encoding中表示，此时没有entry-data字段；
redis中，在存储数据时，会先尝试将string转换成int存储，节省空间；
此时entry结构：

<prevlen> <encoding>

用途

为实际应用中，大量存储字符串的优化提供思路。

缺点

ziplist也不预留内存空间, 并且在移除结点后, 也是立即缩容, 这代表每次写操作都会进行内存分配操作.
结点如果扩容, 导致结点占用的内存增长, 并且超过254字节的话, 可能会导致链式反应: 其后一个结点的entry.prevlen需要从一字节扩容至五字节. 最坏情况下, 第一个结点的扩容, 会导致整个ziplist表中的后续所有结点的entry.prevlen字段扩容. 虽然这个内存重分配的操作依然只会发生一次, 但代码中的时间复杂度是o(N)级别, 因为链式扩容只能一步一步的计算. 但这种情况的概率十分的小, 一般情况下链式扩容能连锁反映五六次就很不幸了. 之所以说这是一个蛋疼问题, 是因为, 这样的坏场景下, 其实时间复杂度并不高: 依次计算每个entry新的空间占用, 也就是o(N), 总体占用计算出来后, 只执行一次内存重分配, 与对应的memmove操作, 就可以了.

参考文章

https://pdai.tech/md/db/nosql-redis/db-redis-data-types.html

ElasticSearch探究（二）——原理

Wed, 17 Apr 2024 00:00:00 +0000

整体架构

分片

一个索引默认被分为5个主分片以及分别对应的1个副本分片。主分片合起来就是整个索引的数据。

分析器Analyzer

Standard Analyzer - 默认分词器，按词切分，小写处理。不兼容对中文的分词。
Simple Analyzer - 按照非字母切分（符号被过滤），小写处理
Stop Analyzer - 小写处理，停用词过滤（the ，a，is）
Whitespace Analyzer - 按照空格切分，不转小写
Keyword Analyzer - 不分词，直接将输入当做输出
Pattern Analyzer - 正则表达式，默认 \W+
Language - 提供了 30 多种常见语言的分词器
Customer Analyzer - 自定义分词器；ik中文分词器

集群

数据节点：负责存储数据，并对数据进行CRUD操作协调节点：一个角色概念，不显示通过配置项指定，指的是：一个节点接收用户查询请求并将查询字句分发给其他节点，最后接收合并其他节点的响应结果返回给用户（map-reduce）。主节点：主要创建、修改索引等操作集群的工作客户端负载均衡节点：不充当数据节点、主节点，主要用于处理路由请求，预处理节点：将文档插入索引前，对文档数据进行预处理。任何节点都可以设置，也可以专门设置。

Lucene索引原理

倒排索引

索引结构词典分类

跳表SkipList

概念

为了优化链表随机访问元素时间复杂度高的问题，维护一个多层次的链表，且每一层链表中的元素是迁移出链表元素的子集，最底层是一个全量有序链表。可以快速查询一个有序连续元素的数据链表。
从上往下从左往右遍历跳表。

性质

（1）由很多层结构组成；
（2）每一层都是一个有序的链表；
（3）最底层(Level 1)的链表包含所有元素；
（4）如果一个元素出现在 Level i 的链表中，则它在 Level i 之下的链表也都会出现；
（5）每个节点包含两个指针，一个指向同一链表中的下一个元素，一个指向下面一层的元素。

时间复杂度

查询：O(log^n)
更新：O(log^n)

空间复杂度

O(n)

参考文章

https://juejin.cn/post/6844903869873389582?searchId=20240417130941BD491ACFEAE1656C50AD

Redis大key问题

Tue, 16 Apr 2024 00:00:00 +0000

背景

最近工作中用了redis缓存来存储2000多个kv对数据，被前辈同事提醒可能存在大key问题影响性能，建议更换为本地缓存，特来探究下这个问题。

什么是Redis大key问题

redis中某个key对应的value值占用内存空间太大，导致redis性能下降、内存不足、数据不均衡以及主从同步延迟等问题。 value值多大算大？容量定义：高并发低延迟场景 / value为String时：10kb 低并发、高容量场景：100kb 个数定义： value为集合类型时：1w个

Redis大key带来的问题

内存占用过高。大Key占用过多的内存空间，可能导致可用内存不足，从而触发内存淘汰策略。在极端情况下，可能导致内存耗尽，Redis实例崩溃，影响系统的稳定性。
性能下降。大Key会占用大量内存空间，导致内存碎片增加，进而影响Redis的性能。对于大Key的操作，如读取、写入、删除等，都会消耗更多的CPU时间和内存资源，进一步降低系统性能。
阻塞其他操作。某些对大Key的操作可能会导致Redis实例阻塞。例如，使用DEL命令删除一个大Key时，可能会导致Redis实例在一段时间内无法响应其他客户端请求，从而影响系统的响应时间和吞吐量。
网络拥塞。每次获取大key产生的网络流量较大，可能造成机器或局域网的带宽被打满，同时波及其他服务。例如：一个大key占用空间是1MB，每秒访问1000次，就有1000MB的流量。
主从同步延迟。当Redis实例配置了主从同步时，大Key可能导致主从同步延迟。由于大Key占用较多内存，同步过程中需要传输大量数据，这会导致主从之间的网络传输延迟增加，进而影响数据一致性。
数据倾斜。在Redis集群模式中，某个数据分片的内存使用率远超其他数据分片，无法使数据分片的内存资源达到均衡。另外也可能造成Redis内存达到maxmemory参数定义的上限导致重要的key被逐出，甚至引发内存溢出。

大key产生的原因

业务设计不合理。这是最常见的原因，不应该把大量数据存储在一个key中，而应该分散到多个key。例如：把全国数据按照省行政区拆分成34个key，或者按照城市拆分成300个key，可以进一步降低产生大key的概率。
没有预见value的动态增长问题。如果一直添加value数据，没有删除机制、过期机制或者限制数量，迟早出现大key。例如：微博明星的粉丝列表、热门评论等。
过期时间设置不当。如果没有给某个key设置过期时间，或者过期时间设置较长。随着时间推移，value数量快速累积，最终形成大key。
程序bug。某些异常情况导致某些key的生命周期超出预期，或者value数量异常增长，也会产生大key。

排查大key

1、bigkeys命令，扫描每种数据类型数量大的key

1

redis-cli -h ip -p 端口 -a 密码 --bigkeys

2、Redis RDB Tools工具

使用开源工具Redis RDB Tools，分析RDB文件，扫描出Redis大key。

例如：输出占用内存大于1kb，排名前3的keys。

1

rdb —commond memory —bytes 1024 —largest 3 dump.rbd

3、查询某个key的value占用内存大小来判断，返回占用字节数bytes

1

memory usage keyName

怎么解决大key

拆分成多个小key。这是最容易想到的办法，降低单key的大小，读取可以用mget批量读取。
数据压缩。使用String类型的时候，使用压缩算法减少value大小。或者是使用Hash类型存储，因为Hash类型底层使用了压缩列表数据结构。
设置合理的过期时间。为每个key设置过期时间，并设置合理的过期时间，以便在数据失效后自动清理，避免长时间累积的大Key问题。
启用内存淘汰策略。启用Redis的内存淘汰策略，例如LRU（Least Recently Used，最近最少使用），以便在内存不足时自动淘汰最近最少使用的数据，防止大Key长时间占用内存。
数据分片。例如使用Redis Cluster将数据分散到多个Redis实例，以减轻单个实例的负担，降低大Key问题的风险。
删除大key。使用UNLINK命令删除大key，UNLINK命令是DEL命令的异步版本，它可以在后台删除Key，避免阻塞Redis实例。

参考文章

https://zhuanlan.zhihu.com/p/622474134 https://www.51cto.com/article/701990.html

白夜行

Sun, 31 Mar 2024 00:00:00 +0000

东野圭吾的推理代表作之一，之前一直想读这篇小说，但是因为字数对我来说太多，自己难以坚持读下去就一直没有读。这次通过电视剧的形式，来欣赏这部佳作。在看电视剧前，其实也看过一些影评，但是没有记住太多剧情。

开篇（倒叙部分没看懂，跳过）

孩童时期的男主回家路上碰到孩童时期的女主，好奇女主蹲在河边看什么，女主回复想找找看长在淤泥中的花；回家后的男主，一直思考着是什么花，最后经过翻阅资料后得知应该是白莲花，于是男主在之前女主找花的位置布置了一朵纸做的白莲花，并和女主说找到她所说的花并邀请女主来看，女主看后特别感动并把男主比作是她的太阳。

欠债为还钱，竟让孩子搞PY交易？

这段有点恶心。男女主在白莲花事件后，关系瞬间升温，并相互拉起了小手。不过在一次偶然间男女主一起碰到男主爸爸的时候，女主脸一沉下意识跑走了，至此女主表明男主拉她手很恶心，男主此时也很困惑并怀疑是自己手心有汗的原因。
不过，在后来一次男主回家路上，看到女主被她母亲拉到废旧大楼中，出于好奇偷偷跟了上去，发现里面房间的大门被紧锁时，男主通过排风通道爬到房间上方，发现惊人一幕——男主的爸爸竟然拿着相机给赤裸的女主拍照，并且还做了一些猥亵行为！
震惊的男主从排风通道跳进了房间，质问父亲为什么要这么做？父亲尴尬地解释道，这其实没什么大不了的，女主家缺钱靠他救济并以此作为回报，并且说明女主是自愿的。男主想起女主之前的反应，内心奔溃，在冲动和愤怒的趋势下，手握剪刀刺入自己父亲的心脏，男主的父亲也应声倒地。
自此，男主sha hai了自己的父亲，在片刻清醒后感到害怕和后悔。女主鼓励般感谢男主帮自己完成了心愿，并提出由自己承担杀人的罪名，让男主不要担心。男主出于害怕一口答应后，头也不回地逃离了现场。而此时的女主，对于男主来说，也将成为他的太阳。

你为我成为太阳，我也将成为你的太阳

凶案发生后，警察迅速赶到现场并展开了调查。确定了被害人男主父亲在当天取过钱并买了一些面包到过女主家，并且女主母亲在男主父亲所在的放贷公司中有债款没有还清。
那么女主母亲的嫌疑瞬间上升，而此时的女主，一边感激着男主出手将自己解救出来，一边思考着面对警察调查的应对之法。经过一番思想斗争后，女主私自决定和自己烂透了的母亲一起通过瓦斯泄露自杀从而为男主解围。不过，幸运的是，虽然女主母亲因瓦斯泄露身亡，但是女主被解救了过来。
自此，女主以同样方式通过伪装自杀的方式sha hai自己的亲生母亲，并将杀害男主父亲的罪名嫁祸给她，切断了警察的调查线索，成功为男主解围，成为了男主的太阳。之后，女主一人背负杀人犯子女的臭名离开了这个是非之地，并暗自决定躲过15年的案件追溯期后，再与男主一起牵手同行。

再次相遇，你是否还会是我的太阳？

转眼间7年过去，男主时常想念着和女主曾经答应的要一起在阳光下散步，想不明白为什么留下了他一人在这个伤心之地；而与此同时，女主去了另一个城市并被一位奶奶收养，就在近期，女主孩童时期与男主父亲进废弃大楼被拍照留存了记录。待完善。。。

影评

首先，这部电视剧随着剧情的深入一次次的给予我惊喜和感动，在观看后又简单回顾了下小说，感觉上小说比电视剧更隐晦黑暗些。
回顾电视剧的剧情，亮幼时在经历雪穗被猥亵事件后，亮杀害了自己的父亲为雪穗成为太阳；雪穗揽下罪名并杀害嫁祸给自己的加害者——母亲，成为了亮的太阳。至此，两人开始了漫长的白夜行，成长后的亮和母亲以前店里的伙计一起干着违法工作，而雪穗则被收养寄宿在一位单身婆婆家中并正常念着书。亮作为皮条客的时候，店中的卖春女和自己后来的朋友寻欢作乐时意外死亡，亮和雪穗担心警察查出亮是皮条客追究责任，于是雪穗用手帮助亮射x并装入卖春女的体内，以伪造是亮和卖春女寻欢作乐时发生的意外，这样便隐藏了亮是皮条客的身份并亮自己收获了一位忠诚的朋友。

参考文章

https://zhuanlan.zhihu.com/p/28307655

《虞美人盛开的山坡》观后感

Sat, 30 Mar 2024 00:00:00 +0000

周末无聊，想回顾下宫崎骏先生参与的电影，遂找到了这部电影。看了下简介背景是二战后日本重建，加上剧照，大概能猜到是和《起风了》类似的穿插爱情线的战争反思片。

开篇

女主小海有个习惯，每天早晨升起北斗信号旗，而男主正好每天都有段时间在船上经过看到信号旗，作为学校文艺社的身份发表一篇《少女，为何你把旗升起》的诗歌，自此男女主相遇。

反拆拉丁楼，清扫拉丁楼

女主对写诗歌的作者出于好奇，便来到文艺社所在的拉丁楼，而此时正值学校准备拆成拉丁楼重建新大楼；办公地点位于拉丁楼的社团里的学生，认为是文化的遗产，各种办法反对抵制拆除拉丁楼；与此同时，社团学生们也拉来学校里的女生打扫拉丁楼，以让拉丁楼重获新机

竟是兄妹？

男女主在清扫拉丁楼、学姐欢送会等事件中，渐生情愫；彼此深入沟通后了解到，原来女主之所以每天升信号旗，是因为她父亲是个海员，每次回来时看到信号旗便能方便找到家，而后来不幸在二战中战死，升信号旗变成了女主的一个习惯；男主呢，则一直调查自己的亲生父亲是谁，看到女主留存的爸爸照片和自己家中的一样，变问了自己养父，得到的回答是男主是女主的爸爸抱养给他的，所以男女主竟是兄妹？

误会一场，血脉传承

男女主得知双方可能为兄妹，则慢慢变为朋友关系；而双方又都对过去发生的事情很好奇；女主从母亲那里得知他爸爸一次回家时带回来战死好友（立花）遗留下的一个男婴，而这个男婴就是男主，因可怜失去男婴双亲遂抱回来收养，后来因为女主妈妈身孕，女主爸爸则把男婴抱养给了男主的养父母。至此，男女主误会消除，与此同时，社团学生请来了想拆除拉丁楼重建大楼的理事长来看翻新后的拉丁楼，一顿洗脑下理事长同意不拆除拉丁楼换个地方建大楼。最后，可谓皆大欢喜，女主每天拉起的信号旗，也迎来了新的眺望者——男主。

点评

电影讲述的爱情故事，属于宫崎骏的纯爱奋斗风，关于男女主相遇和对身世的探讨经历了起承转合的过程，节奏把握的不错；另一条战争线，讲述了男女主父辈一代经历的残酷二战（当然在中国人角度看来，日本二战中属于战犯国），以宫崎骏的视角体现了战争的残酷，并提出战后不能盲目重建要捍卫保留过去的优良文化，反映了宫崎骏先生的和平思想。观影后也大概查了下历史事件，故事中男女主父辈所经历的应该是抗美援朝战争，日本作为类似后勤的角色为美军提供补给，而日本也在此过程中获得了一定经济复苏。了解到这个背景后，给我的感觉是，日本这个国家的高层领导还是缺乏对战争的反思，一方面在战争中对外侵略，另一方面对内隐瞒并包装自己的所作所为，而把痛苦留给被侵略国和自己国家的人民，可恶。

参考文章

https://www.bbc.com/zhongwen/simp/world/2010/06/100625_korea_war_japan_wenyu

ElasticSearch探究（一）——常用查询用法

Thu, 28 Mar 2024 00:00:00 +0000

概念

开源的分布式分析搜索引擎

ES和数据库对比

常用字段类型

Text：文本类型，存储时会被分词 Keyword：字符串文本，存储时不会被分词 Long：长整型 Integer：整型 Short：较短整型 Byte：短整型 Double：双精度浮点数 Float：单精度浮点数 Date：日期 Boolean：布尔类型 Range：范围类型 IP：用于IPv4和IPv6地址 Object：用于存储JSON对象 Nested：用于存储JSON对象数组

DSL（Domain Specific Language）常用查询命令

查询用法

match

用途：查询字段中包含给定关键字的文档，对于Text类型字段，会对要查询文本进行分词后再匹配；对于Keyword类型字段，不分词直接进行精确查询；通常用于对于Text类型字段进行全文搜索示例：

1
2
3
4
5


{
 "match": {
 "field": "关键字"
 }
}

term

用途：精确查询字段完全匹配要查询内容的文档，对于Text类型字段，是对被查询字段分词后的token词项精确匹配示例：

1
2
3
4
5


{
 "term": {
 "field": "具体值"
 }
}

bool

用途：用于复合的组合查询，可以包含must、must_not、filter、should子查询示例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


{
 "bool": {
 "must": [
 { "match": { "field1": "value1" } },
 { "match": { "field2": "value2" } }
 ],
 "should": [
 { "term": { "field3": "value3" } }
 ],
 "must_not": [
 { "range": { "field4": { "lt": "value4" } } }
 ]
 }
}

range

用途：对于可以比较大小的字段进行范围查询，比如Date、数字类型、IP地址、Keyword类型示例：

1
2
3
4
5
6
7
8


{
 "range": {
 "field": {
 "gte": "起始值",
 "lte": "结束值"
 }
 }
}

aggs

用途：对于指定字段进行聚合查询，用于数据的统计分析；agg_name是自定义的聚合名称，terms指定若干个聚合字段示例： { “aggs”: { “size”: 0, “agg_name”: { “terms”: { “field”: “field_name” } } } }

查看索引

1

GET /_cat/indices?v

更新用法

添加文档（记录）

1
2
3
4
5
6


POST cps_order_index_v1/_doc
{
 "orderNo" : "test2",
 "userId" : 232345,
 "merchantName" : "测试商户"
}

参考文章 https://pdai.tech/md/db/nosql-es/elasticsearch-x-usage.html

Ollama体验（一）

Tue, 26 Mar 2024 00:00:00 +0000

ollama下载

https://github.com/ollama/ollama/releases

下载运行llamma2模型，直接对话

1

ollama run llama2

创建自定义模型文件

1
2
3
4
5
6
7
8
9


FROM llama2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

自定义运行模型

1
2


ollama create mario -f ./Modelfile
ollama run mario

Redis集群原理与实践

Tue, 26 Mar 2024 00:00:00 +0000

概念

Redis通过多个节点存储冗余或者分片数据，可具备读写分离、故障转移、数据备份等能力，实现高性能、高可用

主从复制模式

原理：

1、主节点负责处理写请求 2、从节点负责分摊处理读请求 3、从节点同步主节点写入的数据 4、主节点发生故障时，需要手动切换其他从节点代替主节点

优点：

1、实现了读写分离，提升了读的性能 2、实现了数据冗余，有一定容灾能力，提高了数据可用性 3、配置简单

缺点：

1、无法实现自动故障转移 2、无法实现数据分片，数据可存储量受单节点内存限制 3、写请求只由一个主节点处理，写请求没有被分摊，写性能没有很大提升

实践：

todo

哨兵模式

原理：

1、在主从复制基础上，增加哨兵节点，监控主从节点运行情况；当主节点发生故障时，及时自动触发故障转移，将其他从节点切换为主节点

优点：

1、具备主从复制模式优点的同时，还支持实现主节点的自动故障转移

缺点：

1、无法实现数据分片，数据可存储量受单节点内存限制 2、写请求只由一个主节点处理，写请求没有被分摊，写性能没有很大提升 3、配置相对复杂

实践：

todo

Cluster模式

原理：

1、数据分片后，数据分摊存储在集群中的各个主节点中，其中每个主节点都至少有一个从节点，并且从节点备份主节点数据以及可以分摊读请求（默认主节点处理读写请求） 2、读写请求进来，使用CRC16算法对key计算哈希值，然后对16384取模得到需要路由处理的主节点槽位编号，然后由对应编号的主节点处理请求 3、集群中的所有节点，都会周期性的向其他节点发送心跳，当超过一定时间没有收到某个主节点心跳，集群会将其从节点升级为主节点，完成自动故障转移（所以哨兵不是必须的）

优点：

1、实现数据冗余和数据分片，提升数据存储和容灾能力 2、实现主节点自动故障转移（可不借助哨兵） 3、读写请求分摊到多个节点，实现了负载均衡，提升了性能 4、可实现读写分离

缺点：

1、配置复杂 2、不支持对跨节点的多个键进行操作，比如mget、mset命令 3、单个键值对最大的存储数据量有限制

实践：

todo

阿里云交互式建模体验（一）

Tue, 26 Mar 2024 00:00:00 +0000

背景

因为大模型的火热，很多计算机从业者想训练大模型，但是由于硬件的限制，难以开展；此时可以使用第三方提供的云上服务，相对便捷、便宜的体验模型训练

快速启动Stable Diffusion WebUI

开通免费试用交互式建模服务

https://help.aliyun.com/document_detail/2261127.html

打开Stable Diffusion WebUI使用示例

运行构建示例

结果展示

CentOS6.7下Hive和MySql安装及问题汇总

Mon, 18 Mar 2024 00:00:00 +0000

@[TOC] 环境：Hadoop2.7.3、HBase1.2.5、Zookeeper3.4.6、CentOS6.7

安装MySql

本实验采用MySql5.7.3版本，可直接去清华镜像源下载安装；也可通过本安装版本的下载链接下载 MySql软件安装包rpm版 mysql-community-client-5.7.13-1.el6.x86_64.rpm mysql -community-common-5.7.13-1.el6.x86_64.rpm mysql -community-libs-5.7.13-1.el6.x86_64.rpm mysql -community-server-5.7.13-1.el6.x86_64.rpm

切换至root用户，安装和启动需要root权限

1

su root

进入home目录

1

cd /home

将MySql软件安装包拖至home目录下

查询已安装的MySql服务

1

rpm -qa | grep mysql

卸载已安装的MySql服务

若需重装mysql，需要先卸载已有安装的mysql服务，同时还需删除mysql的本地安装目录，重装后才会生成新密码

1

rpm -e --nodeps 服务名

安装MySql服务

1
2
3
4


rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm
rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

使用MySql

启动MySql服务

1

service mysqld start

查看自动生成的临时密码，‘ses%,‘后面的内容即为密码

1

sudo grep 'temporary password' /var/log/mysqld.log

输入密码，登录MySql

1

mysql -uroot -p

设置MySql的密码安全等级为LOW Length（只限制最小的密码长度）

1

set global validate_password_policy=0;

设置最小密码长度为6位，默认为8位

1

set global validate_password_length=6;

设置符合最小长度的密码（此处为6位）

1

alter user 'root'@'localhost' identified by 'your password';

创建MySql新用户

其中hadoop为新用户名（可改），%表示任意访问主机，hadoop1为主节点的主机名（主机名需要与IP作映射）

1
2
3
4


grant all on *.* to hadoop@'%' identified by 'your password';
grant all on *.* to hadoop@'localhost' identified by 'your password';
grant all on *.* to hadoop@'hadoop1' identified by 'your password';
flush privileges;

创建供hive操作的数据库

1

create database hive;

退出MySql

1

quit;

安装Hive

进入home目录

1

cd /home

下载Hive2.1.0

其他版本可至http://archive.apache.org/dist/hive下载

1

wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz

解压

1

tar xvf apache-hive-2.1.0-bin.tar.gz

1

cd apache-hive-2.1.0-bin/conf

创建编写hive-site.xml文件

1

vi hive-site.xml

复制粘贴下面配置内容，部分内容需据实况修改

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27


<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
 <name>hive.metastore.local</name>
 <value>true</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionURL</name>
 //value中的hadoop1为主节点的主机名，需根据实际情况修改
 <value>jdbc:mysql://hadoop1:3306/hive?characterEncoding=UTF-8</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionUserName</name>
 //value中的hadoop为访问MySql的用户名，需根据实际情况修改
 <value>hadoop</value>
 </property>
 <property>
 <name>javax.jdo.option.ConnectionPassword</name>
 //value中的为MySql用户名为hadoop的密码，需根据实际情况修改
 <value>your password</value>
 </property>
</configuration>

进入hive的lib目录

1

cd /home/apache-hive-2.1.0-bin/lib

下载依赖库mysql-connector-java5.1.27

1

weget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.27/mysql-connector-java-5.1.27.jar

配置全局变量

1

vi /etc/profile

复制粘贴下面配置内容

1
2


export HIVE_HOME=/home/apache-hive-2.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin

使profile文件配置内容生效

1

source /etc/profile

启动Hive

进入Hive的bin目录

1

cd /home/apache-hive-2.1.0-bin/bin

初始化元数据库

1

./schematool -initSchema -dbType mysql

进入hive交互命令行

1

hive

退出hive

1

exit

问题汇总

待更新…

安装使用Vmware及Hadoop出现的问题及解决方案

Mon, 18 Mar 2024 00:00:00 +0000

虚拟机正在使用或无法连接到

报类似如下错误时解决方案首先进入该页面获得虚拟机所在位置删除.ick后缀的文件，该文件应该是保存了虚拟机上次运行时的运行状态然后Ctrl+Alt+Delete键打开任务管理器，键盘敲入v快速查找和Vmware相关的进程，然后结束这些进程，有些进程无法关闭，可以不管。关闭完所有Vmware相关进程后，重启电脑即可进入虚拟机

开启共享文件夹

进入虚拟机配置页面设置本地作为共享文件夹的目录进入虚拟机页面，使用超级用户权限cd /mnt/hfgs/共享文件目录即可找到共享目录

可本地主机将需分享的文件拖入共享文件夹，虚拟机即可通过上述方式访问并获取共享资源

图形界面的电脑网络连接小图标消失

解决方案输入service NetworkManager restart重新启动NetworkManager即可，并设置下开机自启动，输入chkconfig NetworkManager on即可

ping出现网络不可达

出现如下情况，ping不通其他网站时原因是，网关设置错误，虚拟机导致无法访问互联网解决方案鼠标移动到电脑图标，右键编辑连接选择刚才使用的连接设置，点击进入编辑点击进入配置网关信息，可通过网络适配器查看到网关地址，一般前三个数同ip地址一致，最后一个数字为2，例如192.168.47.2，最后点击应用即可回到命令行窗口，输入service network restart重启网络后，即可ping通了

如何查看Hadoop的日志文件

1、yum安装的Hadoop，日志文件默认位于/var/log/hadoop-hdfs/、/var/log/hadoop-yarn/、/var/log/hadoop-mapreduce/，根据节点类型查看不同日志，注意查看对应时间的日志文件 2、tgz本地解压安装的Hadoop，日志文件位于Hadoop解压目录下的logs目录里，比如解压位置为/home/hadoop-1.0.0，则日志文件位于/home/hadoop-1.0.0/logs/下

分布式启动namenode失败，日志报java.io.IOException: Failed to load FSImage file错误

解决方案第一种清除namenode存储的fsimage文件，重新格式化namenode后，即可启动namenode，此方法会清空namenode存储信息。具体命令如下

1
2
3


rm -rvf /data/dn/* /data/nn/* /data/yarn/local/* /data/yarn/logs/*
hadoop namenode -format
service hadoop-hdfs-namenode start

第二种是事先备份namenode存储的fsimage文件、datanode存储文件和yarn存储文件信息，然后清除namenode存储的fsimage文件后格式化namenode，最后将备份信息重新复制到namenode、datanode、yarn文件的目录，该方法理论可行，尚未尝试

hdfs操作时出现Unable to load native-hadoop library for your platform… using builtin-java classes where applicable警告

原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。解决方案： 1、下面链接下载对应hadoop版本编译好的natvie包 http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 2、解压至hadoop安装目录的lib/native下

1
2


#注意修改为自己下载的解压包名
tar xvf hadoop-native-64-2.6.0.tar

3、配置环境变量

1
2
3
4
5


#修改系统文件
vi /etc/profile
#最底部添加如下代码后保存退出
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

4、使刚才配置的环境变量生效

1

source /etc/profile

5、输入hdfs操作检验效果

1

hdfs dfs -ls /

成功解决

待更新中。。。

数据采集之安装Flume、Kafka、Sqoop

Mon, 18 Mar 2024 00:00:00 +0000

@[TOC] 环境：CentOS6.7、Hadoop2.7.3、HBase1.2.5、Zookeeper3.4.6

安装Flume1.7

以root用户登录

1

su root

进入home目录

1

cd /home

下载flume1.7到本地

1

wget http://archive.apache.org/dist/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz

解压

1

tar xvf apache-flume-1.7.0-bin.tar.gz

配置环境变量

1

vi /etc/profile

文件末尾添加

1
2
3


export FLUME_HOME=/home/apache-flume-1.7.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

使环境变量生效

1

source /etc/profile

进入Flume的配置目录

1

cd /home/apache-flume-1.7.0-bin/conf/

拷贝flume-env.sh的模板文件

1

cp flume-env.sh.template flume-env.sh

配置flume-env.sh文件

1

vi flume-env.sh

末尾添加

1
2


#若是解压安装的jdk，需设置为解压的安装目录
export JAVA_HOME=/usr/java/default

使环境配置生效

1

source flume-env.sh

验证安装Flume成功

1

flume-ng version

Flume使用

使用Flume接收AvroSource信息

创建Agent配置文件

1
2


cd /home/apache-flume-1.7.0-bin/conf/
vi avro.conf

文件末尾添加

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动日志控制台

1

flume-ng agent -c . -f avro.conf -n a1 -Dflume.root.logger=INFO,console

按Ctrl+C可退出日志控制台，暂时先不退出

新建一个命令窗口，创建包含hello world的log文件并发送给Flume

1
2
3


cd /home/apache-flume-1.7.0-bin/
sh -c 'echo "hello world"> /home/log.00'
flume-ng avro-client -c . -H localhost -p 4141 -F /home/log.00

切回日志控制台的命令窗口接收到消息

使用Flume接收NetcatSource信息

创建agent配置文件

1
2


cd /home/apache-flume-1.7.0-bin/conf/
vi example.conf

在文件末尾添加

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


#example.conf: A single-node Flume configuration 
# Name the components on this agent 
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source 
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# Describe the sink 
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory 
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel 
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动日志控制台

1

flume-ng agent --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

安装telnet

1

yum -y install telnet

再创建一个命令窗口，测试本地44444端口是否连通

1

telnet localhost 44444

在该命令窗口下输入ok和hello world后，日志控制台窗口同步显示输入的消息

安装Kafka

进入home目录

1

cd /home

下载Kafka0.10.1

1

wget http://archive.apache.org/dist/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz

解压

1

tar xvf kafka_2.10-0.10.1.0.tgz

进入Kafka的安装目录

1

cd /home/kafka_2.10-0.10.1.0/

启动zookeeper

1

./bin/zookeeper-server-start.sh config/zookeeper.properties

新建命令行窗口，进入Kafka的安装目录

1

cd /home/kafka_2.10-0.10.1.0/

启动Kafka

1

./bin/kafka-server-start.sh config/server.properties

新建命令行窗口，进入Kafka的安装目录

1

cd /home/kafka_2.10-0.10.1.0/

创建名为dblab的topic

1

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

查看已创建的topic

1

./bin/kafka-topics.sh --list --zookeeper localhost:2181

启动producer

1

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

启动后（无提示），输入信息以生产数据

新建命令行窗口，进入Kafka的安装目录

1

cd /home/kafka_2.10-0.10.1.0/

启动consumer接受数据

1

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning

安装Sqoop

进入home目录

1

cd /home

下载Sqoop1.4.6

1

wget http://archive.apache.org/dist/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

解压

1

tar xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

进入Sqoop配置目录

1

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

拷贝Sqoop的环境配置的模板文件

1

cp sqoop-env-template.sh sqoop-env.sh

配置Sqoop环境文件

1

vi sqoop-env.sh

文件末尾添加

1
2
3
4
5
6
7
8


#HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME也可和HADOOP_HOME设置为相同
#HADOOP_HOME即Hadoop的安装目录，可通过find / -name hadoop-daemon.sh，得到的查找结果的上一级目录即为Hadoop的安装目录
export HADOOP_COMMON_HOME=/home/hadoop-2.7.3/share/hadoop/common
export HADOOP_MAPRED_HOME=/home/hadoop-2.7.3/share/hadoop/mapreduce
export HBASE_HOME=/home/hbase-1.2.5
export HIVE_HOME=/home/apache-hive-2.1.1-bin
#此为Zookeeper的安装目录
export ZOOKEEPER_HOME=/home/zookeeper-3.4.6

使配置文件生效

1

source sqoop-env.sh

配置系统环境变量文件

1

vi /etc/profile

文件末尾添加

1
2
3


export SQOOP_HOME=/home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

使配置文件生效

1

 source /etc/profile

在安装MySql环境的基础下，进入Sqoop的lib目录

1

 cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

下载mysql驱动程序

1

 weget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.27/mysql-connector-java-5.1.27.jar

（由于我有mysql驱动程序，就直接到相应目录拷贝到Sqoop的lib目录下）

启动Mysql

1

service mysqld start

测试Sqoop与Mysql是否连接

1

sqoop list - databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

出现如下报错！需在Sqoop_env.sh文件中配置ACCUMULO_HOME 进入Sqoop的配置目录

1

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

修改Sqoop_env.sh文件

1

vi sqoop_env.sh

文件末尾输入

1

export ACCUMULO_HOME=/var/lib/accumulo

使配置文件生效

1

source sqoop-env.sh

创建accumulo文件夹

1

mkdir /var/lib/accumulo

继续测试又报错配置HCAT_HOME，同上进入Sqoop的配置目录

1

cd /home/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

修改Sqoop_env.sh文件

1

vi sqoop_env.sh

文件末尾输入

1

export HCAT_HOME=/var/lib/hcat

使配置文件生效

1

source sqoop-env.sh

创建accumulo文件夹

1

mkdir /var/lib/hcat

继续测试，成功连上mysql

1

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

Python实现Linux环境下Hbase操作

Sun, 17 Mar 2024 00:00:00 +0000

@[TOC] 实验环境：CentOS6.7，Hadoop2.7.3，HBase1.2.5，zookeeper3.4.6

Linux下安装Python环境

安装依赖环境

1

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

1

yum -y install gcc

由于yum安装的bison版本兼容性问题后面会出现报错 checking for bison version >= 2.5… no configure: error: Bison version 2.5 or higher must be installed on the system! 故需下载升级版本的bison

下载升级版本的bison

1

wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz

解压

1

tar xvf bison-2.5.1.tar.gz

进入bison安装目录执行配置脚本

1

./configure

编译

1

make

安装

1

make install

下载python安装环境（3.6更具兼容性）

https://www.python.org/ftp/python/

1

wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz

解压

1

tar xvf Python-3.6.6.tgz

进入python文件夹，生成编译脚本(指定安装目录)

1

./configure --prefix=/usr/local/python3

编译

1

make

安装

1

make install

建立软连接，便于直接使用命令

1
2


ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

验证python3配置完毕

1
2


python3 -V
pip3 -V

安装thift

安装python的thrift库使支持Thrift协议

1

pip3 install thrift

下载安装thift依赖包

1

yum install -y automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel

下载thift 0.9.3

1

wget http://apache.fayea.com/thrift/0.9.3/thrift-0.9.3.tar.gz

上面的无法链接时，用下边的命令下载

1

wget http://mirrors.cnnic.cn/apache/thrift/0.9.3/thrift-0.9.3.tar.gz

解压

1

tar xvf thrift-0.9.3.tar.gz

进入thrift安装目录，执行配置脚本

1

./configure

编译

1

make

安装

1

make install

生成thrift的python编译版

下载hbase源码版

1

wget http://archive.apache.org/dist/hbase/1.2.5/hbase-1.2.5-src.tar.gz

解压

1

tar xvf hbase-1.2.5-src.tar.gz

进入存有hbase.thrift的目录下

1

cd hbase-1.2.5/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/

使用thrift编译hbase.thrift

1

thrift --gen py Hbase.thrift

拷贝gen-py目录下的hbase目录到python的安装目录里的site-packages目录下

1

cp -r hbase /usr/local/python3/lib/python3.6/site-packages/

进入site-packages目录下的hbase目录，修改Hbase.py和constant.py文件（python3需要）

from ttypes import * 改为 from hbase.ttypes import * 再次修改Hbase.py和ttypes.py文件，然后找到该目录后，将虚拟机文件转到本地主机，使用记事本打开文件，按Ctrl+H快捷键，替换xrange为range和__dict__.iteritems为__dict__.items后保存也可直接下载下面文件覆盖修改Hbase.py,constants.py,ttypes.py文件下载链接

启动thrift服务

1

hbase-daemon.sh start thrift

验证是否启动thrift服务

thrfit使用问题汇总

Pycharm无法连接本机hbase

使用本机pycharm连接虚拟机的hbase时，首先需要与虚拟机相互ping通，若未能ping通，可能是虚拟机的网络适配器和虚拟机不处于同一网段，需配置如下步骤如下：

连接hbase时报错解决： hbase没有启动thrift服务

1

hbase-dameon.sh start thrfit

使用metateRow()函数，插入行数据时报错解决： Hbase表中需要已定义相应列族才能插入数据，需定义好后再插入

HBase安装注意事项及使用问题

Sat, 23 Dec 2023 00:00:00 +0000

HBase安装及说明文档

官方英文文档 W3C中文文档

安装之前

首先要确保所下载的Hbase与Hadoop版本对应支持，支持如下表 √=经过测试，功能齐全 ×=已知功能不完整或存在 CVE，因此我们在较新的次要版本中放弃了对它的支持！=未测试，可能不起作用

Java版本	HBase 0.94	HBase 0.96	HBase 0.98	HBase 1.1.x	HBase 1.2.x	HBase 1.3.x	HBase 1.4.x	HBase 2.2.x	HBase 2.3.x
JDK7	√	！	√	√	√	√	√	×	×
JDK8	！	！	√	√	√	√	√	√	√
JDK11	！	！	！	！	！	！	×	×	！

Hadoop版本	HBase 0.94	HBase 0.96	HBase 0.98(Support for Hadoop 1.1+ is deprecated)	HBase 1.1.x	HBase 1.2.x	HBase 1.3.x	HBase 1.4.x	HBase 1.6.x	HBase 2.2.x	HBase 2.3.x
Hadoop 2.0.x-alpha	√	√	×	×	×	×	×	×	×	×
Hadoop 2.1.0-beta	√	√	×	×	×	×	×	×	×	×
Hadoop 2.2.0	！	√	√	！	×	×	×	×	×	×
Hadoop 2.3.x	！	！	√	！	×	×	×	×	×	×
Hadoop 2.4.x	！	！	√	√	√	√	×	×	×	×
Hadoop 2.5.x	！	！	√	√	√	√	×	×	×	×
Hadoop 2.6.0	×	！	×	×	×	×	×	×	×	×
Hadoop 2.6.1+	！	！	！	！	√	√	×	×	×	×
Hadoop 2.7.0	×	！	×	×	×	×	×	×	×	×
Hadoop 2.7.1+	！	！	！	！	√	√	√	×	×	×
Hadoop 2.8.[0-2]	！	！	！	×	×	×	×	×	×	×
Hadoop 2.8.[3-4]	！	！	！	！	！	！	！	×	×	×
Hadoop 2.8.5+	！	！	！	！	！	！	！	√	√	×
Hadoop 2.9.[0-1]	！	！	！	！	！	！	×	×	×	×
Hadoop 2.9.2+	！	！	！	！	！	！	！	√	√	×
Hadoop 2.10.0	！	！	！	！	！	！	！	√	！	√
Hadoop 3.1.0	！	！	！	！	！	！	×	×	×	×
Hadoop 3.1.1+	！	！	！	！	！	！	×	×	√	√
Hadoop 3.2.x	！	！	！	！	！	！	×	×	√	√

建议使用JDK1.8搭配Hadoop及HBase搭建集群

配置环境变量

可配置Hadoop、ZooKeeper、HBase的环境变量，方便shell下使用bin目录下的相关命令 /etc/profile:此文件为系统的每个用户设置环境信息,当用du户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置 /etc/bashrc:为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取. ~/.bash_profile:每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次!默认情况下,他设置一些环境变量,执行用户的.bashrc文件. ~/.bashrc:该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该文件被读取. ~/.bash_logout:当每次退出系统(退出bash shell)时,执行该文件.

Linux启动机制

先启动 /etc/profile 文件，然后再启动用户目录下的 ~/.bash_profile、 ~/.bash_login或 ~/.profile文件中的其中一个

Hadoop中的HBase默认目录为/hbase

基本命令

启动ZooKeeper(进入安装目录下的bin目录)

1

zkServer.sh start

进入Zookeeper交互页面

1

zkCli.sh -server 主机名:2181 #2181为zookeeper节点间通信端口号，具体见安装目录下conf/zoo.cfg配置信息

启动HBase(进入安装目录下的bin目录)

1

hbase-start.sh

启动RegionServer（动态添加HBase节点）

1

hbase-daemon.sh start regionserver #需要相应的节点主机启动

关闭RegionServer（动态删除HBase节点）

1

hbase-daemon.sh stop regionserver

访问HBase的Web页面

游览器访问http://主机名:60010 注意访问端口号和配置相关，具体查看安装目录的conf/hbase-site.xml的hbase.master.info.port的值

使用问题

hbase命令行创建或修改等操作时，报Unknown argument ignored: xxx

解决办法：重启hbase，可能是一个bug

关于计算机中的原码,反码和补码

Wed, 13 Dec 2023 00:00:00 +0000

写这个的主要原因是为了总结(主要是对于IDE来说): 首先计算机为了解决用原码或反码运算时所带来的不变,引入补码来进行计算机中的基本运算.

比如对于C语言中的一个int变量一般占4字节,也就是32bits,对应着计算机里面的01的位数,而在计算机中为了方便直接让数字按照补码形式存储,也就是说对于1来说在计算机中用00…001存储(0有31个),而-1则用1111..111(32个1)存储.

进一步,对于C语言中用十六进制表示数字时,普通的0xF就表示十进制下15,而对于特殊的0xFFFFFFFF(8个F)则表示-1,为什么呢?因为十六进制数的表示也是与字节相关的,一个0~F的十六进制数可以表示计算机中4位的bits,那么8位的十六进制数就可以表示32位的bits,也就是4字节,又因为int类型变量的32位的bits是由1位符号位和其他31位二进制数表示的,这就解释了为什么int类型最大值为21474836473,因为二进制下加上符号位01111…11(31个1)就表示这么大的数.但是要注意这32位是补码,也就是说当一个十六进制数有8位的时候,就可以表示计算机中存储int类型能表示的任意大小的数了.

比如0xFFFFFFFF表示的就是-1(十六进制代表的补码),而对于普通的0xF并没有达到影响符号位的长度,就依然是一个正常的数字.

学了位运算后(注意都是按位的),就有一个小知识点,对于一个大于等于0的数的补码还是原码本身,而对于负数来说,它的补码也可以用它的正数形式取反加一得到,也就是 -n=(~n)+1,这就在求lowbit的时候有点用处.

衍生出来就是一个数的取反加一就得到这个数的相反数了.

K-近邻(KNN)分类器（一）

Sun, 12 Nov 2023 00:00:00 +0000

前言

自此开始机器学习篇，先从最简单的分类器——K-近邻分类器开始

正文

算法流程

K-近邻算法伪代码如下，对未知类别属性的数据集中的每个点依次执行以下操作： (1) 计算已知类别数据集中的点与当前点之间的距离； (2) 按照距离递增次序排序； (3) 选取与当前点距离最小的k个点； (4) 确定前k个点所在类别的出现频率； (5) 返回前k个点出现频率最高的类别作为当前点的预测分类。

实现流程

(1) 收集数据：可以使用任何方法。 (2) 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3) 分析数据：可以使用任何方法。 (4) 测试算法：计算错误率。 (5) 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

优缺点

优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。

例题

我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选，但她并不是喜欢每一个人。经过一番总结，她发现曾交往过三种类型的人：不喜欢的人、魅力一般的人、极具魅力的人，在数据中分别用1、2、3表示。海伦收集约会数据已经有了一段时间，她把这些数据存放在文本文件datingTestSet.txt中。海伦的样本主要包含以下3种特征：每年获得的飞行常客里程数、玩视频游戏所耗时间百分比、每周消费的冰淇淋公升数。试帮助海伦分类出新约会的人所属类型。

数据

每年获得的飞行常客里程数	每周消费的冰淇淋公升数	玩视频游戏所耗时间百分比	类别
40920	8.326976	0.953952	3
14488	7.153469	1.673904	2
26052	1.441871	0.805124	1
75136	13.147394	0.428964	1
38344	1.669788	0.134296	1
72993	10.141740	1.032955	1
35948	6.830792	1.213192	3
42666	13.276369	0.543880	3
67497	8.631577	0.749278	1
35483	12.273169	1.508053	3

实现要点

（1）求不同人的特征的欧式距离（2）使用最大最小标准化将数据归一化处理（3）正确实现KNN算法过程（4）可用混淆矩阵和准确率来评估模型最后的预测效果（5）可随机地选择一定比例的训练集和测试集

预测结果选择K=4，随机抽取70%作为训练集，30%作为测试集，最终对测试集预测类别，并计算准确率和混淆矩阵作为评估代码链接

康拓展开，逆展开（全排列求第n个）

Sun, 12 Nov 2023 00:00:00 +0000

定义：实质是计算当前排列在所有由小到大全排列中的顺序，因此是可逆的。

解决问题：举例由12345–>34251，问34251是全排列的第几个？（按字典序小的开始全排列）

计算方法：首先我们可以发现由12345–>25431是比较好计算全排列数的，也就可以看成是算由12345–>15432（需要4!次），由21345–>25431（也需要4!次），所以12345–>25431需要2 * 4!次变换，然后我们接着算31245–>32541的全排列数，可以分解成由31245–>31542（需要3!次），和32145–>32541（需要3!次），合起来2 * 3!次，然后12345–>32541的变换次数就是两种情况相加，即2 * 4!+2 * 3!，然后继续算34125–>34152，也就是2!，然后继续算34215–>34215，就是1!，而我们最后一个34251不计算入其中（因为照康拓展开的意思就是这样），那么我们不难发现12345–>34215的变换次数可以合并为2 * 4!+2 * 3!+1 * 2!+1 * 1!+0 * 0!，然后找一波规律，就可以发现刚刚计算得到的全排列个数x，可以表示成x=a[n] * (n-1)!+a[n-1] * (n-2)!+…a[1] * 0!,(a[i]代表第i位数（从右向左数）更右边的数中比第i位数小的数总和）。又由于对于例如计算12345–>34251，34251是全排列第几个的问题，康拓展开求得的是34215是全排列第几个数，所以最后算出的x还需+1才是最终结果。

主要代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


ll Cantor(string s,int n){
 ll ans=0;
 for(int i=0;i<n;i++){
 ll cnt=0,m=1,temp=1;
 for(int j=i+1;j<n;j++){
 if(s[i]>s[j])
 cnt++;//计后边小于第i个数的个数
 m*=temp,temp++;//m最终保存阶乘结果
 }
 ans+=cnt*m;
 }
 return ans+1;
}

康拓逆展开择日再写。。。 to be continued……

P-R曲线、ROC曲线、AUC及代价(CC)曲线5

Sat, 11 Nov 2023 00:00:00 +0000

P-R曲线

** 解释：P为查准率(precision)，表示真正例数占预测正例数的比例。 R为召回率(recall)，表示真正例数占实际正例数的比例。根据分类结果建立混淆矩阵，如下图所示进一步定义，查准率P=TP/(TP+FP)，查全率R=TP/(TP+FN)

由西瓜书关于P-R曲线的描述：根据学习器的预测为正例的概率对样例进行排序，排在前边的样本更有可能为正例，然后按此顺序逐个将样本作为正例进行预测，计算出每次的查全率、查准率，最终作出P-R曲线图。

Code：

法一，可自行模拟上诉过程

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt

#0-坏瓜 1-好瓜
Data=np.round(np.random.uniform(0,1,1000)).tolist()
Probability=np.random.uniform(0,1,1000).tolist()
西瓜=list(zip(Data, Probability))
西瓜=sorted(西瓜,key=lambda x:x[1],reverse=True)
P=[]
R=[]
TPR=[]
FPR=[]
FNR=[]
for 好瓜 in range(1,1000):
 TP = 0
 FP=0
 TN=0
 FN = 0
 for idx in range(0,好瓜):
 if 西瓜[idx][0] == 1:
 TP=TP+1
 else:
 FP=FP+1
 for idx in range(好瓜,1000):
 if 西瓜[idx][0]==0:
 TN = TN + 1
 else:
 FN=FN+1
 P.append(TP/(TP+FP) if TP+FP!=0 else TP/(TP+FP+1))
 R.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 TPR.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 FPR.append(FP/(TN+FP) if TN+FP!=0 else FP/(TN+FP+1))
 FNR.append(1-TPR[-1])
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
plt.xlabel("查全率", fontproperties=font)
plt.ylabel("查准率", fontproperties=font)
plt.title('P-R曲线', fontproperties=font)
plt.plot(R,P)
f1=np.polyfit(R,P,4) #使用4次多项式拟合P-R曲线
predict_P=np.polyval(f1,R)
plt.plot(R,predict_P)
plt.show()

法二，使用scikit库函数直接求得P，R值

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17


import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, roc_curve, auc

Data=np.round(np.random.uniform(0,1,1000)).tolist()
Probability=np.random.uniform(0,1,1000).tolist()
P,R, thresholds = precision_recall_curve(Data, Probability)
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
plt.xlabel("查全率", fontproperties=font)
plt.ylabel("查准率", fontproperties=font)
plt.title('P-R曲线', fontproperties=font)
plt.plot(R,P)
f1=np.polyfit(R,P,4)
predict_P=np.polyval(f1,R)
plt.plot(R,predict_P)
plt.show()

ROC曲线与AUC

** 解释：中文全称为受试者工作特征，同P-R曲线相似，衡纵坐标涉及假真例率FPR和真正例率TPR。AUC为ROC曲线下的面积。两者分别定义为FPR=TP/(TP+FN)，FPR=FP/(TN+FP)。绘制方法与P-R曲线类似，就此略过。AUC可通过scikit库函数直接求得或者利用以下公式求梯形和得到面积： $$ AUC=\frac 1 2 \sum_{\mathclap{1\le i\le m-1}} (x_{i+1}-x_{i})·(y_{i+1}+y_{i}) $$

Code：

法一，可自行模拟上诉过程

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt

#0-坏瓜 1-好瓜

Data=np.round(np.random.uniform(0,1,1000)).tolist()
Probability=np.random.uniform(0,1,1000).tolist()
西瓜=list(zip(Data, Probability))
西瓜=sorted(西瓜,key=lambda x:x[1],reverse=True)
P=[]
R=[]
TPR=[]
FPR=[]
FNR=[]
for 好瓜 in range(1,1000):
 TP = 0
 FP=0
 TN=0
 FN = 0
 for idx in range(0,好瓜):
 if 西瓜[idx][0] == 1:
 TP=TP+1
 else:
 FP=FP+1
 for idx in range(好瓜,1000):
 if 西瓜[idx][0]==0:
 TN = TN + 1
 else:
 FN=FN+1
 P.append(TP/(TP+FP) if TP+FP!=0 else TP/(TP+FP+1))
 R.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 TPR.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 FPR.append(FP/(TN+FP) if TN+FP!=0 else FP/(TN+FP+1))
 FNR.append(1-TPR[-1])
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
plt.xlabel("假正例率", fontproperties=font)
plt.ylabel("真正例率", fontproperties=font)
plt.title('ROC曲线', fontproperties=font)
plt.plot(FPR,TPR)
f2=np.polyfit(FPR,TPR,4)
predict_TPR=np.polyval(f2,FPR)
plt.plot(FPR,predict_TPR)
plt.show()
AUC2=0
for idx in range(1,len(FPR)):
 AUC2=AUC2+(FPR[idx]-FPR[idx-1])*(TPR[idx]+TPR[idx-1])/2
print("公式计算的AUC=",AUC2)

法二，使用scikit库函数直接求得TPR，FPR值

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt
from sklearn.metrics import precision_recall_curve, roc_curve, auc

Data=np.round(np.random.uniform(0,1,1000)).tolist()
Probability=np.random.uniform(0,1,1000).tolist()
P,R, thresholds = precision_recall_curve(Data, Probability)
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
FPR,TPR, thresholds = roc_curve(Data, Probability)
plt.xlabel("假正例率", fontproperties=font)
plt.ylabel("真正例率", fontproperties=font)
plt.title('ROC曲线', fontproperties=font)
plt.plot(FPR,TPR)
f2=np.polyfit(FPR,TPR,4)
predict_TPR=np.polyval(f2,FPR)
plt.plot(FPR,predict_TPR)
plt.show()
AUC = auc(FPR,TPR)
print("scikit库计算的AUC=",AUC)

代价(CC)曲线

** 解释：对于第i类样本预测为第j类样本的代价cost(i,j)，其中图中的横坐标为正例率代价，纵坐标为[0,1]范围内的归一化代价

根据分类结果建立混淆矩阵，如下图所示

对横纵坐标分别定义得到正例率代价P(+)cost=(p·cost(0,1))/(p·cost(0,1)+(1-p)·cost(1,0))，归一化代价cost(norm)=(FNR·p·cost(0,1)+FPR·(1-p)·cost(1,0))/(p·cost(0,1)+(1-p)·cost(1,0))，其中p为样例为正例的概率

可自行模拟上诉过程绘制代价曲线图，第一种方法是n条经$$(0,FPR_{i})，(1,FNR_{i})$$两点的直线所交得的y值最小曲线，第二种方法是根据定义模拟拟合代价曲线，横轴为取值为[0,1]的正例率概率代价： $$P(+)cost=\frac {p·cost_{01}} {p·cost_{01}+(1-p)·cost_{10}}$$，纵坐标为取值为[0,1]的归一化代价： $$cost_{norm}=FNR·P(+)cost+FPR·(1-P(+)cost)=\frac {FNR·p·cost_{01}+FPR·(1-p)·cost_{10}} {p·cost_{01}+(1-p)·cost_{10}}$$；代价曲线围成的面积同上诉AUC的求法，计算梯形和的面积表示曲线下的面积： $$ 期望总体代价=\frac 1 2 \sum_{\mathclap{1\le i\le m-1}} (x_{i+1}-x_{i})·(y_{i+1}+y_{i}) $$ 最终得到如下效果图：

Code：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58


import numpy as np
from matplotlib.font_manager import FontProperties
import matplotlib.pyplot as plt

#0-坏瓜 1-好瓜
Data=np.round(np.random.uniform(0,1,1000)).tolist()
Probability=np.random.uniform(0,1,1000).tolist()
西瓜=list(zip(Data, Probability))
西瓜=sorted(西瓜,key=lambda x:x[1],reverse=True)
P=[]
R=[]
TPR=[]
FPR=[]
FNR=[]
for 好瓜 in range(1,1000):
 TP = 0
 FP=0
 TN=0
 FN = 0
 for idx in range(0,好瓜):
 if 西瓜[idx][0] == 1:
 TP=TP+1
 else:
 FP=FP+1
 for idx in range(好瓜,1000):
 if 西瓜[idx][0]==0:
 TN = TN + 1
 else:
 FN=FN+1
 P.append(TP/(TP+FP) if TP+FP!=0 else TP/(TP+FP+1))
 R.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 TPR.append(TP/(TP+FN) if TP+FN!=0 else TP/(TP+FN+1))
 FPR.append(FP/(TN+FP) if TN+FP!=0 else FP/(TN+FP+1))
 FNR.append(1-TPR[-1])
font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
plt.xlabel('正例率代价', fontproperties=font)
plt.ylabel('归一化代价', fontproperties=font)
plt.title('代价曲线与期望总体代价', fontproperties=font)
for idx in range(len(FNR)):
 k=(FNR[idx]-FPR[idx])/(1-0)
 b=FPR[idx]
 x=np.arange(0,1.1,0.1)
 y=k*x+b
 plt.plot(x,y,color='blue')
pCost=[]
costNorm=[]
for x in np.arange(0,1,0.01):
 pCost.append(x)
 ymin=1
 for idx in range(len(FNR)):
 ymin=min(ymin,FNR[idx]*x+FPR[idx]*(1-x))
 costNorm.append(ymin)
plt.plot(pCost,costNorm,color='red')
plt.show()
期望总体代价=0
for idx in range(1,len(pCost)):
 期望总体代价=期望总体代价+(pCost[idx]-pCost[idx-1])*(costNorm[idx]+costNorm[idx-1])/2
print('期望总体代价=',期望总体代价)

补充

上述过程使用随机算法进行分类，故所绘制的曲线与书本中的情形有些许差距。为检验算法实现的正确性，可设置分类器全部预测正确的情况，即当概率为0~0.5区间时预测为坏瓜否则为好瓜，判断最终的曲线是否为直角线段即可。

Git学习——指令集合

Sat, 22 Apr 2023 00:00:00 +0000

码云添加公钥

ssh-keygen -t rsa -C “1533230447@qq.com” 然后三次回车后查看复制.pub内容添加到码云的个人ssh公钥上

添加整个文件夹及内容

1

git add 文件夹/

添加目录中所有某种类型的文件

1
2
3
4


git add *.文件类型
git add -A 提交所有变化
git add -u 提交被修改(modified)和被删除(deleted)文件，不包括新文件(new)
git add . 提交新文件(new)和被修改(modified)文件，不包括被删除(deleted)文件

设置less的编码

1

export LESSCHARSET=utf-8

设置提交信息的编码

1

git config --global i18n.logoutputencoding utf-8

设置输出 log 的编码

1

git config --global i18n.commit.encoding utf-8

组成：工作区、版本库(仓库)【暂存区、分支】一个修改需要跟着一个提交 master为主分支，用于发布新版本 dev为开发分支，平时在此分支开发新版本，当开发完成时，合并到master分支发布个人分支，成员在各自分支开发，时不时合并到dev分支合并策略是，本地分支合并完成后，再push到远程库上

配置用户名及邮箱

1
2


git config --global user.name "user_name"
git config --global user.email "user_email"

创建版本库：

git init——将目录变为git库

git库中添加文件：

1
2
3


git add file_name #向暂存区发送添加修改，未被添加的文件为untracked文件
git commit -m "msgxxx" #将修改提交到git库中
git log --graph --pretty=oneline --abbrev-commit #列出最近到最远的提交日志

当前分支的当前版本回退之前版本：

1
2
3
4
5


git reset --hard HEAD^n #n表示前几个版本
git reset --hard <commit id> #回退到commit id对应版本，可前可后
git reflog：记录所有有效的修改和提交信息
git status：查看工作区的状态
git diff HEAD -- file_name #查看工作区文件和版本库最新版本的区别

git库撤销修改：

1
2


git checkout -- file_name #丢弃对工作区中file_name的修改：1、已修改但未传到暂存区，则回退到版本库最新版本 2、已修改并传到暂存区但未提交，则回退到进暂存区时状态
git reset HEAD file_name #撤销暂存区修改，并重放回工作区，只是撤销提交的修改

git库删除文件：

1
2


git rm [opts] file_name #作出版本库中删除文件的修改，修改命令存入暂存区，-f参数强制删除
git commit -m 'msgxxx' #将删除文件的修改命令提交给git库

git库恢复文件

1
2


git checkout commit_id file_name #从git库中恢复工作区的文件
git reset --hard commit_id #注意这是回退版本，同时会将git库中的版本回退

添加远程库

1

git remote add orign_name git@github.com:name/filename.git #添加远程库到本地

查看已关联的远程库

1

git remote [opts] #-v可查看详细信息

向远程库推送修改

1

git push -u orign_name 分支名 #向远程库的某个分支推送修改，-u表示本地分支与远程库分支建立关联，第一次推送时使用，若失败，需先git pull抓取最新更新，并且解决冲突后再push

克隆远程库（用于多人协作）

1

git clone git@github.com:name/filename.git #git前缀更快，https更慢，默认只克隆master分支，并将整个文件夹克隆下来，但查看所有分支时可以看到远程库的其他分支

切换并创建远程库分支

1

git checkout -b 分支名 origin_name/分支名 #创建本地分支与远程库已有分支关联

抓取远程库当前分支的最新提交

1

git pull #当提示no tracking information时，需先建立本地分支与远程库分支的关联

建立远程库分支与本地分支的关联

1

git branch --set-upstream-to=origin_name/分支名 分支名

推送标签到远程库

1

git push orign_name 标签名

推送所有标签到远程库

1

git push orign_name --tags

删除远程库标签

1

git push orign_name :refs/tags/标签名

删除远程分支

1

git push origin_name -d 分支名

删除远程库

1

git remote rm origin_name

查看包括远程库的所有分支

1

git branch -a

创建分支

1
2


git checkout [opts] 分支名 #-b可以同时切换分支
git branch 分支名 #创建分支不切换

切换分支

1

git switch [opts] 分支名 #-c表示创建分支

合并分支

1

git merge 分支名 #是将其他分支多出来的提交合并到当前分支

删除分支

1

git branch -d 分支名

查询分支

1

git branch

解决冲突先手动解决冲突，再提交，合并完成

非快速合并

1

git merge --no-ff -m "msgxxx" 分支名 #不是直接变更指向，而是分支合并后再加上一个非快速合并的提交，提交内容还是最新的合并版本

保留工作现场

1

git stash #注意保留工作现场，但不保留暂存区中的add修改

查看保留现场

1

git stash list

还原工作现场

1
2


git stash apply #恢复，但不删除stash内容
git stash pop #恢复后删除stash内容

删除工作现场

1

git stash drop

复制提交到当前分支

1

git cherry-pick commit-id #注意复制提交到分支，也是需要符合合并规则才行，即复制提交不能有相对当前分支有跳跃部分

强删分支

1

git branch -D 分支名 #还未合并的分支，只能强行删除

整理未push的分叉提交历史为直线

1

git rebase #缺点是会移动本地分叉提交的位置

合并分支策略：

1、快速合并（Fast forward）

1

git merge -m "msg" 分支名 #此模式下，删除某一分支时，会丢掉与之快速合并的其他分支的信息

2、非快速合并（no Fast forward）

1

git merge --no-ff -m "msg" 分支名 #合并时，会生成新的commit提交，这样删除分支不会有影响，非快速合并就相当于新生成一个和待合并分支最后一次相同的commit提交，然后再与待合并分支连线。

※开发时用非快速合并，即在dev分支上非快速合并我们个人分支，有冲突时解决冲突后合并。

强行加入忽略文件

1

git add -f 文件名

查看文件忽略的设置信息

1

git check-ignore -v 文件名

配置别名

1、git config --global alias.别名原配置名 git lg高亮特效：git config --global alias.lg "log --color --graph --pretty=format:'%Cred%h%Creset -%C(yellow)%d%Creset %s %Cgreen(%cr) %C(bold blue)<%an>%Creset' --abbrev-commit" 2、通过配置文件修改，配置文件在.git/config文件中

基础网页布局到设计练习1

Wed, 14 Dec 2022 00:00:00 +0000

前言

由于选修了Bootstrap前端课程，就又开始了前端之旅，和之前的老师不同，这门课的老师讲授方式和技术水平都很不错，也算是学会了一些基础的网页设计理念，在此记录。

练习内容

模仿实现下面的网页效果图

实现步骤

建立整体框架 稍微细心留意下，可发现该页面可大致分为4部分：页头、导航栏、文章内容、页尾，如下示意图。 进一步细化整体框架的内部框架，如下图所示。 填充框架内容，注意父子元素之间的宽度和高度的传递，实现得到下图。

小结

虽然之前也有过类似做法设计网页，但是并未如同老师教授的那样严格执行，导致最终网页的整体结构混乱。完成上诉效果图的过程中，也碰到很多问题，除了一些常见的问题之外，这次用上了Bootstarp库中的元素完成轮播图，但是调用的时候发现css文件默认修改了好多元素的属性值，导致布局混乱。对于页头，使用css实现了下拉栏的效果。需要改进的地方有很多，比如图标可以使用矢量图，可以进一步实现成响应式页面，实现作品展示的阴影效果等等。此练习暂时告一段落，有机会会继续更新改进版。

c++对拍程序（bat文件版）

Thu, 15 Sep 2022 00:00:00 +0000

昨天碰到一道题目，样例过了，但是一交就wa，所以就想着能不能找出错的测试数据，又因为之前一直听说可以用对拍来检测程序正确性，所以昨天就看了别人博客学了下对拍。

接下来介绍下简单的bat文件对拍，~~用c++程序对拍的暂时还不会~~ 。

整体步骤：首先对拍，需要有产生测试数据的程序，暴力方法的程序（或者已ac的程序），需要对拍的程序，先写好这些程序，再分别编译生成可执行的exe文件，然后就是新建一个data.txt（存放测试数据），一个baoli.txt（存储暴力程序输出的数据），一个test.txt（存储对拍程序输出的数据），最后再新建一个dp.bat文件（可以关闭Windows的隐藏文件后缀名选项，然后新建一个txt文件，将后缀改成bat即可），然后在bat文件里面编辑数据输入输出和文件匹配的代码就可以，这个有模板，照着套就行。最后将所有文件和bat文件放在同一个的位置，双击bat文件运行对拍程序。

简单的产生测试数据的程序（以hdu4135示例)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


#include<ctime>//两个随机数
#include<cstdlib>//必要头文件
#include<cstdio>
#define pr1(X) printf("%d\n",X)
#define pr2(X,Y) printf("%d %d\n",X,Y)
#define pr3(X,Y,Z) printf("%d %d %d\n",X,Y,Z)
#define pr4(X) printf("%lld\n",X)
#define pr5(X,Y) printf("%lld %lld\n",X,Y)
#define pr6(X,Y,Z) printf("%lld %lld %lld\n",X,Y,Z)
#define REP1(i,X) for(int i=0;i<X;i++)
#define MAXN 1000
using namespace std;

typedef long long ll;
long long random1(long long n){
 return (long long)rand()*rand()%n;
}
int random2(int a,int b){
 return (long long)rand()*rand()%(b-a+1)+a;//QuJian
}
double random3(int n){
 return (rand()%n)/10;//XiaoShu
}

int main(){
 srand((unsigned)time(NULL));
 int t=rand()%100+1;
 pr1(t);
 REP1(i,t){
 ll a=random1(1e15)+1,b,n=1+random1(1e9),temp=random1(1e15);//定义数据范围
 if(a+temp>1e15){
 b=1e15;
 }
 else{
 b=a+temp;
 }
 pr6(a,b,n);//按照手动输入数据的格式运用printf函数
 }
}

（当然还可以写随机生成图，树等数据结构，算法竞赛进阶指南后有此介绍）

然后暴力程序代码和要对拍的程序代码正常写即可，没有什么限制。生成好三个可执行exe文件，再创建好存储输入输入数据的txt文件，再就是建立bat文件。鼠标右键，点击编辑选项，输入下列模板（文件名改成自己的）

1
2
3
4
5
6
7
8
9


@echo off
:loop
 你的生成数据的可执行exe文件的位置\data.exe > data.txt
 你的ac或者暴力的可执行exe文件的位置\ac.exe < data.txt > ac.txt
 你的要对拍的可执行exe文件的位置\test.exe < data.txt > test.txt
 fc ac.txt test.txt
 if not errorlevel 1 goto loop
pause
goto loop

代码简单解释下 @echo off 关闭系统提示信息，不关会让对拍过程很混乱。 :loop 循环执行下面的过程 <,> 输出，输入数据 fc 比较两个文件 if not errorlevel 1 goto loop 如果执行fc后得到返回值为0(两文件相同）则继续进入循环过程否则pause（暂停）最后可以按任意键goto loop继续进入循环。 ctrl c可强制退出循环

对拍过程中比对到答案不同，会暂停对拍，然后data.txt,ac.txt和test.txt存储的就是答案不同的那一系列数据。