Pandas备选方案

简单记录以下, 备忘.

一. 前言

Pandas很强大, 但是也是肉眼可见的性能"不足"在面对"大型"数据集的时候.

import polars as pl

import pandas as pd

import datatable as dt

import dask.dataframe as dd
阅读全文 »

关于Excel图表中误差线的计算问题

一. 问题

构造数据

阅读全文 »

markdown LaTex数学公式速查

一. 前言

LaTex数学公式有两种显示模式:

  • $ \frac{x+1}{1+y^2} $ (无法正常显示)

  • 换行, 这种模式, 多数被支持

    x+11+y2\frac{x+1}{1+y^2}

在Typora上默认不开启单行的支持, 需要手动开启

ppBFAUg.png

markdown下, 勾选inline math, 重启即可.

阅读全文 »

Pandas GUI 操作框架 D-Tale简单使用

一. 前言

为数据处理(提供数据清洗, 计算, 可视化输出等全栈式服务)提供GUI的操作方式是目前python数据处理的一个有趣的方向.

有了代码为什么还需要引入GUI呢? 很简单, 懒...., 并不是希望所有的操作都是基于代码层一步步推进的, 也希望可以通过鼠标简单点击即可完成.

尝试了不少的这些库/框架, 这些库有基于pyqt, 也有基于web的, 但是整体的使用体验都相对较差(各种错误频出).

D-Tale是相对在功能上完整的, 操作逻辑较为明晰, 基于web的框架.

阅读全文 »

PostgreSQL简单使用体验

前言

img

相比于MySQL, 同样作为开源的关系型数据库(RDBMS), PostgreSQL(ORDBMS)的知名度远低于前者(至少在国内是如此). 但是随着MySQL被甲骨文收购(引起开源社区和其他大型存在业务竞争公司的担忧), 以及大数据的兴起, 近年PostgreSQL颇有异军突起的迹象.

阅读全文 »

MySQL-递归-日期

本文作为MySQL使用指南的延申讨论

  • 递归
  • 行列转换
  • 日期/时间处理相关函数

一. 递归

MySQL-Recursive-CTE.png

As mentioned previously, recursive common table expressions (CTEs) are frequently used for series generation and traversing hierarchical or tree-structured data.

阅读全文 »