Pandas备选方案

简单记录以下, 备忘.

一. 前言

Pandas很强大, 但是也是肉眼可见的性能"不足"在面对"大型"数据集的时候.

import polars as pl

import pandas as pd

import datatable as dt

import dask.dataframe as dd
阅读全文 »

关于Excel图表中误差线的计算问题

一. 问题

构造数据

阅读全文 »

markdown LaTex数学公式速查

一. 前言

LaTex数学公式有两种显示模式:

  • $ \frac{x+1}{1+y^2} $ (无法正常显示)

  • 换行, 这种模式, 多数被支持

    x+11+y2\frac{x+1}{1+y^2}

在Typora上默认不开启单行的支持, 需要手动开启

ppBFAUg.png

markdown下, 勾选inline math, 重启即可.

阅读全文 »

Pandas GUI 操作框架 D-Tale简单使用

一. 前言

为数据处理(提供数据清洗, 计算, 可视化输出等全栈式服务)提供GUI的操作方式是目前python数据处理的一个有趣的方向.

有了代码为什么还需要引入GUI呢? 很简单, 懒...., 并不是希望所有的操作都是基于代码层一步步推进的, 也希望可以通过鼠标简单点击即可完成.

尝试了不少的这些库/框架, 这些库有基于pyqt, 也有基于web的, 但是整体的使用体验都相对较差(各种错误频出).

D-Tale是相对在功能上完整的, 操作逻辑较为明晰, 基于web的框架.

阅读全文 »

PostgreSQL简单使用体验

前言

img

相比于MySQL, 同样作为开源的关系型数据库(RDBMS), PostgreSQL(ORDBMS)的知名度远低于前者(至少在国内是如此). 但是随着MySQL被甲骨文收购(引起开源社区和其他大型存在业务竞争公司的担忧), 以及大数据的兴起, 近年PostgreSQL颇有异军突起的迹象.

阅读全文 »

MySQL-递归-日期

本文作为MySQL使用指南的延申讨论

  • 递归
  • 行列转换
  • 日期/时间处理相关函数

一. 递归

MySQL-Recursive-CTE.png

As mentioned previously, recursive common table expressions (CTEs) are frequently used for series generation and traversing hierarchical or tree-structured data.

阅读全文 »

MySQL命令行工具_mycli中文乱码解决

mycli

BlackLivesMatter

We value the diversity of our community. We strive to amplify the voices of the oppressed to eradicate racism and xenophobia. We ask our community to stand together in support of the Black community.

MyCLI is a command line interface for MySQL, MariaDB, and Percona with auto-completion and syntax highlighting.

  • Source: https://github.com/dbcli/mycli
  • Bug tracker: https://github.com/dbcli/mycli/issues
ppExzFJ.png

(注意, 可以直接输入密码)

mycli, 一款支持自动补全代码的命令工具, 支持ssh, 以及更多细节的优化, 如大量结果不会一次全部返回, 危险操作提示等.

阅读全文 »