RexZhang.com

Mac/Debian 环境配置 PostgreSQL/PostGIS/GeoDjango

2015-10-23T08:49:54+08:00

PostgreSQL Debian 安装

postgres 有官方提供的源 https://www.postgresql.org/download/linux/debian/。以 Debian 7 为例，在 /etc/apt/source.list 文件中添加

deb http://apt.postgresql.org/pub/repos/apt/ wheezy-pgdg main

安装

aptitude install postgresql

aptitude install python-dev
aptitude install libpq-dev

修改配置允许非 localhost 访问 postgresql.conf

listen_addresses = 'localhost, 10.10.167.94'

pg_hba.conf

host     all     postgres     10.10.0.1/16     md5

PostgreSQL Mac 安装

推荐使用 HomeBrew 和 postgresapp(整合了 PostGIS)

可以由 postgresapp 替代的部分

brew install postgresql
brew install postgis

或者直接安装 postgresapp

brew cask install postgres

PostGIS Debian 安装

aptitude install postgis
aptitude install binutils libproj-dev gdal-bin

PostGIS Mac 安装

brew install gdal
brew install libgeoip

验证 PostGIS 安装，执行

select * from pg_available_extensions where name like 'postgis%';

将看到三条返回，包含名称、版本、描述

postgis
postgis_tiger_geocoder
postgis_topology

创建 postgres 用户

切换到 postgres 用户

root@rex-jp1:~# su postgres

然后创建一个新用户

postgres@rex-jp1:~$ createuser --interactive

修改/添加用户密码

修改当前用户的密码的方法很简单，只需要 su 到对应账号下，然后执行 psql，然后使用如下命令即可

\password

或者在 postgres 用户下的 psql 内

postgres-# \password username

创建账号同时设置密码，详见 http://www.postgresql.org/docs/current/static/sql-createrole.html

CREATE ROLE username WITH LOGIN CREATEDB PASSWORD 'password';

安装 psycopg2 Mac 下需要添加设置到 ~/.bash_porfile 以解决本地编译时无法找到相关头文件问题

export PATH=$PATH:/Applications/Postgres.app/Contents/Versions/lastest/bin

因为 pip 本地缓存的原因，如果升级 PostgreSQL 可能因为包内 lib/python2.7/site-packages/psycopg2/_psycopg.so 文件没有更新导致的 import 错误，可以通过强制不使用本地缓冲的方式重新生成

pip uninstall psycopg2
pip install -U psycopg2 --no-cache-dir

未完待续。。。

在 python 类范围内使用装饰符

2014-11-17T02:28:27+08:00

装饰符函数的传入变量为：使用装饰符的函数（目标函数）。其本质是：在调用目标函数之前，插入调用装饰符函数，然后由装饰符函数调用目标函数。

使用的优势：

剥离高度重复，同时又需要共享变量（一般是局部变量，如果扩展变量作用域会引发更多麻烦）的代码
便于函数扩展行为切换
将一些通用行为（代码片段）做成装饰符方便使用和在需求发生变化时随时移除

网上装饰符的文章很多，但是在类范围内使用的很少；所以范例代码如下：

class dater(object):
    """"""
    def __init__(self, year=None, month=None, day=None):
        """Constructor"""
        if year == None and month == None and day == None:
            self.SetToday()
        return

    def get_self_date(func):
        """@"""
        def __call__(self, year=None, month=None, day=None):
            if year == None and month == None and day == None: #使用此装饰符的函数不用重复写相同代码来做输入参数判断和赋值
                year = self.year
                month = self.month
                day = self.day

            return func(self, year, month, day) #执行完装饰符函数后执行目标函数
        return __call__

    def set_date(func):
        """@"""
        def __call__(self):
            func(self) #先执行使用装饰符的函数内容，然后再执行装饰符函数内代码
            self.year = self.date.year
            self.month = self.date.month
            self.day = self.date.day
            self.week = self.date.isocalendar()[1]

            return
        return __call__

    def SetToday(self):
        """"""
        day = datetime.datetime.today()

        self.year = day.year
        self.month = day.month
        self.day = day.day
        return

    @set_date
    def SetYesterday(self):
        """"""
        self.date = datetime.datetime.today()
        self.date += datetime.timedelta(days=-1)
        return

    def SetDay(self, year, month, day):
        """"""
        self.year = year
        self.month = month
        self.day = day
        return

    def SetYday(self, year, yday):
        """"""
        day = datetime.datetime(year, 1, 1)
        day += datetime.timedelta(days=yday-1)

        self.year = day.year
        self.month = day.month
        self.day = day.day
        return

    @set_date
    def SetLastWeek(self):
        """"""
        self.date = datetime.datetime.today()
        self.date += datetime.timedelta(weeks=-1)
        return

    @set_date
    def SetLastMonth(self):
        """"""
        date = datetime.datetime.today()
        year = date.year

        month = date.month
        if month == 1:
            year -= 1
            month = 1
        else:
            month -= 1

        day = 1

        self.date = datetime.datetime(year, month, day)
        return

    @get_self_date
    def GetDetail(self, year, month, day):
        """"""
        dt = datetime.datetime(year, month, day)
        tt = dt.timetuple()

        date = {
            'year': tt[0],
            'yday': tt[7],
            'month': tt[1],
            'mday': tt[2],
            'week': dt.isocalendar()[1],
            'wday': dt.isocalendar()[2],
        }
        return date

Convert between python datetime and unix timestamp

2014-11-11T02:35:08+08:00

代码

import datetime, calendar, time

def timestamp2datetime(timestamp):
    return datetime.datetime.fromtimestamp(timestamp)

def date2timestamp(date):
    """local time"""
    return calendar.timegm(date.timetuple())

def date2timestamp_utc(date):
    """utc time"""
    return int(time.mktime(date.timetuple()))

def datetime2timestamp(year, month, day):
    return calendar.timegm(datetime.datetime(year, month, day).timetuple())

def time2timestamp(python_time):
    return int(python_time)

year = 2014
month = 10
day = 23
timestamp = datetime2timestamp(year, month, day)
print timestamp

today = datetime.datetime.today()
timestamp = date2timestamp(today)
print timestamp
timestamp = date2timestamp_utc(today)
print timestamp

date = timestamp2datetime(timestamp)
print date

timestamp = time2timestamp(time.time())
print timestamp

输出

1414022400
local timestamp: 1422462994
utc timestamp: 1422434194
2015-01-28 16:36:34
1422434194

另外， unix timestamp -> python 还有 datetime.utcfromtimestamp() date.fromtimestamp() 函数可用

参考

Update

20141215 增加 time2timestamp()
20150128 增加 datetime -> utc timestamp

一个简洁的基于 namedtuple 的 Python 枚举实现

2014-10-30T02:04:45+08:00

查找比对的时候是数值类型，性能还是很不错的

from collections import namedtuple

def MakeEnum(enumList):
    return namedtuple('Enum', enumList)._make(range(len(enumList)))

USER_AT = MakeEnum(['noLogined', 'logined', 'hall', 'room'])


print USER_AT, type(USER_AT)

print USER_AT.noLogined, type(USER_AT.noLogined)

print USER_AT._fields[USER_AT.noLogined], type(USER_AT._fields[USER_AT.noLogined])

输出为

Enum(noLogined=0, logined=1, hall=2, room=3) <class '__main__.Enum'>
0 <type 'int'>
noLogined <type 'str'>

参考

Python map class/类结构体相互转换

2014-10-17T01:18:01+08:00

#!/usr/bin/env python
#coding=utf-8

#----------------------------------------------------------------------
def obj2map(obj):
    """"""
    return vars(obj)

########################################################################
class obj:
    def __init__(self):
        self.a = 1
        self.b = 2

########################################################################
class map2struct:
    def __init__(self, **entries):
        self.__dict__.update(entries)

o = obj()

print '~~~~~~~~~~~~~~ obj -> map ~~~~~~~~~~~~~~'
m = vars(o)
print type(m), m

print '~~~~~~~~~~~~~~ map -> obj ~~~~~~~~~~~~~~'
o2 = map2struct(**m)
print type(o2), o2
print o2.a, o2.b

print '~~~~~~~~~~~~~~ map -maker-> obj ~~~~~~~~~~~~~~'
from collections import namedtuple
sMaker = namedtuple('structMaker', 'a b c')
print sMaker

s = sMaker(a=1, b={'b': 2}, c=['c', 3])
print s
print s.a
print s.b
print s.c

输出内容

~~~~~~~~~~~~~~ obj -> map ~~~~~~~~~~~~~~
<type 'dict'> {'a': 1, 'b': 2}
~~~~~~~~~~~~~~ map -> obj ~~~~~~~~~~~~~~
<type 'instance'> <__main__.map2struct instance at 0x10f0c07e8>
1 2
~~~~~~~~~~~~~~ map -maker-> obj ~~~~~~~~~~~~~~
<class '__main__.structMaker'>
structMaker(a=1, b={'b': 2}, c=['c', 3])
1
{'b': 2}
['c', 3]

Debian 使用 backports 机制在 stable 发布中安装 testing 发布中软件

2014-10-16T22:22:08+08:00

当前 Debian V7.6 内置的 mongodb 未 v2.4 版本， v2.6 有一个很不错的 Aggregation Pipeline 特性。如果想使用 Debian 自己的包管理仓库就需要使用 backports 机制使用 testing 中的包 (mongodb v2.6),方法如下

首先在 /etc/apt/sources.list 添加

deb http://mirrors.163.com/debian wheezy-backports main contrib non-free
deb-src http://mirrors.163.com/debian wheezy-backports main contrib non-free

然后执行

sudo aptitude update

这个时候如果直接使用普通的安装命令依然会安装 v2.4

#aptitude show mongodb
Package: mongodb
State: installed
Automatically installed: no
Version: 1:2.4.8-2~bpo70+1

使用如下命令即可

aptitude -t wheezy-backports install mongodb

另外， mongodb 官方也有一个办法，就是添加 mongodb 自己的源。具体见这里参考链接

https://www.debian.org/distrib/packages

使用 apache2 作为 svn 仓库的访问接口

2014-06-25T07:34:07+08:00

安装 apache 的 svn 支持

aptitude install libapache2-svn

svn.apache.conf 配置文件内容

<Location /svnroot>
  DAV svn
  SVNParentPath /home/rex/svnroot

  # Authentication: Basic
  AuthName "Subversion repository"
  AuthType Basic
  AuthBasicProvider file
  AuthUserFile /home/rex/trac.htpasswd

  # Authorization: Authenticated users only
  Require valid-user

  # Authorization: Path-based access control; authenticated users only
#  AuthzSVNAccessFile /path/to/access/file
</Location>

重启 apache 后即可通过 dev.sample.com/svnroot/repos1 访问 svn 仓库

virtualbox 4.3.10用Mac OSX做宿主Linux做客户机时无法装载共享文件夹问题的修复

2014-05-15T19:43:52+08:00

virtualbox 4.3.10 用 Mac OSX 做宿主 Linux 做客户机时无法装载共享文件夹，提示如下

mount: wrong fs type, bad option, bad superblock on hunterServer,
       missing codepage or helper program, or other error
       (for several filesystems (e.g. nfs, cifs) you might
       need a /sbin/mount.<type> helper program)
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

原因是这个版本的 Extension Pack 在安装遗漏了一个符号链接，修复命令如下

sudo ln -s /opt/VBoxGuestAdditions-4.3.10/lib/VBoxGuestAdditions /usr/lib/VBoxGuestAdditions

修复后重启虚拟机即可

另，挂载共享文件夹的命令如下，其中共享文件夹的名字为 shareDir

sudo mount -t vboxsf -o gid=1000,uid=1000 shareDir /mnt/shareDir/

BTW:这个版本已经支持共享名与目标名相同，前提是目标目录在书写时需要加上“/”符号结尾

另2，在客户机中也可以通过 /media/sf_* 访问共享文件夹（前提是：讲共享文件夹设置为自动挂载）,不过权限很麻烦，只能使用 root 帐号访问

Ref

官方论坛和 Bug 跟踪系统的相关信息
- https://forums.virtualbox.org/viewtopic.php?f=9&t=25295
- https://www.virtualbox.org/ticket/12879
mount 挂载到指定用户的方法
- http://superuser.com/questions/320415/linux-mount-device-with-specific-user-rights

golang 使用 cgo 调用没有链接文件的动态链接库

2014-05-08T00:41:31+08:00

获得符号表的方法

nm libfoo.so

演示工程目录结构

~/projectRoot
    bin
        libfoo.so
    script
        build.sh
    src
        libfoogo
            libforgo.go
        libfoogo_test
            main.go

构建脚本 build.sh

#!/bin/bash
cd ../bin

export GOPATH=~/projectRoot
go build libfoogo_test

cd ../script

使用cgo 接口做的库访问代码 libfoogo.go

package libfoogo

//Go 语言中的 C 代码片段需要用 /* */ 注释框起来以便编译器知道
/*
#include <stdio .h>
#include <stdlib .h>
#include <dlfcn .h>
#include <errno .h>

#cgo LDFLAGS: -ldl //告知编译器链接 dlopen()要用到的库

int (* funGet100k)(int i);

void initDll() {
    void *handle;
    handle = dlopen("./libfoogo.so", RTLD_NOW);//RTLD_LAZY);//装载动态链接库
    if (!handle) {
        printf("!ERROR! dlopen error %d %s\n", errno, dlerror());//dlerror() 函数很有用，出现错误会有文字错误信息返回
        return;
        }
    funGet100k = dlsym(handle, "_ZN9RandomApi8Get_100kEj");//根据符号表信息获得动态链接库中函数的调用接口
    if (funGet100k == 0){
        printf("!ERROR! get null\n");
    }
    printf("init dll ok\n");
    return;
}

int Get100k(int i) {
    return funGet100k(i);
}

*/
import "C"

//封装，供外部使用
//这里要注意数据类型的转换
func
Get100k(n int) int
{
    r: = C.Get100k(C.int(n)) return int(r)
}

测试用工程的代码 main.go

package main

import (
    "fmt"
    "libfoogo"
)

func main() {
    var data [101]int
    for i := 1; i < 1000; i++ {
        r := librandomgo.Get100k(100)//调用范例
        data[r] += 1
    }

    fmt.Println("------------------")
    for i := 0; i < 100; i++ {
        fmt.Println(i, ":", data[i])
    }
}

另外官方推荐的还有一种渠道是用 SWIG

参考

cgo 相关资料

dlopen() 相关资料

Go 调用 SQLite 的（官方推荐）范例，没有使用 dlopen() - https://code.google.com/p/gosqlite/source/browse/sqlite/sqlite.go

使用PyInstaller生成便于分发的单一可执行程序，并且添加Windows UAC权限支持

2014-03-18T01:11:41+08:00

很多时候用 Python 写的小工具需要打包成一个可执行文件交给使用者，比如：

使用者没有安装 Python 或者第三方库环境
为了便于维护，代码被分割成多个 .py 文件；打包传递的时候相当麻烦

因为这个问题自然也孕育出了多个实现的方案:

py2exe 是早期很流行的一个打包工具，只能生成 Windows 下的可执行程序，2008年开始停止更新；项目网址:py2exe@SF.net
py2app 一个生成 Mac OS X 可执行程序的打包工具
cx_Freeze 支持 Windows、Mac OS X、Linux; 支持 Py2 Py3；特色是可以生成安装包，没用过；以后可以试试
PyInstaller 今天的主角，跨平台、支持第三方库比较完善，文档丰富；缺点是官方只支持到 Py27

安装很简单，唯一要注意的是其在 Windows 下工作时依赖于 pywin32 这个项目。同时，如果要支持 Windows UAC 权限暂时测试成功的只有添加 *.manifest 文件这个办法

首次使用是可以用使用命令行工具自动生成一个配置文件，其中 launcher2.py 是这个工程的入口程序

pyinstaller --onefile --noconsole launcher2.py

随后 pyinstaller 会自动生成一个名为 launcher2.spec 的配置文件

工程目录结构

root-+-res-+-p1.png
     |     +-p2.png
     +-launcher2.py    #工程入口程序
     +-launcher2.spec  #pyinstaller配置文件
     +-launcher2.exe.manifest #UAC配置文件

手工配置 launcher2.spec 文件，内容如下

# -*- mode: python -*-
a = Analysis(['launcher2.py'],
             pathex=['.'],
             hiddenimports=[],
             hookspath=None,
             runtime_hooks=None)
pyz = PYZ(a.pure)
exe = EXE(pyz,
          a.scripts,
          a.binaries,
          a.zipfiles,
          a.datas,
          name='launcher.exe', #指定可执行程序文件名，可以与工程相关名字不同
          debug=False,
          strip=None,
          upx=True, #对生产的可执行文件压缩，不压缩实在太大
          manifest='launcher2.exe.manifest',
          icon='../../res/icons/client48.ico', #指定可执行程序图标
          console=False )

coll = COLLECT(
          exe,
          Tree('res', prefix='res'), #指定同时整合的资源性文件夹
          name='release',
          )

添加 launcher2.exe.manifest 文件，内容如下

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<assembly manifestVersion="1.0" xmlns="urn:schemas-microsoft-com:asm.v1">
  <assemblyIdentity name="launcher" processorArchitecture="x86" type="win32" version="1.0.0.0"/>
  <dependency>
    <dependentAssembly>
      <assemblyIdentity name="Microsoft.VC90.CRT" processorArchitecture="x86" publicKeyToken="1fc8b3b9a1e18e3b" type="win32" version="9.0.21022.8"/>
    </dependentAssembly>
  </dependency>
  <dependency>
    <dependentAssembly>
      <assemblyIdentity language="*" name="Microsoft.Windows.Common-Controls" processorArchitecture="x86" publicKeyToken="6595b64144ccf1df" type="win32" version="6.0.0.0"/>
    </dependentAssembly>
  </dependency>

    <!-- Identify the app security requirements. -->
    <trustInfo xmlns="urn:schemas-microsoft-com:asm.v2">
        <security>
            <requestedPrivileges>
                <requestedExecutionLevel level="requireAdministrator" uiAccess="false"/>
            </requestedPrivileges>
        </security>
    </trustInfo>
</assembly>

一切配置妥当后可以通过执行如下命令来自动生成可执行程序

pyinstaller --noconfirm launcher2.spec

最后，生成的目标文件在 distrelease 目录；目录结构如下

root-+-res-+-p1.png
     |     +-p2.png
     +-launcher.exe
     +-launcher2.exe.manifest

说说这类打包工具的缺陷

当前版本的 pyinstaller UAC 不支持 Python AMD64 版本；只支持 win32 版本
体积偏大，在实现非常简单功能的时候体积与功能严重不匹配（好处是：自带工作环境，避免与系统不同版本协同工作时的不兼容性）
工作原理类似很多病毒，在运行前会脱壳，将执行代码解出，然后再执行。很多安全软件都会对此行为告警
真实的执行文件所在路径与打包的 .exe 文件不在同一个目录，如果程序有依赖相关路径判断可能会导致错误

参考链接