LayerMapping 数据导入工具 — Django 文档
LayerMapping 数据导入实用程序
LayerMapping 类提供了一种映射矢量空间数据文件(例如 shapefiles) 到 GeoDjango 模型中。
该实用程序源于作者的个人需要,以消除将几何图形和场从矢量图层中提取出来的代码重复,转换为另一个坐标系(例如 WGS84),然后插入到 GeoDjango 模型中。
警告
GIS 数据源(如 shapefile)可能非常大。 如果您发现 LayerMapping 使用过多内存,请在您的设置中将 :setting:`DEBUG` 设置为 False
。 当 :setting:`DEBUG` 设置为 True
时,Django 自动记录 every SQL 查询 – 当 SQL 语句包含几何时,这可能会消耗比典型情况更多的内存。
示例
你需要一个 GDAL 支持的数据源,比如 shapefile(这里我们使用一个简单的多边形 shapefile,
test_poly.shp
,具有三个特征):>>> from django.contrib.gis.gdal import DataSource >>> ds = DataSource('test_poly.shp') >>> layer = ds[0] >>> print(layer.fields) # Exploring the fields in the layer, we only want the 'str' field. ['float', 'int', 'str'] >>> print(len(layer)) # getting the number of features in the layer (should be 3) 3 >>> print(layer.geom_type) # Should be 'Polygon' Polygon >>> print(layer.srs) # WGS84 in WKT GEOGCS["GCS_WGS_1984", DATUM["WGS_1984", SPHEROID["WGS_1984",6378137,298.257223563]], PRIMEM["Greenwich",0], UNIT["Degree",0.017453292519943295]]
现在我们定义我们对应的 Django 模型(确保使用 :djadmin:`migrate`):
from django.contrib.gis.db import models class TestGeo(models.Model): name = models.CharField(max_length=25) # corresponds to the 'str' field poly = models.PolygonField(srid=4269) # we want our model in a different SRID def __str__(self): return 'Name: %s' % self.name
使用 LayerMapping 提取所有特征并放入数据库中:
>>> from django.contrib.gis.utils import LayerMapping >>> from geoapp.models import TestGeo >>> mapping = {'name' : 'str', # The 'name' model field maps to the 'str' layer field. 'poly' : 'POLYGON', # For geometry fields use OGC name. } # The mapping is a dictionary >>> lm = LayerMapping(TestGeo, 'test_poly.shp', mapping) >>> lm.save(verbose=True) # Save the layermap, imports the data. Saved: Name: 1 Saved: Name: 2 Saved: Name: 3
这里,LayerMapping 将三个几何图形从原始空间参考系统 (WGS84) 中的 shapefile 转换为 GeoDjango 模型 (NAD83) 的空间参考系统。 如果没有为图层定义空间参考系统,请使用 source_srs
关键字和 SpatialReference 对象来指定一个。
LayerMapping API
- class LayerMapping(model, data_source, mapping, layer=0, source_srs=None, encoding=None, transaction_mode='commit_on_success', transform=True, unique=True, using='default')
以下是在 LayerMapping
对象的实例化过程中可能使用的参数和关键字。
论据 | 说明 |
---|---|
model
|
地理模型, 不是 一个实例。 |
data_source
|
OGR 支持的数据源文件(例如,shapefile)的路径。 还接受 django.contrib.gis.gdal.DataSource 实例。 |
mapping
|
字典:键是对应于模型字段的字符串,值对应于 OGR 特征的字符串字段名称,或者如果模型字段是地理那么它应该对应于 OGR 几何类型,例如,'POINT' , 'LINESTRING' , 'POLYGON' 。
|
关键字参数 | |
---|---|
layer
|
数据源中要使用的图层的索引(默认为 0) |
source_srs
|
使用它来手动指定源 SRS(例如,某些 shapefile 不附带 '.prj' 文件)。 接受整数 SRID、WKT 或 PROJ 字符串和 django.contrib.gis.gdal.SpatialReference 对象。
|
encoding
|
指定 OGR 数据源中字符串的字符集编码。 例如,'latin-1' 、'utf-8' 、'cp437' 都是有效的编码参数。
|
transaction_mode
|
可能是 'commit_on_success' (默认)或 'autocommit' 。
|
transform
|
将此设置为 False 将禁用坐标变换。 换句话说,几何图形将被插入到数据库中,而不是从其在数据源中的原始状态进行修改。 |
unique
|
将此设置为给定模型的名称或名称元组将创建仅对给定名称唯一的模型。 每个特征的几何图形将被添加到与唯一模型相关的集合中。 强制交易模式为 'autocommit' 。
|
using
|
设置导入空间数据时使用的数据库。 默认值为 'default' 。
|
3.2 版更改: 添加了对 pathlib.Path
data_source
的支持。
save() 关键字参数
- LayerMapping.save(verbose=False, fid_range=False, step=False, progress=False, silent=False, stream=sys.stdout, strict=False)
save()
方法也接受关键字。 这些关键字用于控制输出日志记录、错误处理和导入特定功能范围。
保存关键字参数 | 说明 |
---|---|
fid_range
|
可以设置一个切片或元组(开始,结束)要从数据源映射的特征 ID。 换言之,该关键字使用户能够有选择地导入地理数据源中的要素子集范围。 |
progress
|
设置此关键字后,将打印状态信息,提供已处理和成功保存的功能数量。 默认情况下,每处理 1000 个特征就会打印一次进度信息,但是,可以通过将此关键字设置为所需间隔的整数来覆盖此默认值。 |
silent
|
默认情况下,非致命错误通知会打印到 sys.stdout ,但可以设置此关键字以禁用这些通知。
|
step
|
如果设置为整数,事务将在每一步间隔发生。 例如,如果 step=1000 ,提交将在第 1,000 个特征、第 2,000 个特征等之后发生。
|
stream
|
状态信息将写入此文件句柄。 默认使用 sys.stdout ,但支持任何具有 write 方法的对象。
|
strict
|
模型映射的执行将在遇到第一个错误时停止。 默认值 (False ) 行为是尝试继续。
|
verbose
|
如果设置,信息将在数据库上执行的每个模型保存之后打印。 |
故障排除
内存不足
如本节顶部的警告所述,Django 在 DEBUG=True
时存储所有 SQL 查询。 在您的设置中设置 DEBUG=False
,这应该会在运行 LayerMapping
脚本时停止过度使用内存。
MySQL:max_allowed_packet 错误
如果在使用LayerMapping
和MySQL时遇到如下错误:
OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes")
那么解决办法就是在你的 MySQL 配置中增加 max_allowed_packet
设置的值。 例如,默认值可能低至 1 兆字节 - 可以在 MySQL 的配置文件 (my.cnf
) 的 [mysqld]
部分修改设置:
max_allowed_packet = 10M