golang操作sqlite时database is locked 的坑以及rows.Close()_go database is locked-程序员宅基地

技术标签: sqlite  golang  

在最近的一个程序中,使用的是sqlite数据库。涉及到多线程对数据库的读写。因为sqlite本身有五个锁状态:unlocked,shared,reserved,pending,exclusive。每个事务都必须获得相应的锁才可以进行读写操作,所以一开始我自己的程序中是没有加任何锁的。具体sqlite的各种锁状态的知识百度一下就会很多很多。

我的源代码时使用golang编写的,使用了第三方的sqlite包github.com/mattn/go-sqlite3,但是并没有导入这个包,只是import _"github.com/mattn/go-sqlite3",调用了包里的初始化函数,实现了database/sql包里的相关接口,具体对于数据库的操作还是使用的是sql包中的DB对象进行操作。

但是当代码跑起来的时候,在进行写数据库操作的时候却报了这样的一个错:error:database is locked。上网查了一下当事务进行并发写操作的时候,是有可能产生死锁的,一开始还以为是死锁造成的,就在代码中在应用层对所有的事务都加了锁,但是令人崩溃的是依旧报错。

到最后我索性把数据库所有的读写操作全部改成串行,但是令人难以置信的是,,,依然报错。

最后在stackoverflow上看到一个回答:https://stackoverflow.com/questions/32479071/sqlite3-error-database-is-locked-in-golang

尝试一下调用rows.Close()

意思就是,当golang对关系型数据库进行操作的时候,读操作的代码一般是这样子的:

rows,err:=db_driver.Query("select * from table")
if err!=nil{

}
for rows.Next(){
//读取数据
}

他的建议就是调用rows.Close(),即:

rows,err:=db_driver.Query("select * from table")
defer rows.Close()
if err!=nil{

}
for rows.Next(){
//读取数据
}

按照这样的方法尝试过以后,便不再报错。看go的标准库代码的时候发现,rows.Close()这个方法是幂等的,当rows.Next()返回false,即所有行数据都已经遍历结束后,会自动调用rows.Close()方法。而我的代码里面,有的地方,当rows.Next()返回true的时候,在循环体当中便有break代码,导致没有调用rows.Close()方法。

为了弄清楚这其中的原理,我做了一个实验,写了这样的一个小程序:

package main

import (
	"database/sql"

	"fmt"
	"time"

	_ "github.com/mattn/go-sqlite3"
)

var db_driver *sql.DB

func DBInit() {
	var err error
	db_driver, err = sql.Open("sqlite3", "test.db")
	if err != nil {
		fmt.Println(err.Error())
		return
	}
}

func createDBTables() {
	create_table := `create table test(
		Seq integer primary key autoincrement,
		A text,
		B text
	);`
	_, err := db_driver.Exec(create_table)
	if err != nil {
		fmt.Println(err.Error())
		return
	}

	stmt, err := db_driver.Prepare("insert into test(A,B) values(?,?)")
	if err != nil {
		fmt.Println(err.Error())
		return
	}
	_, err = stmt.Exec("a1", "b1")
	if err != nil {
		fmt.Println(err.Error())
		return
	}

}

func main() {
	DBInit()
	createDBTables()
	rows, err := db_driver.Query("select * from test")
	if err != nil {
		fmt.Println(err.Error())
		return
	}
	for rows.Next() {
		break
	}

	stmt, err := db_driver.Prepare("insert into test (A,B) values(?,?)")
	if err != nil {
		fmt.Println(err.Error())
		return
	}

	fmt.Println("insert")
	fmt.Println(time.Now())
	_, err = stmt.Exec("a2", "b2")
	if err != nil {
		fmt.Println(time.Now())
		fmt.Println(err.Error())
		stmt.Close()
	}

	for {

	}
}

在数据库初始化的时候,便在数据库中插入一条记录,在main方法中,串行地对数据库进行读操作和写操作,其中,由于数据库中已经有一条记录,第一次调用rows.Next()返回的是true,此时直接break,即rows没有调用Close()方法,此时再次进行写操作,便报出了database is locked的错误。如果加上rows.Close()便不再报错。

sql包中的Stmt结构体代表了一个事务,调用Close()方法代表关闭一个事务,而rows的数据类型是*sql.Rows,rows调用Close()方法代表读结束。

在另一篇文章中,我找到了更加详细的解释:http://beets.io/blog/sqlite-nightmare.html

sqlite使用的是粗放型的文件锁,对并发读支持地很好而对于并发写支持得并不好。在sqlite当中,写事务需要等待所有的读事务释放了共享锁(读锁)以后才可以进行写操作,如果一个读事务持续太长时间还没有结束的话,其他等待的事务有可能就会一直停住。为了解决这个问题,引入了超时的机制,如果一个事务等待其他事务释放锁的时间超过5秒的话,就会抛出database is locked的错误。

在上面的代码中,我从开始执行写操作的时候打印了一个时间,在报错的时候又打印了一个时间,这个时间差正好是5秒,于是便不难解释这种现象:在main函数中,第一个读事务拿到了sqlite的共享锁(读锁)开始了读操作,但是没有调用rows.Close()方法,所以说第一个读事务没有释放共享锁,第二个写事务必须要等待第一个事务释放共享锁。5秒之后第一个读事务还没有释放共享锁,所以直接报出database is locked的错误。

此时,第一个事务还没有释放共享锁,但此时,其他读事务依旧可以获得共享锁进行读操作,而没有办法进行写操作。从命令行访问数据库也验证了这个猜想:

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/LOVETEDA/article/details/82690498

智能推荐

服务器设置虚拟内存有什么好处,高频率内存有哪些优势?虚拟内存是什么-程序员宅基地

文章浏览阅读601次。为增进大家对内存的认识,本文将为大家介绍高频率内存的优势。此外,小编还将对虚拟内存加以探讨。我们每天都在同内存打交道,但大家对内存真的了解吗?上篇文章中,我们对服务器内存以及服务器内存技术有所介绍,为增进大家对内存的认识,本文将为大家介绍高频率内存的优势。此外,小编还将对虚拟内存加以探讨。如果你对内存及其相关知识具有兴趣,不妨继续往下阅读哦。一、高频率内存优势由于决定内存性能的核心因素有内存容量、..._服务器内存频率高有什么好处

微信小程序使用echarts真机调试报错:HTMLCanvasView is not defined_html canvas is not defined-程序员宅基地

文章浏览阅读3.6k次,点赞4次,收藏8次。报错内容:解决办法:给组件传入force-use-old-canvas="true"就可以在真机调试里展示了。重点:发布线上时,一定要将这句去掉,现在只是不支持真机调试,线上是可以使用的。重点:发布线上时,一定要将这句去掉,现在只是不支持真机调试,线上是可以使用的。重点:发布线上时,一定要将这句去掉,现在只是不支持真机调试,线上是可以使用的。<view style="width:..._html canvas is not defined

计算机基础知识 常见简答,第一章 计算机基础知识(多选和简答)及答案-程序员宅基地

文章浏览阅读457次。计算机第一章计算机基础知识多项选择题(有两个或两个以上正确答案)1、下列说法中,正确的是________。A、一个汉字用1个字节表示 B、在微机中,使用最普遍的字符编码是ASCII码C、高级语言程序可以编译为目标程序 D、ASCII码的最高位用作奇偶校验位2、文件型(外壳型)计算机病毒主要感染扩展名为________。A、COM B、BAT C、EXE D、DOC3、..._达成某一任务的指令的会合称为语言

[SceneKit专题]25-如何制作一个像Can-Knockdown的游戏-程序员宅基地

文章浏览阅读232次。说明SceneKit系列文章目录更多iOS相关知识查看github上WeekWeekUpProject本教程将包含以下内容:在SceneKit编辑器中建立基本的3D场景.编程加载并呈现3D场景.建立仿真物理,如何应用力.通过触摸与3D场景中的物体交互.设计并实现基本的碰撞检测.开始开始前,先下载初始项目starter project打开项目,简单查看一下里面都有些..._can knockdown1下载

Unity Shader的结构_unity的扩展sprites的shader-程序员宅基地

文章浏览阅读1.3k次。材质和Unity Shader在unity中,需要配合使用材质Material和Unity Shader才能达到需要的效果流程创建一个材质→创建一个Unity Shader,并把它赋给上一步中创建的材质→把材质赋给要渲染的对象→在材质面板中调整Unity Shader的属性,以得到满意的效果Unity中的材质Unity中的材质需要配合一个GameObject的Mesh或者Particle Systen组件来工作,它决定了我们的游戏对象看起来是什么样子的Unity中的Shader为了和前面通用的_unity的扩展sprites的shader

spring cloud 的断路器(Hystrix) 依赖添加注意点_hystrix最新依赖-程序员宅基地

文章浏览阅读3.6k次。最新的Hystrix 依赖都是隶属于netfix下,这样@HystrixCommand 和@EnableHystrixDashboard 才能使用&lt;dependency&gt; &lt;groupId&gt;org.springframework.cloud&lt;/groupId&gt; &lt;artifactId&gt;spring-cloud-starter-netf..._hystrix最新依赖

随便推点

Qt之文本编码转换_qt 将txt文件转换成字符串-程序员宅基地

文章浏览阅读844次。一、QTextCodecQTextCodec类提供了文本编码转换功能。指定字符集对文本进行转换。1.Qt程序中所有要显示到界面上的字符串最好都是用tr()函数;代码如下(示例):QTextCodec::setCoderForTr(QTextCodec::codecForName("UTF-8"));QLabel label;label.setText(QObject::tr("你好,世界!"));2.对于不是要显示到界面上的字符串中如果包含了中文,可以使用QString()进行编码转换。代_qt 将txt文件转换成字符串

在idea上使用git建立连接gitee上的仓库_the breanch to pull from should be selected-程序员宅基地

文章浏览阅读2k次。error: failed to push some refs to 'https://gitee.com/liyue25/test.git'To https://gitee.com/liyue25/test.githint: Updates were rejected because the remote contains work that you dohint: not have locally. This is usually caused by another repository push_the breanch to pull from should be selected

day11-函数作业_写一个自己的rjust函数,创建一个字符串的长度是指定长度,原字符串在新字符串中右-程序员宅基地

文章浏览阅读94次。写一个自己的rjust函数,创建一个字符串的长度是指定长度,原字符串在新字符串中右对齐,剩下的部分用指定的字符填充。写一个自己的index函数,统计指定列表中指定元素的所有下标,如果列表中没有指定元素返回-1。写一个自己的replace函数,将指定字符串中指定的旧字符串转换成指定的新字符串。编写一个函数,提取指定字符串中所有的字母,然后拼接在一起产生一个新的字符串。写一个自己的endswith函数,判断一个字符串是否已指定的字符串结束。写一个自己的upper函数,将一个字符串中所有的小写字母变成大写字母。._写一个自己的rjust函数,创建一个字符串的长度是指定长度,原字符串在新字符串中右

spring自定义全局异常_18jzz大全-程序员宅基地

文章浏览阅读1.3k次。spring自定义全局异常背景学习目标案列背景在springmvc的controller中程序员经常要封装错误对象返回错误,前端显示错误文案。通过spring的异常处理器,来进行自定义异常处理学习目标学习全局异常拦截器处理controller所有的异常的返回封装定义枚举异常码,设计自定义异常案列创建枚举异常码,定义系统异常情况/** * @author tianjz */..._18jzz大全

[py]你真的了解多核处理器吗? 了解多线程-程序员宅基地

文章浏览阅读95次。越来越多的人搞爬虫,设计到多线程爬取, 还有一些机器学习的一些模块也需要这玩意, 感觉自己不会逼格不高. 抽时间赶紧玩一玩这东西, 希望提高对软件的认知和归属感,不要太傻.cpu内部架构参考你知道CPU是如何工作的?-视频CPU核心越多越好?你的CPU可能正在养老!你真的了解多核处理器吗?1.双核≠双性能多核不一定会使你的手机或电脑速度更快,但它将提高你的PC的整体性能,这是一个...

XBee模块实现QGC与PX4飞控的组网通信连接_xbee实现多机控制-程序员宅基地

文章浏览阅读2k次,点赞5次,收藏18次。本篇博客介绍如何利用XBee模块实现QGC地面站与飞控的通信_xbee实现多机控制

推荐文章

热门文章

相关标签