如何用stable diffusion生成地标景色

我想在单位里推广AIGC。特别是设计团队，AI工具，这是一个可以让设计师提升效率和质量的神器。没有理由不在工作流中用起来。

但是，同事们反映，他们在设计过程中，需要生成与城市地标和特色景色相关的图片，这在现有的AI技术上面临着挑战。

这个问题，像一座难以逾越的山峰，挡在了我们的前进道路上。即使尝试了不同的AI技术，包括Midjuourney，它们似乎都无法精准地生成出那些充满城市特色，拥有识别度的图片。

它能画出一些风景，但是风景都是随机的，完全不能控制。

然而，当Stable Diffusion的ControlNet插件出现时，定向控制AI图片的生成，便不再是一个难题。这个插件，像是一把万能钥匙，能帮我们解决之前困扰我们的问题。我的同事们，只是暂时没有掌握这个新工具而已。

为了解决他们的问题，我开始研究ControlNet。

今天，AIGC交流群里，一个群友来找我帮忙，要我帮她画几幅江心屿的图片。

江心屿，我所在城市的名片，很有辨识度的地标风景。但是AI却不能认出它，不能通过提示词生成它的图像。

我曾经用过Midjuourney和Stable Diffusion，但是都不能达到我心中的理想。

这不，正好我可以把这几天学到的东西和实践结合起来。我答应了。

我的步骤如下：

第一步，我让ChatGPT帮我生成提示词，一幅国画风格的江心屿，色调是黄色和淡蓝色。

"Ink wash painting style, An island with two tall towers stands in the middle of a flowing river, framed by the silhouette of distant mountains. The painting captures the ethereal beauty of nature through varying intensities of black ink, blending traditional Chinese aesthetics with the serene hues of yellow and light blue."

"水墨画风格，一个带有两座高塔的岛屿立于流动的江中，背景是远山的剪影。画面通过黑墨的浓淡变化捕捉自然的空灵之美，将中国传统美学与静谧的黄色和淡蓝色融为一体。"

第二步，我找到了一幅江心屿的老照片，保存到电脑上，作为构图参考。

第三步，运行Stable Diffusion，在文生图标签下，输入提示词。

第四步，然后选择controlnet 插件，上传参考图，设置好参数：

第五步，生成。

首次生成的图片有两个问题：

第一，风格不符合要求，不是水墨画风格。第二，画面有很多噪点，这个老照片作为参考图留下的痕迹。

我们可以用生成的图片，作为参考图，再次生成。结果如下：

上面我选择了controlnet 插件下的Linerat模型。这个模型可以根据参考图像生成线稿，然后让提示词根据线稿的构图，生成图片。它适合用于漫画、插画、动画等领域，可以帮助我们快速创作出高质量的作品。

这一步，也可以尝试使用softedge、canny、seg、depth等几个模型，有不同的效果，可以对比选用。

softedge：这个模型可以根据参考图像生成软边缘的图片，也可以根据软边缘的图片生成清晰的图片。它适合用于风景、建筑、物体等领域，可以帮助您提升图片的视觉效果。

canny：这个模型可以根据参考图像生成Canny边缘检测的图片，也可以根据Canny边缘检测的图片生成清晰的图片。它适合用于人物、动物、植物等领域，可以帮助您突出图片的主体和轮廓。

seg：这个模型可以根据参考图像生成语义分割的图片，也可以根据语义分割的图片生成清晰的图片。它适合用于多元素、复杂场景、抠图等领域，可以帮助您对图片进行分类和编辑。

depth：这个模型可以根据参考图像生成深度图，也可以根据深度图生成清晰的图片。它适合用于立体、透视、3D等领域，可以帮助您增加图片的空间感和真实感。

下面是我用不同的照片作为参考图，生成的江心屿：